Парсер JS::WaybackCDX выгружает исторические статьи из Веб-Архива (Archive.org) через быстрый CDX Server API, скачивает чистый HTML без скриптов и тулбаров архива (режим id_) и очищает текст через Mozilla Readability с автоматическим сохранением в Markdown-файлы (.md) с YAML Frontmatter и JSONL.
Собираемые данные:
Пример запросов:
Формат: <домен> [год] [лимит статей]
Пример результата (Markdown):
Пример результата (JSONL):
Собираемые данные:
- Заголовок статьи (title)
- Автор (byline)
- Название сайта (siteName)
- Дата архивации (timestamp)
- Длина текста (length)
- Ссылка на оригинал и ссылка на архив (original_url, archive_url)
- Очищенный текст статьи (textContent)
- HTML контент (content)
Пример запросов:
Код:
smashingmagazine.com 2021 200
www.theverge.com 2021 200
techcrunch.com 2019 200Пример результата (Markdown):
Markdown (GitHub flavored):
---
title: "How To Communicate Design Decisions To Clients? — Smashing Magazine"
author: "About The Author"
site_name: "Smashing Magazine"
length: 9301
timestamp: "20210211022848"
original_url: "http://www.smashingmagazine.com/2008/07/how-to-communicate-design-decisions-to-clients/"
archive_url: "https://web.archive.org/web/20210211022848id_/http://www.smashingmagazine.com/2008/07/how-to-communicate-design-decisions-to-clients/"
---
# How To Communicate Design Decisions To Clients? — Smashing Magazine
**Author:** About The Author
**Source:** Smashing Magazine
**Archive Replay:** https://web.archive.org/web/20210211022848id_/http://www.smashingmagazine.com/2008/07/how-to-communicate-design-decisions-to-clients/
---
Brian Armstrong is an entrepreneur who also enjoys studying design...Пример результата (JSONL):
JSON:
{"query":{"query":"https://web.archive.org/web/20210301134743id_/http://www.theverge.com/2011/06/09/google-voice-skessage-and-the-death-of-the-phone-number/"},"title":"iMessage, Skype, Google Voice, and the death of the phone number","byline":"Nilay Patel","length":6840,"siteName":"The Verge","timestamp":"20210301134743"}
