A-Parser - парсер для профессионалов SEO

Улучшения

• В связи с переводом основных встроенных парсеров на новую платформу Node.js, полностью переписаны и обновлены парсеры:
  • Net::HTTP
  • HTML::LinkExtractor
  • HTML::TextExtractor
  • HTML::TextExtractor::LangDetect
  • Check::BackLink
• Основные улучшения от перевода данных парсеров на Node.js:
  • увеличение производительности в ~1.5 раза
  • унификация HTTP движка с JavaScript парсерами, единый обход CloudFlare
• Добавлены новые парсеры:
  • DeepL::Translator
  • Rank::Ahrefs::KeywordDifficulty
  • Rank::Ahrefs::KeywordGenerator
• В HTML::EmailExtractor добавлена опция Skip non-HTML blocks, позволяющая отключить сбор почт внутри тегов script, style и т.п.
• В SE::Google::Translate добавлены новые переменные:
  • ...

44-й сборник рецептов, в который вошли парсер, определяющий категории сайтов (используя сервис Cloudflare Radar), парсер Rozetka через API и парсер интернет-магазина kufar.by с проходом по списку результатов.

Парсер Cloudflare Radar
Парсер для сбора категорий сайтов из Cloudflare Radar

Rozetka - получение данных по API
Парсер, собирающий данные о товарах на торговой площадке Rozetka через API.


Парсинг объявлений kufar.by
Парсер объявлений на сайте kufar.by с проходом по списку результатов. Собираются заголовки объявлений, цены, имена и телефоны авторов.


А также, обновлены следующие ресурсы:

• ...

43-й сборник рецептов, в который вошли пресет для парсинга освобождающихся доменов, парсер категорий сайтов и пример сбора данных из PDF документов.

Аукцион доменов REG.RU
Пресет, позволяющий парсить домены с аукциона Reg.ru. В пресете реализована возможность указывать количество страниц пагинации и использовать фильтр по ключевому слову.


Определение категорий сайта
Парсер, собирающий категории сайтов из MegaIndex.


Парсинг PDF
Пример парсинга данных из документов в формате PDF. Для работы используется Node.js модуль pdf-parse.


Кроме этого:

• Парсер ссылок локаций для Social::Instagram::Geo - сбор ссылок на локации в...

В этом видео уроке рассмотрены ответы на 3 часто задаваемых вопроса от новых пользователей А-Парсера

1. Где и как можно посмотреть результаты парсинга?
2. Как подключить прокси с авторизацией?
3. Extra query string, что это такое и как применять эту опцию?

В уроке рассмотрено:

• Просмотр результатов парсинга 3-мя способами:
  • Способ первый. "Из очереди заданий, если задание на паузе".
  • Способ второй. "Из очереди заданий, если задание завершено".
  • Способ третий. "Забираем результат из папки results".
• Подключение прокси с авторизацией.
• Примеры использования опции Extra query string.

Полезные ссылки:

• https://a-parser.com/resources/categories/14/ - сохранение результатов (каталог)
• https://a-parser.com/resources/77/ - Сохранение результатов нескольких парсеров в разные папки
• https://a-parser.com/resources/394/ - Сохранение...

В 12-м сборнике статей рассказывается о принципах работы парсеров и факторах, влияющих на их скорость, показаны возможности debug режима в Тестовом парсинге по отладке запросов, а также на реальном примере разбирается работа с куками.

Скорость и принцип работы парсеров
В этой статье подробно рассказано об основном принципе работы парсеров и скорости их работы, а также рассмотрены основные факторы, влияющие на скорость парсинга.

Использование Debug режима
В этой статье рассказывается об одном из методов отладки парсеров, а также об анализе получаемых данных - debug режиме в Тестовом парсинге. С его помощью можно прямо в парсере анализировать и экспериментировать с заголовками и изучать приходящие в ответ данные.
...