A-Parser - парсер для профессионалов SEO

43-й сборник рецептов, в который вошли пресет для парсинга освобождающихся доменов, парсер категорий сайтов и пример сбора данных из PDF документов.

Аукцион доменов REG.RU
Пресет, позволяющий парсить домены с аукциона Reg.ru. В пресете реализована возможность указывать количество страниц пагинации и использовать фильтр по ключевому слову.


Определение категорий сайта
Парсер, собирающий категории сайтов из MegaIndex.


Парсинг PDF
Пример парсинга данных из документов в формате PDF. Для работы используется Node.js модуль pdf-parse.


Кроме этого:

• Парсер ссылок локаций для Social::Instagram::Geo - сбор ссылок на локации в...

В этом видео уроке рассмотрены ответы на 3 часто задаваемых вопроса от новых пользователей А-Парсера

1. Где и как можно посмотреть результаты парсинга?
2. Как подключить прокси с авторизацией?
3. Extra query string, что это такое и как применять эту опцию?

В уроке рассмотрено:

• Просмотр результатов парсинга 3-мя способами:
  • Способ первый. "Из очереди заданий, если задание на паузе".
  • Способ второй. "Из очереди заданий, если задание завершено".
  • Способ третий. "Забираем результат из папки results".
• Подключение прокси с авторизацией.
• Примеры использования опции Extra query string.

Полезные ссылки:

• https://a-parser.com/resources/categories/14/ - сохранение результатов (каталог)
• https://a-parser.com/resources/77/ - Сохранение результатов нескольких парсеров в разные папки
• https://a-parser.com/resources/394/ - Сохранение...

В 12-м сборнике статей рассказывается о принципах работы парсеров и факторах, влияющих на их скорость, показаны возможности debug режима в Тестовом парсинге по отладке запросов, а также на реальном примере разбирается работа с куками.

Скорость и принцип работы парсеров
В этой статье подробно рассказано об основном принципе работы парсеров и скорости их работы, а также рассмотрены основные факторы, влияющие на скорость парсинга.

Использование Debug режима
В этой статье рассказывается об одном из методов отладки парсеров, а также об анализе получаемых данных - debug режиме в Тестовом парсинге. С его помощью можно прямо в парсере анализировать и экспериментировать с заголовками и изучать приходящие в ответ данные.
...

Улучшения

• Добавлен парсер Rank::MOZ.
  Собираемые данные: вся информация, содержащаяся на странице.
• Добавлены парсеры SecurityTrails::Domain и SecurityTrails::IP.
  Для работы парсеров необходимо указать пресет Util::ReCaptcha2.
  • SecurityTrails::IP
    В качестве запроса следует указывать ipv4 адрес.
    Собирает домены по IP и информацию о них.
    
  • SecurityTrails::Domain
    В качестве запроса следует указывать домен, например a-parser.com.
    Собираемые данные:
    • Данные по DNS
    • Список технологий, используемых на сайте (движки и проч.)
    • Список открытых портов
    • Alexa rank
    • Страна
    • Хостер
    • Даты начала и окончания регистрации
    • Whois статус
    • Регистратор
    • Список исторических данных по DNS
    • Список субдоменов
• Добавлена возможность отключать валидацию TLS сертификатов.
• Добавлена поддержка доменных прокси.

...

В этом видео рассмотрели где смотреть переменные, какие бывают скрытые переменные и какой результат они выводят на примерах.



Содержание видео:
00:20 - 1. Где смотреть какие у парсера есть переменные?
1:16 - 2. Какие бывают скрытые переменные ($query.*, $root и т.п.)?
1:22 - переменная root
2:08 - переменная root объект
3:14 - переменная query.orig
4:04 - переменная query.first
5:24 - переменная query.lvl
5:50 - переменная query.prev...