- Минимальная версия A-Parser:
- 1.1.835
- Это почти полный аналог JS::TextFromSE. Разница только в том, что здесь вместо
HTML::TextExtractor используется
Net::HTTP и парсятся тайтлы вместо текста
- Все настройки идентичны:
- Есть возможность выбрать ПС: Google или Яндекс
- Для выбранной ПС и
Net::HTTP можно задать собственные пресеты настроек. Тем самым можно регулировать кол-во ссылок, по которым будeт парситься тайтлы, а также настроить
Net::HTTP (например, задать код ответа, юзер агент и т.п.)
- В результат выводится ключ, ссылка и тайтл
- Алгоритм работы:
- По ключу из выбранного поисковика парсятся ссылки
- Полученные ссылки передаются в
Net::HTTP для парсинга тайтлов регулярным выражением
- С помощью this.query.add ссылки распределяются по потоках, для равномерной нагрузки
- Вместо
Net::HTTP можно использовать yield this.request, но
Net::HTTP выбран для того, чтобы была возможность использовать пресеты настроек
-
Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!Скрыть объявление

JS::TitleFromSE 1.0
Парсинг тайтлов по ключу одним заданием
Метки: