- Минимальная версия A-Parser
- 1.2.1432
- Данный парсер - это пример обьединения парсера поисковой выдачи и парсера текста в одном
- Есть возможность выбрать ПС: Google или Яндекс
- Для выбранной ПС и парсера текста можно задать собственные пресеты настроек. Тем самым можно регулировать кол-во ссылок, по которым будет парситься текст, а также настроить парсер текста (задать минимальный размер блока, юзер агент и т.п.) Пример такой настройки:
- В результат выводится ключ, ссылка и текст. Текст никак дополнительно не чистится, можно использовать Конструктор результатов как в обычном парсере текста
- Алгоритм работы:
- По ключу из выбранного поисковика парсятся ссылки
- Полученные ссылки передаются в HTML::TextExtractor для получения текста
- С помощью this.query.add ссылки распределяются по потоках, для равномерной нагрузки
