JS::TextFromSE 2.0

Минимальная версия A-Parser:

1.2.1432

• Данный парсер - это пример обьединения парсера поисковой выдачи и парсера текста в одном
• Есть возможность выбрать ПС: Google или Яндекс
• Для выбранной ПС и парсера текста можно задать собственные пресеты настроек. Тем самым можно регулировать кол-во ссылок, по которым будет парситься текст, а также настроить парсер текста (задать минимальный размер блока, юзер агент и т.п.) Пример такой настройки:
  
• В результат выводится ключ, ссылка и текст. Текст никак дополнительно не чистится, можно использовать Конструктор результатов как в обычном парсере текста
• Алгоритм работы:
  • По ключу из выбранного поисковика парсятся ссылки
  • Полученные ссылки передаются в HTML::TextExtractor для получения текста
  • С помощью this.query.add ссылки распределяются по потоках, для равномерной нагрузки