JS::TitleFromSE 1.0

Минимальная версия A-Parser:

1.1.835

​

• Это почти полный аналог JS::TextFromSE. Разница только в том, что здесь вместо HTML::TextExtractor используется Net::HTTP и парсятся тайтлы вместо текста
• Все настройки идентичны:
  • Есть возможность выбрать ПС: Google или Яндекс
  • Для выбранной ПС и Net::HTTP можно задать собственные пресеты настроек. Тем самым можно регулировать кол-во ссылок, по которым будeт парситься тайтлы, а также настроить Net::HTTP (например, задать код ответа, юзер агент и т.п.)
  • В результат выводится ключ, ссылка и тайтл
  • Алгоритм работы:
    • По ключу из выбранного поисковика парсятся ссылки
    • Полученные ссылки передаются в Net::HTTP для парсинга тайтлов регулярным выражением
    • С помощью this.query.add ссылки распределяются по потоках, для равномерной нагрузки
    • Вместо Net::HTTP можно использовать yield this.request, но Net::HTTP выбран для того, чтобы была возможность использовать пресеты настроек