JS::TitleFromSE 1.0

Парсинг тайтлов по ключу одним заданием

  1. Support
    Минимальная версия A-Parser:
    1.1.835
    [​IMG]
    • Это почти полный аналог JS::TextFromSE. Разница только в том, что здесь вместо HTML::TextExtractor HTML::TextExtractor используется Net::HTTP Net::HTTP и парсятся тайтлы вместо текста
    • Все настройки идентичны:
      • Есть возможность выбрать ПС: Google или Яндекс
      • Для выбранной ПС и Net::HTTP Net::HTTP можно задать собственные пресеты настроек. Тем самым можно регулировать кол-во ссылок, по которым будeт парситься тайтлы, а также настроить Net::HTTP Net::HTTP (например, задать код ответа, юзер агент и т.п.)
      • В результат выводится ключ, ссылка и тайтл
      • Алгоритм работы:
        • По ключу из выбранного поисковика парсятся ссылки
        • Полученные ссылки передаются в Net::HTTP Net::HTTP для парсинга тайтлов регулярным выражением
        • С помощью this.query.add ссылки распределяются по потоках, для равномерной нагрузки
        • Вместо Net::HTTP Net::HTTP можно использовать yield this.request, но Net::HTTP Net::HTTP выбран для того, чтобы была возможность использовать пресеты настроек
    ro--ot нравится это.