JS::TitleFromSE

JS::TitleFromSE 1.0

Доступно владельцам лицензии
Минимальная версия A-Parser
1.1.835
087Sd.png
  • Это почти полный аналог JS::TextFromSE. Разница только в том, что здесь вместо HTML::TextExtractor HTML::TextExtractor используется Net::HTTP Net::HTTP и парсятся тайтлы вместо текста
  • Все настройки идентичны:
    • Есть возможность выбрать ПС: Google или Яндекс
    • Для выбранной ПС и Net::HTTP Net::HTTP можно задать собственные пресеты настроек. Тем самым можно регулировать кол-во ссылок, по которым будeт парситься тайтлы, а также настроить Net::HTTP Net::HTTP (например, задать код ответа, юзер агент и т.п.)
    • В результат выводится ключ, ссылка и тайтл
    • Алгоритм работы:
      • По ключу из выбранного поисковика парсятся ссылки
      • Полученные ссылки передаются в Net::HTTP Net::HTTP для парсинга тайтлов регулярным выражением
      • С помощью this.query.add ссылки распределяются по потоках, для равномерной нагрузки
      • Вместо Net::HTTP Net::HTTP можно использовать yield this.request, но Net::HTTP Net::HTTP выбран для того, чтобы была возможность использовать пресеты настроек
  • Like
Реакции: ro--ot
Автор
Support
Загрузок
63
Просмотры
63
Первый выпуск
Обновление

Рейтинги

5,00 звёзд Оценок: 1

Ещё ресурсы от Support

Назад
Верх