1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2200+ и мы растем!
    Скрыть объявление

Улучшение [1.1.537] Кэширование контента для Net::HTTP, HTML::LinkExtractor и HTML::TextExtractor

Тема в разделе "1.1.566", создана пользователем denver, 17 июн 2015.

  1. denver

    denver A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    6 янв 2013
    Сообщения:
    166
    Симпатии:
    41
    Хотелось бы как-то объединить функционал HTML::LinkExtractor и HTML::TextExtractor , а именно из HTML::LinkExtractor нужно доставать количество внешних и внутренних ссылок на странице, а из HTML::TextExtractor текст, на данный момент для этого поидее нужно использоваться два парсера, по сути это два коннекта на один урл, что иногда накладно...

    так же хотелось бы увидеть функцию в HTML::TextExtractor которая будет определять количесво (в процентах как вариант) русского (нужного языка) текста относительно общего количества текста. На данный момент приходится получать контент и далее уже самому обрабатывать его, что не удобно из-за того, что приходится качать большое количество контента...

    если что-то не умею делать и это можно сделать, подскажите :)
    заранее благодарю
     
  2. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.291
    Симпатии:
    1.764
    Теперь для Net::HTTP Net::HTTP, HTML::LinkExtractor HTML::LinkExtractor, HTML::TextExtractor HTML::TextExtractor используется кэширование запросов, если запросы от разных парсеров приходят одновременно и используются одинаковые параметры то выполнятся будет только один запрос и все парсеры получат одинаковый ответ:

    [​IMG]
     
    Support нравится это.
  3. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.291
    Симпатии:
    1.764

Поделиться этой страницей