1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Улучшение При проверке проксей добавить возможность измерения пропускной способности

Тема в разделе "Задачи", создана пользователем antonevi4, 5 сен 2017.

  1. antonevi4

    antonevi4 A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    16 апр 2015
    Сообщения:
    67
    Симпатии:
    15
    %subj%

    Желательно, добавить возможность установки отвечающего скрипта на свой сервер.
     
    vipuncle нравится это.
  2. antonevi4

    antonevi4 A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    16 апр 2015
    Сообщения:
    67
    Симпатии:
    15
    Возможен еще более интересный вариант. При работе парсера анализировать скорость отдачи через проксю. В настройки парсера добавить пороговое значение минимальной пропускной способности и/или количество самых быстрых проксей, которое используется для сбора (активный пул). Не прошедшие фильтр прокси банятся на определенное время, при выходе из бана или появлении новой прокси за 1-3 раза высчитывается их скорость и все по новой. Позволит максимизировать скорость сбора и без паразитной нагрузки.
    Настраивается
    - минимальная скорость прокси
    - количество проксей в активном пуле
    - таймаут бана
    - количество замеров
     

Поделиться этой страницей