1. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Улучшение Проксёвые настройки из потока в Прокси чекер

Тема в разделе "Отклоненные задачи", создана пользователем egorka, 19 май 2017.

  1. egorka

    egorka A-Parser Pro License
    A-Parser Pro

    Регистрация:
    12 май 2017
    Сообщения:
    1
    Симпатии:
    0
    Сегодня запутался в том, что у потока своя настройка прокси чекера, у парсеров свои отдельные настройки. Логика "наследования" настроек не вполне очевидна. Что "All" в настройках парсера следует читать как "inherit" от потока.

    Например, настройка "Reuse proxy between retries" относится скорее к конкретному парсеру, его "личному" прокси-чекеру, нежели к потоку, всему заданию... Ведь поведение конкретного чекера (интервалы, баны) зависит именно от парсера.

    А настройки всего задания (потока) - это по сути просто число потоков. И всё! Все проксёвые настройки должны относится к прокси-чекерам. Тогда логика будет соблюдена без сложностей с наследованием.

    В общем, каждому парсеру по своему прокси чекеру. Без наследования и замороки!
     
  2. stive84

    stive84 A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    25 сен 2013
    Сообщения:
    23
    Симпатии:
    8
    ОЧЕНЬ поддерживаю. Bulk/one request катастрофически плохо работают с StromProxy, например, именно из-за отсутствия возможности указать в настройках "Reuse proxy between retries". Для понимания ситуации - сервис выдаёт 4 IP, за которыми ротируются десятки тысяч проксей, и без Reuse - парсинг моментально встаёт колом. С саппортом постарались решить проблему (как всегда очень большая благодарность саппорту за терпение и поддержку), указав Proxy ban time в настройках пресета парсера на 0, но это по тестам никакого толкового результата не даёт, работает как задумано именно Reuse proxy, а его при работе через bulk использовать невозможно.
     
    #2 stive84, 30 мар 2018
    Последнее редактирование модератором: 30 мар 2018
  3. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.339
    Симпатии:
    1.799
    Подумать о переносе Reuse proxy between retries в настройки парсера или проксичекера
     
    stive84 нравится это.
  4. stive84

    stive84 A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    25 сен 2013
    Сообщения:
    23
    Симпатии:
    8
    Есть какие-нибудь новости по subj? А то топчемся на месте, уже разработали всё что можно по кругу минуя задачи парсинга, очень хотелось бы приступить :)
    Ну и небольшим доп. стимулом будет необходимость после реализации subj в покупке ещё одной лицензии Enterprise :)
     
  5. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.339
    Симпатии:
    1.799
    Реализована возможность задать configPreset в API запросах oneRequest/bulkRequest

    Переносить найстроку в проксичекеры или раздувать настройки парсеров нецелесообразно
     

Поделиться этой страницей