1. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Улучшение Прокси чекер и прокси в целом

Тема в разделе "Задачи", создана пользователем denver, 16 июл 2015.

  1. denver

    denver A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    6 янв 2013
    Сообщения:
    197
    Симпатии:
    43
    Здравствуйте,

    1) ситуация такая: есть у меня список прокси, который лежит в файле: proxy.txt и есть урл, который написан в файле: sites.txt, с которого подгружается другой лист
    в первом листе (который в файле) 5000 прокси, а в листе, который по УРЛ подгружается: 2000 прокси
    настроки на проверку такие:
    load interval - 300
    check interval - 600
    так вот, в этом случае что происходит, пркоси чекер СРАЗУ загружает 5000 проксей (те что в файле) и начинает их проверять, а вот те, что подгружает из УРЛ (файл sites.txt) загружает аж через 600 секунд!, помоему это что-то типа глюка? или все таки особенность?
    хочется что бы все прокси сразу подгрузились и проверились, а не через 10 минут. Да я сейчас поставил интервал проверки 60 секунд и соответственно лист с проксями подгрузиолся через минуту.

    2) сделать бан под каждый поисковик или каждый пресет или каждое задание хз как лучше, вот что я имею ввиду:
    есть парсеры (задания) яндекс, гугль и т.д. парсятся данные, какие-то прокси в этот момент побанились и т.д., задание завершилось и там остались данные, которые не отпарсились из-за ошибок прокси и т.д. (количество попыток стоит 100),
    запускается задание второй раз (я работаю через API), и парсер опять загружает ВСЕ прокси, без учета прошлых баннов, что по сути не верно, там итак большинство проксей побанилось. А что если вести некую базу бан проксей по как я написал выше: пресетам или заданиям...
    в этом случае при следующем запуске будут загружаться только те прокси, которые не бали забанены в прошлый раз (и естественно будет время - на которое банятся прокси для этого задания), а в другом задании естественно баны уже свои и т.д.

    3) исходя из пункта 2, что если сделать для проксей "отдых" т.е. сортировать при выборке их для конкретного задания исходя из например того, как они юзались в прошлый раз, типа каждый раз при использовании прокси делать used=used+1, и выборке сортировать по used ASC
    это избавит от лишнего бана... опять же все это можно сделать индивидуально под задания и т.п.
     
    Vanzent и vipuncle нравится это.
  2. Vanzent

    Vanzent A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    16 апр 2013
    Сообщения:
    27
    Симпатии:
    7
    Поддержу, есть такое. Во втором пункте бан можно делать по парсеру, так как если, например, гугл забанил прокси, то яндекс еще сможет работать.
     

Поделиться этой страницей