1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Улучшение проверка прокси через любой урл

Тема в разделе "Отклоненные задачи", создана пользователем denver, 14 май 2014.

  1. denver

    denver A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    6 янв 2013
    Сообщения:
    192
    Симпатии:
    43
    если есть возможность сделать в прокси чекере проверку прокси через любой урл с поиском определенной строки

    например проверять прокси через http://yandex.ru/yandsearch?lr=213&text=test
    с проверкой строки (через регекс например): "Отсортировано"

    это просто как пример
    нужно это для того, что бы набрать прокси, которые не забанены в яндексе, т.к. сейчас использую приватные прокси, но они все забанены в яндексе (выдает капчу) (видимо слишком много народу на них парсят)

    в идеале сделать возможность задавать несколько пакетов прокси, которые можно было бы выбирать в пресетах у конкретного парсера... (в том числе и через API), для гугля свой пакет прокси, для яндекса свой и т.д.

    заранее благодарю при любом ответе :)
     
  2. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    Несколько разных чекеров будет в будущем

    Чекать же прокси выполняя запрос к сервису с целью определения бана - лишь ускорит наступление этого бана
    Например яндекс для чистого IP без авторизации выдаст каптчу либо сразу, либо в течени первых 10 запросов
     
  3. denver

    denver A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    6 янв 2013
    Сообщения:
    192
    Симпатии:
    43
    ясно, ну значит в идеале спасет несколько чекеров, но было бы здорово на будущее, что бы парсер мог оперировать глобальной статистикой конкретной выбранной базы прокси

    т.е. я отправляю через API малые порции данных для парсинга по яндексу например, но каждый раз как я понимаю парсер берет всю базу проксей и опять идет по ней как по свежей, не учитывая "прошлые" баны тех самых проксей ? или я ошибаюсь?

    в идеале дать возможность (в настройках конкретного пресета) ставить галку типа "использовать глобальную статистику проксей для всего парсинга" и выбираешь "базу проксей", которую будем юзать и в этом случае если в прошлый раз прокся была забанена и парсинг окончился, при получении новых данных для парсинга, парсер учитываем бан прокси (при условии что не закончилось время бана - 600 секунд как пример), то он эту проксю не берет...

    как-то так :)
     
  4. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    да, для каждого задания статистика независимо идет
     
  5. denver

    denver A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    6 янв 2013
    Сообщения:
    192
    Симпатии:
    43
    на будущее возможно сделать выбор, типа как сейчас независимо на каждый или индивидуально как я написал выше, для google::positions допустим на конкретный пресет вот для него будет своя индивидуальная статистика

    т.е. все задания с этим конкретным пресетом (с отметкой что у него своя прокси-статистика), будет своя статса, и все новые задания уже реально не будут юзать забаненные прокси...

    будет такое? :)
     
  6. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    возможно да
     

Поделиться этой страницей