1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление
Файлы cookie Telegram чат

SE::Google - Ban proxy

Тема в разделе "Техническая поддержка", создана пользователем Force68, 29 май 2013.

Страница 1 из 3
  1. Force68

    Force68 A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    25 фев 2013
    Сообщения:
    175
    Симпатии:
    49
    Добрый вечер, подскажите по такому вопросу -
    при парсинге google прокси моментально улетают в бан,
    можно конечно использовать антигейт, но что то разорительно,
    т.к. буквально за час работы улетает по 3-4 бакса,

    причем прокси брал и amw*оские, и паблик парсил - всё равно банятца моментом,
    и в 100 потоков парсил и в 50, может что в настройках ковырнуть надо, чтоб время между запросами увеличить -
    раньше вроде такого не было.
     
    #1 Force68, 29 май 2013
    senirock нравится это.
  2. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    попробуй поставить Proxy ban time в 0:
    [​IMG]

    отпиши о результатах, кстати какие запросы парсишь? с операторами?
     
    #2 Forbidden, 30 май 2013
  3. Force68

    Force68 A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    25 фев 2013
    Сообщения:
    175
    Симпатии:
    49
    Запросы типа inurl:"yabb.pl?board="
    практически везде есть оператор inurl:,
    поставил на ноль время бана прокси - не помогло, процесс стоит,
    полезли "неудачные запросы" - хотя количество обращений стоит 300.
     
    #3 Force68, 30 май 2013
  4. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    Я подозреваю что гугл на днях стал сильнее банить запросы с операторами

    Скоро будет новая версия, там исправлено некорректное определение каптчи, с ней попробуешь потом
     
    #4 Forbidden, 30 май 2013
  5. Force68

    Force68 A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    25 фев 2013
    Сообщения:
    175
    Симпатии:
    49
    Таки да, затянули походу гайки.
     
    #5 Force68, 30 май 2013
  6. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    обновись, тебе уже залилась новая версия
    отпиши как с ней
     
    #6 Forbidden, 30 май 2013
  7. Force68

    Force68 A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    25 фев 2013
    Сообщения:
    175
    Симпатии:
    49
    Спасибо, щас установлю.
     
    #7 Force68, 30 май 2013
  8. Force68

    Force68 A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    25 фев 2013
    Сообщения:
    175
    Симпатии:
    49
    Поставил, запустил
    [​IMG]

    что то совсем не утешительно, хотя возможно прокси побанены.

    [​IMG]
     
    #8 Force68, 30 май 2013
  9. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    Да, без каптчи тут не обойтись видимо
     
    #9 Forbidden, 30 май 2013
  10. piarschik

    piarschik A-Parser Pro License
    A-Parser Pro

    Регистрация:
    26 ноя 2012
    Сообщения:
    1
    Симпатии:
    0
    Вроде как и без операторов можно неплохие базы собирать. И банан реже получать.
     
    #10 piarschik, 30 май 2013
  11. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    +1 старайтесь всегда парсить по косвенным признакам(повторяющийся текст на страницах, повторяющийся уже проспамленый текст(для тех кто собирает базы под A-Poster, XRumer и т.п.), вхождение ссылок без inurl)
     
    #11 Forbidden, 31 май 2013
  12. maddin

    maddin A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    13 дек 2012
    Сообщения:
    59
    Симпатии:
    1
    да, так и есть, при запросах с оператором inurl гугл каптчу выдаёт, уже месяца 3 так (( с inurl скорость вообще никакая, без inurl каптчу не выдаёт, может какие-то куки ему нужно подкидывать. Пока тоже паршу без inurl, потом в url нужное вхождение проверяю.
     
    #12 maddin, 1 июн 2013
  13. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    по моим тестам - не поможет, т.е. сейчас апарсер себя ведет почти идентично браузеру
    т.е. если взять проксю, вбить её в браузер и попробовать в гугле вбить тот же запрос - то гугл покажет каптчу

    помогает если ты залогинен в гугл аккаунт, но это уже другая история )
     
    #13 Forbidden, 1 июн 2013
    maddin нравится это.
  14. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    есть гениальное решение обхода каптчи :) подробности скорее всего в следующей версии
     
    #14 Forbidden, 1 июн 2013
    SEO.NEWBIE, Force68 и maddin нравится это.
  15. Force68

    Force68 A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    25 фев 2013
    Сообщения:
    175
    Симпатии:
    49
    Forbidden, было бы просто отлично! :)
     
    #15 Force68, 1 июн 2013
  16. derty77

    derty77 A-Parser Pro License
    A-Parser Pro

    Регистрация:
    26 май 2013
    Сообщения:
    2
    Симпатии:
    0
    Поддержую. и без операторов можно норм парсить. Если так принципиальна точность , анализатором в хрумке можно потом прогнать результат.
     
    #16 derty77, 1 июн 2013
  17. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    хрумер для этого не нужен :) в апарсере есть Rank::CMS, которым можно проверить принадлежность сайта к какому либо движку, или использовать банальный фильтр по вхождению признака в ссылке
     
    #17 Forbidden, 1 июн 2013
  18. signup

    signup A-Parser Pro License
    A-Parser Pro

    Регистрация:
    2 апр 2013
    Сообщения:
    15
    Симпатии:
    2
    Тоже была аналогичная проблема, сейчас обновлюсь и попробую ещё раз. Сенкс.
     
    #18 signup, 6 июн 2013
  19. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    проверяем новую фичу CaptchaKiller, отписывайте лучше ли у вас стало парсить

    P.S. это скорее всего не окончательная версия
     
    #19 Forbidden, 10 июн 2013
  20. Akost

    Akost A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    30 окт 2012
    Сообщения:
    12
    Симпатии:
    2
    на новой версии стало много failed queries, попыток стоит 50, на тех же запросах и настроках пресета на прошлой версии failed queries почти небыло
     
    #20 Akost, 10 июн 2013
(Вы должны войти или зарегистрироваться, чтобы разместить сообщение.)
Страница 1 из 3

Поделиться этой страницей