1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Не могу отпарсить Google. Не понимаю в чем проблема

Тема в разделе "Техническая поддержка", создана пользователем radnek, 28 июн 2013.

  1. radnek

    radnek A-Parser Pro License
    A-Parser Pro

    Регистрация:
    17 фев 2013
    Сообщения:
    4
    Симпатии:
    0
    В общем пытаюсь напарсить себе базу форумов через Google, но ничего не выходит. Причем днем ранее все получалось. Пытался и так и сяк, но ни в какую. Ниже скриншоты. Не думаю что дело в проксях, их 1300 живых в базе, постоянно чекаются.

    [​IMG]

    [​IMG]

    [​IMG]

    В чем может быть проблема? Может настройки неправильные где-то? Могу выслать еще скринов если надо.
     
  2. maddin

    maddin A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    13 дек 2012
    Сообщения:
    59
    Симпатии:
    1
    Гугл сессии и каптча киллер сними две эти галки и попробуй, должно помочь. И Proxy ban time поставь значение хотябы по умолчанию.
     
  3. radnek

    radnek A-Parser Pro License
    A-Parser Pro

    Регистрация:
    17 фев 2013
    Сообщения:
    4
    Симпатии:
    0
    Поставил Proxy Ban time = 300, галочки с сессией и captcha killer галочки снял. никак не помогает, да и пробовал ранее
     
  4. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    Поставь количество попыток Request retries больше(100-200)
     
  5. maddin

    maddin A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    13 дек 2012
    Сообщения:
    59
    Симпатии:
    1
    Да и потоков побольше поставь.
    Но судя по первому скрину, где 133 запроса было с 10 попытками и 129 неуспешных, тут скорее всего из-за настройки Proxy ban time = 0 получилось так, что прокси с каптчей опять пытались парсить.
    Сейчас с Proxy ban time + Request retries + Threads должно быть лучше , ещё поэксперементируй с галками сессий и каптча киллер, нужно попробовать с ними и без них. У меня без них быстрее. Хотя когда были внедрены эти настройки, то запросы с операторами парсились только с ними.
     
  6. Kopch

    Kopch A-Parser Pro License
    A-Parser Pro

    Регистрация:
    19 мар 2013
    Сообщения:
    9
    Симпатии:
    0
    У меня такая же проблема. Юзаю паблик прокси. Раньше все было нормально, сейчас же то ли гугл стал прокси сильнее фильтровать, то ли в парсере что-то поменялось, в итоге ситуация такая же.

    ТС попробуй включить логи и посмотри, что там (ну или попробуй тестовый парсинг) у меня 90% проксей получают от гугла 403 ошибку, хотя чекер их пропускает как анонимные.
     
  7. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    403 Forbidden - IP прокси забанен совсем
     
  8. Kopch

    Kopch A-Parser Pro License
    A-Parser Pro

    Регистрация:
    19 мар 2013
    Сообщения:
    9
    Симпатии:
    0
    Ну вот и странно, прокси сначала парсились и проверялись на анонимность и доступность гугла, но видимо убиваются в считанные секунды
     
  9. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    А как ты проверяешь их на доступность гугла?
     
  10. Kopch

    Kopch A-Parser Pro License
    A-Parser Pro

    Регистрация:
    19 мар 2013
    Сообщения:
    9
    Симпатии:
    0
    Scrapebox-ом там есть такой тест (Google test) для проксей
     
  11. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    А как он проверяет? :))
     
  12. Kopch

    Kopch A-Parser Pro License
    A-Parser Pro

    Регистрация:
    19 мар 2013
    Сообщения:
    9
    Симпатии:
    0
    Ну этого я точно сказать не могу ). Полагаю дергает гугл-запрос через прокси и смотрит заголовок на ошибку...
     
  13. Pushkin

    Pushkin A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    18 июн 2013
    Сообщения:
    7
    Симпатии:
    1
    заходит под проксей на гугл.ком и ищем в тексте google полагаю так)
     

Поделиться этой страницей