1. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

inurl не работает

Тема в разделе "Техническая поддержка", создана пользователем danni dannovich, 18 сен 2015.

Статус темы:
Закрыта.
  1. danni dannovich

    danni dannovich A-Parser Pro License
    A-Parser Pro

    Регистрация:
    15 янв 2015
    Сообщения:
    59
    Симпатии:
    2
    Пару дней назад началось, что 99 из 100 запросов с inurl неудачные. Прокси менял. Если без этого - нормально работает.
     
  2. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.337
    Симпатии:
    1.795
    это лишь говорит что Google сильнее банит такие запросы, варианты решения:
    • увеличить число попыток Request retries
    • подключить антигейт
    • пробовать другие прокси
     
  3. danni dannovich

    danni dannovich A-Parser Pro License
    A-Parser Pro

    Регистрация:
    15 янв 2015
    Сообщения:
    59
    Симпатии:
    2
    Менял все время прокси, 99% запросов - неудачные. Еще пару дней назад ничего такого не было
     
  4. danni dannovich

    danni dannovich A-Parser Pro License
    A-Parser Pro

    Регистрация:
    15 янв 2015
    Сообщения:
    59
    Симпатии:
    2
    aa11.png Антигейт
     
  5. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.337
    Симпатии:
    1.795
    вот пример из демо апарсера:
    [​IMG]


    судя по всему твои прокси забанены в гугле
     
  6. danni dannovich

    danni dannovich A-Parser Pro License
    A-Parser Pro

    Регистрация:
    15 янв 2015
    Сообщения:
    59
    Симпатии:
    2
    Обычное задание(рандомный текст) начинается сразу и норм идет. С inurl оно думало около 5 минут, прежде чем сменить "Запросы заверш./всего" с 0 на другие числа. Ну забанены и ладно, а почему так долго... странно
    Прокси собираются зеннопостером автоматически. Он там сам ищет источники. Нахожу 2к и сразу в апарсер, вот тупо 2 дня уже фигня.
    И версия у меня апарсера 1.1.247
    И вот оно так на 100 потоков думает 5 минут, смотрю антигейт, там капч 20-30 за эти 5 минут приходит...
     
  7. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.337
    Симпатии:
    1.795
    A-Parser не думает, он перебирает попытки(Request retries), чем больше стоит тем дольше будет реакция при забаненных проксях(т.к. каждая попытка - неудачная)
     
  8. danni dannovich

    danni dannovich A-Parser Pro License
    A-Parser Pro

    Регистрация:
    15 янв 2015
    Сообщения:
    59
    Симпатии:
    2
    inurl:com_k2 99% ошибки
    "com_k2" 99% ошибки
    com_k2 5% ошибки на тех же проксях и без антигейта.
     
  9. danni dannovich

    danni dannovich A-Parser Pro License
    A-Parser Pro

    Регистрация:
    15 янв 2015
    Сообщения:
    59
    Симпатии:
    2
    Одновременно запущены, одинаковые прокси, без антигейта. "site" и "inurl" - 2 оператора гугла, "вес" одинаковый. Да и не может быть 100% неудачных, бред какой-то. Или я не прав?
    s2s1.png
     
  10. alkoustas

    alkoustas A-Parser Pro License
    A-Parser Pro

    Регистрация:
    6 мар 2013
    Сообщения:
    24
    Симпатии:
    10
    Так сложно запустить тестовый парсинг и посмотреть что отдает гугл ?
    Уже ж два дня топик тянется.

    Меня уже аж прям трисет :D

    Бывает что задрочишь прокси и он тебе на операторах или капчу или 503 (или что он там отдает).
    Причем еще и периодами. Бывает и на паблике с операторами норм идет.
    Запустил тестовый да посмотрел короч
     
  11. danni dannovich

    danni dannovich A-Parser Pro License
    A-Parser Pro

    Регистрация:
    15 янв 2015
    Сообщения:
    59
    Симпатии:
    2
    Раньше как-то не смотрел, что там в тестовом парсинге вообще находится)
    Ситуация такая, когда есть inurl апарсер формирует запрос:
    http://www.google.com/search?ie=utf-8&oe=utf-8&hl=en&q=inurl:vk.com&num=100&gws_rd=ssl - 598 Timeout by timer
    оно у меня еле еле открывается и без прокси в браузере, с прокси во всех абсолютно случаях оно даже зайти туда не может, ошибка 598, вообще никак, тугой запрос.
    Плюс на этой странице About 75 results vk.com, а если скопировать запрос заново в гугл,то понятное дело миллионы. Какая-то странность в общем, прокси именно по inurl зайти не могут никак, по остальным нормально. И такое дня 3 только, так что все это очень странно.(Если не верите в мои прокси, можете мне свои крутые на 1 день подключить, но думаю ясно, что из 1500 прокси ни один зайти не может, то это странность, даже ж не капчу, а вообще не заходит.
     
  12. alkoustas

    alkoustas A-Parser Pro License
    A-Parser Pro

    Регистрация:
    6 мар 2013
    Сообщения:
    24
    Симпатии:
    10
    598 Timeout by timer - не успевает подтянуть страницу (если не ошибаюсь)
    Смотри вот что выдает в google.com (и это с RU ip) - http://i.imgur.com/q3AGimd.png
    ... тут я был подумал что в google.ru будет по другому ...
    http://i.imgur.com/8j14uhg.png
    просто сделай поиск в браузере без каких либо настроек и покликай по пагинации
    результат тебя приятно удивит на 8 паге

    ps
    если тебе с вк надо парсить - просто заюзай site:vk.com
     
  13. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.337
    Симпатии:
    1.795
    гугл банит одни запросы(inurl, всевозможные "дорки" дырявых движков) сильнее чем другие, я это еще в начале топика упомянул
     
  14. danni dannovich

    danni dannovich A-Parser Pro License
    A-Parser Pro

    Регистрация:
    15 янв 2015
    Сообщения:
    59
    Симпатии:
    2
    inurl:azaza ровно так же ни один запрос не был удачным, таймаут, не капча, а просто не заходит на эту ссылку.
    По этой логике можно забывать про inurl, т.к. она вообще работать теперь не будет, чтобы там не писать. Лично у меня так.
     
  15. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.337
    Симпатии:
    1.795
    с забаненными проксями про inurl точно можно забыть
     
  16. danni dannovich

    danni dannovich A-Parser Pro License
    A-Parser Pro

    Регистрация:
    15 янв 2015
    Сообщения:
    59
    Симпатии:
    2
    так а по какому принципу они забанены? Им вообще нельзя зайти на домен гугла/нельзя использовать команды/нельзя только inurl?
     
  17. relay

    relay A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    22 июл 2013
    Сообщения:
    157
    Симпатии:
    103
    нужно смотреть, возможно простые запросы без операторов пройдут, но в 99% случаев гугл покажет капчу или попросит повторить запрос позже
     
  18. danni dannovich

    danni dannovich A-Parser Pro License
    A-Parser Pro

    Регистрация:
    15 янв 2015
    Сообщения:
    59
    Симпатии:
    2
    Ну как я писал выше - простые запросы работают идеально, любые команды, кроме inurl тоже, с inurl ни одна из 2к проксей не смогла зайти на гугл, отключились по таймауту. 4 дня назад ничего такого не было.
    Т.е. еще раз: любой запрос на моих проксях - все норм.
    Запрос с inurl - нет капчи, ничего нет, не заходит и все.
     
    #18 danni dannovich, 21 сен 2015
    Последнее редактирование: 21 сен 2015
  19. relay

    relay A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    22 июл 2013
    Сообщения:
    157
    Симпатии:
    103
    ищи замену inurl
     
  20. danni dannovich

    danni dannovich A-Parser Pro License
    A-Parser Pro

    Регистрация:
    15 янв 2015
    Сообщения:
    59
    Симпатии:
    2
    а у меня не 99%, а 100% запросов выдают то, что не могут вообще зайти на гугл, в том то и странность. Была б капча или еще что, я б не удивлялся даже. И именно от одной команды. Помоему весьма странно.

    Например я собираю сайты на движке джумлы com_k2, я даже не знаю других признаков, кроме inurl. И если у меня с обычными паблик-проксями inurl умер под 0, то у многих должно такое сейчас быть, в чем я сильно сомневаюсь.

    --
    Кстати может не связано, но у меня некоторое время в мазиле не показывает картинку капчи гугла(если по https), в хроме пишет ошибка ssl иногда. Точно не понял как это починить, если оно влияет конечно...
     
    #20 danni dannovich, 21 сен 2015
    Последнее редактирование: 21 сен 2015
Статус темы:
Закрыта.

Поделиться этой страницей