1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление
Файлы cookie Telegram чат

1.1.873 - парсинг Google со скоростью 10000+ запросов в минуту

Тема в разделе "Новости", создана пользователем Forbidden, 15 май 2017.

  1. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    В версии A-Parser 1.1.873 добавлен новый парсер SE::Google::Fast SE::Google::Fast позволяющий парсить Google со скоростью 10к+ запросов в минуту без использования антикаптчи

    [​IMG]

    Улучшения
    • Новый парсер SE::Google::Fast SE::Google::Fast - быстрый парсер выдачи гугла, способен развить скорость более 10000 запросов в минуту без использования антикаптчи
    • Новый парсер SE::Google::ByImage SE::Google::ByImage - парсер картинок из Google по ссылке на картинку
    • В парсере Rank::SimilarWeb Rank::SimilarWeb добавлена поддержка антикаптчи
    • В парсере Rank::Linkpad Rank::Linkpad добавлены новые параметры для сбора - ранк домена, процент nofollow и безанкорных ссылок, число доноров по IP и подсетям, а также стоимость размещения ссылок
    • JavaScript парсеры: добавлен параметр browser для this.request, позволяющий автоматически эмулировать заголовки браузера
    • В инструменты tools добавлена возможность кодировать и декодировать base64
    • Теперь в tools.data содержится большое количество предустановленной информации - языки, регионы, домены для поисковых систем Google и Яндекс
    Исправления в связи с изменениями в выдаче
    Исправления
    • Исправлена уязвимость позволяющая читать файлы на сервере при известном пароле
    • Исправлена ошибка в тестировщике заданий - могли обрабатываться не все запросы
    • При использовании tools.query.add задание могло зависнуть в очереди, ошибка появилась в предыдущем релизе
    • Исправлена работа tools.js на ОС Linux
    • Исправлена утечка памяти при использовании JavaScript парсеров
    • Исправлена работа опции Динамический лимит потоков
     
    #1 Forbidden, 15 май 2017
    BESHENEI, vipdenya, uomi и 4 другим нравится это.
  2. DeLaKroiX

    DeLaKroiX A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    25 дек 2015
    Сообщения:
    267
    Симпатии:
    96
    а можно получить скрин настроек этого парсера, при котором достигается такая скорость ? потому что я не заметил разницы между обычным парсером гугла с капчей и этим.
     
    #2 DeLaKroiX, 15 май 2017
    Alex нравится это.
  3. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    [​IMG]
     
    #3 Forbidden, 15 май 2017
  4. DeLaKroiX

    DeLaKroiX A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    25 дек 2015
    Сообщения:
    267
    Симпатии:
    96
    а, ну это полезно будет наверное тем, у кого капмонстра или xevil'а нету, а то на 1 страницу в глубину парсить - это далеко не для всех задач подходит )
    а так да, спасибо за функцию :)
     
    #4 DeLaKroiX, 15 май 2017
  5. uomi

    uomi A-Parser Pro License
    A-Parser Pro

    Регистрация:
    16 янв 2015
    Сообщения:
    14
    Симпатии:
    14
    С чего ты взял, что только на 1-ну страницу? на скриншоте - просто пример.
    • количество результатов на страницу фиксировано - 10, количество страниц - до 50 (https://a-parser.com/threads/3380/)
     
    #5 uomi, 15 май 2017
  6. DeLaKroiX

    DeLaKroiX A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    25 дек 2015
    Сообщения:
    267
    Симпатии:
    96
    IMG_20170515_220141.jpg
    ну и всё же я не заметил разницы при парсинге на полную глубину. я про скорость парсинга. без капчи парсит это плюс, за это и спасибо))
     
    #6 DeLaKroiX, 15 май 2017
    BESHENEI и vipuncle нравится это.
  7. kolya757

    kolya757 A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    13 ноя 2014
    Сообщения:
    31
    Симпатии:
    5
    У кого то получилось разогнать до 10к в минуту? Как долго держит такую скорость если получилось и не падает ли скорость, после часа парсинга?
     
    #7 kolya757, 30 май 2017
  8. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    Вот свежий замер, скорость стабильно 10к:

    [​IMG]

    linux, i7-4770, прокси от nosok.org
     
    #8 Forbidden, 31 май 2017
    relay нравится это.
  9. Ray

    Ray A-Parser Pro License
    A-Parser Pro

    Регистрация:
    28 сен 2017
    Сообщения:
    1
    Симпатии:
    0
    данный парсер еще рабочий ? я не вижу его в списке
     
    #9 Ray, 27 окт 2017
  10. relay

    relay A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    22 июл 2013
    Сообщения:
    156
    Симпатии:
    102
    нет, уже удален
     
    #10 relay, 27 окт 2017
    Forbidden нравится это.
(Вы должны войти или зарегистрироваться, чтобы разместить сообщение.)

Поделиться этой страницей