1.1.873 - парсинг Google со скоростью 10000+ запросов в минуту

Тема в разделе "Новости", создана пользователем Forbidden, 15 май 2017.

  1. Forbidden

    Forbidden Administrator Команда форума A-Parser Enterprise

    В версии A-Parser 1.1.873 добавлен новый парсер SE::Google::Fast SE::Google::Fast позволяющий парсить Google со скоростью 10к+ запросов в минуту без использования антикаптчи

    [​IMG]

    Улучшения
    • Новый парсер SE::Google::Fast SE::Google::Fast - быстрый парсер выдачи гугла, способен развить скорость более 10000 запросов в минуту без использования антикаптчи
    • Новый парсер SE::Google::ByImage SE::Google::ByImage - парсер картинок из Google по ссылке на картинку
    • В парсере Rank::SimilarWeb Rank::SimilarWeb добавлена поддержка антикаптчи
    • В парсере Rank::Linkpad Rank::Linkpad добавлены новые параметры для сбора - ранк домена, процент nofollow и безанкорных ссылок, число доноров по IP и подсетям, а также стоимость размещения ссылок
    • JavaScript парсеры: добавлен параметр browser для this.request, позволяющий автоматически эмулировать заголовки браузера
    • В инструменты tools добавлена возможность кодировать и декодировать base64
    • Теперь в tools.data содержится большое количество предустановленной информации - языки, регионы, домены для поисковых систем Google и Яндекс
    Исправления в связи с изменениями в выдаче
    Исправления
    • Исправлена уязвимость позволяющая читать файлы на сервере при известном пароле
    • Исправлена ошибка в тестировщике заданий - могли обрабатываться не все запросы
    • При использовании tools.query.add задание могло зависнуть в очереди, ошибка появилась в предыдущем релизе
    • Исправлена работа tools.js на ОС Linux
    • Исправлена утечка памяти при использовании JavaScript парсеров
    • Исправлена работа опции Динамический лимит потоков
     
    BESHENEI, vipdenya, uomi и 4 другим нравится это.
  2. DeLaKroiX

    DeLaKroiX A-Parser Pro License A-Parser Pro

    а можно получить скрин настроек этого парсера, при котором достигается такая скорость ? потому что я не заметил разницы между обычным парсером гугла с капчей и этим.
     
    Alex нравится это.
  3. Forbidden

    Forbidden Administrator Команда форума A-Parser Enterprise

  4. DeLaKroiX

    DeLaKroiX A-Parser Pro License A-Parser Pro

    а, ну это полезно будет наверное тем, у кого капмонстра или xevil'а нету, а то на 1 страницу в глубину парсить - это далеко не для всех задач подходит )
    а так да, спасибо за функцию :)
     
  5. uomi

    uomi A-Parser Pro License A-Parser Pro

    С чего ты взял, что только на 1-ну страницу? на скриншоте - просто пример.
    • количество результатов на страницу фиксировано - 10, количество страниц - до 50 (https://a-parser.com/threads/3380/)
     
  6. DeLaKroiX

    DeLaKroiX A-Parser Pro License A-Parser Pro

    IMG_20170515_220141.jpg
    ну и всё же я не заметил разницы при парсинге на полную глубину. я про скорость парсинга. без капчи парсит это плюс, за это и спасибо))
     
    BESHENEI и vipuncle нравится это.

Поделиться этой страницей