1.1.873 - парсинг Google со скоростью 10000+ запросов в минуту

[Forbidden]

В версии A-Parser 1.1.873 добавлен новый парсер SE::Google::Fast позволяющий парсить Google со скоростью 10к+ запросов в минуту без использования антикаптчи

Улучшения

• Новый парсер SE::Google::Fast - быстрый парсер выдачи гугла, способен развить скорость более 10000 запросов в минуту без использования антикаптчи
• Новый парсер SE::Google::ByImage - парсер картинок из Google по ссылке на картинку
• В парсере Rank::SimilarWeb добавлена поддержка антикаптчи
• В парсере Rank::Linkpad добавлены новые параметры для сбора - ранк домена, процент nofollow и безанкорных ссылок, число доноров по IP и подсетям, а также стоимость размещения ссылок
• JavaScript парсеры: добавлен параметр browser для this.request, позволяющий автоматически эмулировать заголовки браузера
• В инструменты tools добавлена возможность кодировать и декодировать base64
• Теперь в tools.data содержится большое количество предустановленной информации - языки, регионы, домены для поисковых систем Google и Яндекс

Исправления в связи с изменениями в выдаче

• Rank::SimilarWeb, SE::Google::Images, Rank::MajesticSEO

Исправления

• Исправлена уязвимость позволяющая читать файлы на сервере при известном пароле
• Исправлена ошибка в тестировщике заданий - могли обрабатываться не все запросы
• При использовании tools.query.add задание могло зависнуть в очереди, ошибка появилась в предыдущем релизе
• Исправлена работа tools.js на ОС Linux
• Исправлена утечка памяти при использовании JavaScript парсеров
• Исправлена работа опции Динамический лимит потоков

 

[DeLaKroiX]

а можно получить скрин настроек этого парсера, при котором достигается такая скорость ? потому что я не заметил разницы между обычным парсером гугла с капчей и этим.

 

[Forbidden]

 

[DeLaKroiX]

а, ну это полезно будет наверное тем, у кого капмонстра или xevil'а нету, а то на 1 страницу в глубину парсить - это далеко не для всех задач подходит )
а так да, спасибо за функцию

 

[uomi]

а, ну это полезно будет наверное тем, у кого капмонстра или xevil'а нету, а то на 1 страницу в глубину парсить - это далеко не для всех задач подходит )
а так да, спасибо за функцию

С чего ты взял, что только на 1-ну страницу? на скриншоте - просто пример.

• количество результатов на страницу фиксировано - 10, количество страниц - до 50 (https://a-parser.com/threads/3380/)

 

[DeLaKroiX]

С чего ты взял, что только на 1-ну страницу? на скриншоте - просто пример.

• количество результатов на страницу фиксировано - 10, количество страниц - до 50 (https://a-parser.com/threads/3380/)

ну и всё же я не заметил разницы при парсинге на полную глубину. я про скорость парсинга. без капчи парсит это плюс, за это и спасибо))

 

[kolya757]

У кого то получилось разогнать до 10к в минуту? Как долго держит такую скорость если получилось и не падает ли скорость, после часа парсинга?

 

[Forbidden]

Вот свежий замер, скорость стабильно 10к:

linux, i7-4770, прокси от nosok.org

 

[Ray]

данный парсер еще рабочий ? я не вижу его в списке

 

[relay]

данный парсер еще рабочий ? я не вижу его в списке

нет, уже удален