Подскажите, можно как-то ускорить парсер SE::Yandex? Использовал сначала свои прокси и также покупные, скорость парсинга была низкой, купил прокси а-парсера 100 потоков на месяц, но скорость работы на проксях а-парсера еще ниже, чем на моих.. Пробовал парсить как с Ксевилом, так и без него. Также пробовал обновить а-парсер до последней версии, но также не помогло.
Можно попробовать стандартные варианты: увеличить кол-во потоков и уменьшить кол-во собираемых страниц (если это позволяет сделать ваша задача). Но Яндекс сейчас плохо парсится в целом, часто выдает каптчи, поэтому больших скоростей врятли получится добиться. По нашим тестам немного увеличивает скорость подключение авторазгадывания каптч или антигейта, но не на много.
Все это и так сделано, но не помогло.. Паршу по кею всего 20 результатов на 1 страницу. Использую в качестве антигейта Ксевил. По моим ощущениям, сейчас Яндекс парсится даже хуже, чем Гугл. Скорость парсинга при 100-200 потоках до 100 максимум, и то в среднем 50...
Так как мне постоянно для моих задач нужно парсить Яндекс практически, стал разбираться с задачей сам далее. Понял следующее, что сейчас похоже сильно Яндекс зависит от проксей... Нашел дорогие прокси, на них удалось поднять скорость при 200 потоках до 400 линков это без антигейта. С антигейтом(использовался Ксевил), там скорость до 200. Прокси а-парсера на данный момент для парсинга Яндекса не подходят. Предлагаю ввести тестовый тариф или манибэк в течении часа для проксей а-парсера. Вот я, например, взял прокси сейчас а-парсера только для парсинга Яндекса, но с ними совсем почти парсинг не идет, поэтому парсить Яндекс с ними не буду, по сути просто выкинул деньги.
