на данный момент скорость парсинга гугла упала раз в 10 при тех же настройках.
Улучшение [1.1.382] Увеличение скорости парсинга SE::Google
- Автор темы EceninPars
- Дата начала
это не связанно с изменением выдачи, у меня скорость 150-180 при 300 потоках, упала, но не в 10 раз
Не надо всем говорить про 300 потоков, они не у всех есть, и часто не из-за отсутствия денег, а из-за адекватного понимания необходимости таких трат.
Но меня больше волнует, что про то, что не парсится гугл, и что уже есть хоть какой-то патч, я узнаю совершенно случайно. У меня все парсеры через апи работают, и для меня норма - скачивать stable версию, а не beta. Возможно такие критичные обновления необходимо сразу пускать в stable? Или как-то оповещать пользователей. У меня a-parser - это часть бизнес-процесса, и такие ситуации очень неприятны.
Но меня больше волнует, что про то, что не парсится гугл, и что уже есть хоть какой-то патч, я узнаю совершенно случайно. У меня все парсеры через апи работают, и для меня норма - скачивать stable версию, а не beta. Возможно такие критичные обновления необходимо сразу пускать в stable? Или как-то оповещать пользователей. У меня a-parser - это часть бизнес-процесса, и такие ситуации очень неприятны.
а про сколько вам говорить? 100, 500, 2000? выберите свой вариант, я постараюсь запомнить
если вам критичны обновления - ставьте канал beta и будете получать оповещения, это же очевидно, в stable собираются множество обновлений и релиз выпускается когда накопиться приличной их число
что вам не приятно? то что гугл меняет выдачу? или то что фикс был сразу выпущен?
может сделать персональный канал обновлений для вас?