Очень хотелось бы иметь возможность получить по АПИ кол-во оставшихся активных аккаунтов яндекса. Так как яндекс сейчас их банит пачками, то при проставленной настройке "Удалять Плохие Аккаунты" они начинают быстро кончаться и в итоге по сборам в том же вордстате получаем дофига пустых результатов с "none". Сейчам можно по апи отследить кол-во фейлов по таску, но это уже информация постфактум, когда аккаунты кончились и Апарсер пытается собрать на последних 10 аккаунтах 10к запросов и некоторая часть запросов ушла в никуда. А, при наличии возможности это проверить програмно, можно автоматом, при достижении какой-то критической отметки, добавлять таску на дорегистрацию аккаунтов либо поставить таски на паузу и уведомить администратора и т.д.. ЗЫ: оччень не хочется городить рядом с Апарсером ещё одно приложение , которое будет отдавать по своему апи банальное "cat files/SE-Yandex/accounts.txt | wc -l"
А вы отключите опцию "Удалять Плохие Аккаунты", она слишком агрессивная и удаляет много лишнего. А для "освежения" аккаунтов сделать 2 задания в планировщике. 1-е задание парсит ворстат, например по запросам {num:1:500} с включенной опцией "Удалять Плохие Аккаунты" раз в 6 часов. 2-е задание регистрирует яндекс акканунты, {num:1:500} раз в 3 часа Я так вышел из положения.
Спасибо, неплохой воркераунд, надо будет попробовать. Ещё, как вариант, настроить мониторящий скрипт, проверяющий файл аккаунтов и, при кол-ве < 500, курлом постящий addTask{Yandex::Register {num:1:500} } . зы: по поводу агрессивности - мне кажется, что это Яндекс стал более агрессивно банить аккаунты. Сейчас они живут в разы меньше, по сравнению даже с летом. зы2: Плюс, при выключеном удалении, каждый новый поток тупит, пока перебирает фейлящие аккаунты и добирается до нормальных, попутно дискредитируя прокси всплесками фейлящихся логинов.
Да, методом проб и ошибок пришел к такому. Сейчас минимальная скорость парсинга 432 в минуту это на 300 потоках, главное что всё стабильно и не приходится каждый раз лазить и что-то подкручивать. 100% 432 1d 1h 26m 659483 SE::Yandex::WordStat::ByRegion 100% 652 0d 1h 30m 58789 SE::Yandex::WordStat::ByRegion 100% 423 0d 5h 23m 136856 SE::Yandex::WordStat::ByRegion 100% 573 0d 1h 39m 56856 SE::Yandex::WordStat::ByRegion
Добавлен метод getAccountsCount: Код: Request: { "action" : "getAccountsCount", "data" : {}, "password" : "123" } Response: { "success" : 1, "data" : { "SE::Yandex" : 3 } }
