мысли.
со вчерашнего дня и до сих пор поломался вордстат регионы, возвращает 500ку. парсинг соответственно не работает, но узнал я об этом только сегодня и то не сразу, думал с аккаунтами проблема.
Так вот возникла мысль, что если сохранять статусы парсингов и где нибудь в какой-нибудь таблице выводить?
Настройки такие к примеру по-умолчанию, больше 1000 пятисоток за 1 час или не удачных парсингов (тот же контент мичмант) ставим статус парсеру "поломался", шлем алерт на мыло или в вотсап., ну и чтобы через api доступ был, чтобы можно было заглушить глобальный парсинг и почем зря не долбиться в вордстат не портить аккаунты и прокси.
На основе этого можно сделать умную работу парсера, если получили статус "поломался", то глобально станавливаем все задачи связанные с этим парсером, ждем пока статус парсинга не изменится на "работает". Через какое то время tineout статус парсера сам меняется на "работает", снова запускаются все задачи и до тех пор пока снова не получим статус "поломался".
со вчерашнего дня и до сих пор поломался вордстат регионы, возвращает 500ку. парсинг соответственно не работает, но узнал я об этом только сегодня и то не сразу, думал с аккаунтами проблема.
Так вот возникла мысль, что если сохранять статусы парсингов и где нибудь в какой-нибудь таблице выводить?
Настройки такие к примеру по-умолчанию, больше 1000 пятисоток за 1 час или не удачных парсингов (тот же контент мичмант) ставим статус парсеру "поломался", шлем алерт на мыло или в вотсап., ну и чтобы через api доступ был, чтобы можно было заглушить глобальный парсинг и почем зря не долбиться в вордстат не портить аккаунты и прокси.
На основе этого можно сделать умную работу парсера, если получили статус "поломался", то глобально станавливаем все задачи связанные с этим парсером, ждем пока статус парсинга не изменится на "работает". Через какое то время tineout статус парсера сам меняется на "работает", снова запускаются все задачи и до тех пор пока снова не получим статус "поломался".
Последнее редактирование:
