У меня задача проверять 1000 сайтов. 10ю разными проверками в разное время. Постоянно, циклически. Раз в час, Раз в 30 минут и тд. Каждый список по разному. И следить за ошибками я физически не могу. Запросы делаю с помощью апи и с помощью апи забираю ответы.
У себя в таблице я фиксирую последний статус сайта. Это может быть запись в ркн или пустота, когда записи нет в РКН. На основании вновь входящих данных, если статус сайта меняется, я делаю оповещения в телеграм бота. Если была пустота и появилась запись, то сайт попал в бан. Если запись была, а в результате пришла пустота(то есть нет данных в базе ркн), то оповещает что сайта в базе больше нет. Но случается часто так что парсер вообще не отрабатывает, после 10 запросов улетает в ошибку. И мне в результат снова приходит пустота.
Когда случаются такие ошибки. Приходит мне сообщение что сайт больше не в ркн. Я думаю, хорошо, сайт не в ркн, раньше был, а теперь разбанили. И такое приходит по 100 сайтам. Но потом через 30 минут приходит что сайт в ркн. Чему верить не понятно. Потому что ошибка любая в пасрере равна положительному результату.
То есть ошибка == пустота. Сайт не в бане == пустота. Как тогда отличать? Можно ли сделать что бы парсер если сайт не в бане отправлял тоже какой то результат вместо пустоты, типо == нет данных по сайту. Тогда можно было опираться на это а все остальное, уже у себя отсеивать как ошибки.
Сам пресет
eJx9VG1P2zAQ/iuRRQSTukAH06RM+1A6OtigZS39MLWocuNr8erYwXY6WOl/39kJ
SUsZX5zc+V6e5+58K2KpWZhrDQasIfFoRTL/T2Iyzo9OPhy58xjcedL0/7TWHCf+
ZP4sLE/8+WnD64g0SEa1Ae3ij0j7DpJFHPeV+aHSLmV/lUYLBjOaC0saK2IfM8D0
aglacwZ4yRnKQ8vFpCUt/0YtTEqUDbKkInfmOk9oZpM7GiUqJev/x8m0enj0IEBv
+Dff8plSA0MtNszvrM1MfHgIlJtIL2Q0V8tI528FmSmdUou4Pc8q0igMhoOzgNng
S8CQ2kFhh9J+yKIwjcJfQXgeh1dxONh/93ksO73+Wat9HnALaXDRDbJmNBU0WQhu
LJdztAjuc9CPkdJ8HkyC/eDpCY+Jd4hcih0lgrKaJ5YruXMn83QKeked0sW2ltmo
QH7wDqUxGY/lmCCYs+7XILwl69vbBinIm463Q+57iL3qZHk5oEu4Ua5eXECt7qDU
pamr2J7j4G6rhJF9cBEoY9xxoKLI4AauzjqU/N5XXCq0dSXiYDoapyUmFnwAX7dn
dCOy52WCIXLv+7PwIfGMCgMNYhBqhyIQ9vIGS6SpVbqXOTyoXxElW0JcwhJEbebj
n+ZcMHwdrRk6XZSOr5v0dmKsK3qbqXDy/mjEUEXx0mnvqvZi6lLNkTmbIm/BU25R
Nm2VS9cY92gXAFlVs66rWao0VGnKyGV23CAZSDfmdctaWa3aorHVlm1louSMz3vl
03m2zOUNrqmebKs0E+B4yVwIbIuBfj0eLVO2wQk1wJfObZ/CUX/eOcQqJcz3QQE1
0xzH76MDmGIlN7OWIRMqxLB/uXlD6pFyo4tfycz7hBou1bFfSc7NwlzhQCGp9W21
Favlu3p1N8arNbbrt7kurB03Z4s6LJLBXpC4uf4HPpn3Mw==
У себя в таблице я фиксирую последний статус сайта. Это может быть запись в ркн или пустота, когда записи нет в РКН. На основании вновь входящих данных, если статус сайта меняется, я делаю оповещения в телеграм бота. Если была пустота и появилась запись, то сайт попал в бан. Если запись была, а в результате пришла пустота(то есть нет данных в базе ркн), то оповещает что сайта в базе больше нет. Но случается часто так что парсер вообще не отрабатывает, после 10 запросов улетает в ошибку. И мне в результат снова приходит пустота.
Когда случаются такие ошибки. Приходит мне сообщение что сайт больше не в ркн. Я думаю, хорошо, сайт не в ркн, раньше был, а теперь разбанили. И такое приходит по 100 сайтам. Но потом через 30 минут приходит что сайт в ркн. Чему верить не понятно. Потому что ошибка любая в пасрере равна положительному результату.
То есть ошибка == пустота. Сайт не в бане == пустота. Как тогда отличать? Можно ли сделать что бы парсер если сайт не в бане отправлял тоже какой то результат вместо пустоты, типо == нет данных по сайту. Тогда можно было опираться на это а все остальное, уже у себя отсеивать как ошибки.
Сам пресет
eJx9VG1P2zAQ/iuRRQSTukAH06RM+1A6OtigZS39MLWocuNr8erYwXY6WOl/39kJ
SUsZX5zc+V6e5+58K2KpWZhrDQasIfFoRTL/T2Iyzo9OPhy58xjcedL0/7TWHCf+
ZP4sLE/8+WnD64g0SEa1Ae3ij0j7DpJFHPeV+aHSLmV/lUYLBjOaC0saK2IfM8D0
aglacwZ4yRnKQ8vFpCUt/0YtTEqUDbKkInfmOk9oZpM7GiUqJev/x8m0enj0IEBv
+Dff8plSA0MtNszvrM1MfHgIlJtIL2Q0V8tI528FmSmdUou4Pc8q0igMhoOzgNng
S8CQ2kFhh9J+yKIwjcJfQXgeh1dxONh/93ksO73+Wat9HnALaXDRDbJmNBU0WQhu
LJdztAjuc9CPkdJ8HkyC/eDpCY+Jd4hcih0lgrKaJ5YruXMn83QKeked0sW2ltmo
QH7wDqUxGY/lmCCYs+7XILwl69vbBinIm463Q+57iL3qZHk5oEu4Ua5eXECt7qDU
pamr2J7j4G6rhJF9cBEoY9xxoKLI4AauzjqU/N5XXCq0dSXiYDoapyUmFnwAX7dn
dCOy52WCIXLv+7PwIfGMCgMNYhBqhyIQ9vIGS6SpVbqXOTyoXxElW0JcwhJEbebj
n+ZcMHwdrRk6XZSOr5v0dmKsK3qbqXDy/mjEUEXx0mnvqvZi6lLNkTmbIm/BU25R
Nm2VS9cY92gXAFlVs66rWao0VGnKyGV23CAZSDfmdctaWa3aorHVlm1louSMz3vl
03m2zOUNrqmebKs0E+B4yVwIbIuBfj0eLVO2wQk1wJfObZ/CUX/eOcQqJcz3QQE1
0xzH76MDmGIlN7OWIRMqxLB/uXlD6pFyo4tfycz7hBou1bFfSc7NwlzhQCGp9W21
Favlu3p1N8arNbbrt7kurB03Z4s6LJLBXpC4uf4HPpn3Mw==