Обнаружил мелкую некритичную ошибку в выводе параметра
"Скорость текущая" при ОЧЕНЬ медленном сайте и 2-3 рабочих потоках.
Парсил один сайт, который по мере углубления в пагинацию стал отдавать страницы крайне медленно и при еле-еле можно было парсить при 2-3 потоках.
Часто выдавал
"This website is under heavy load (queue full)"
Скорость была 2-7 страниц в минуту.
Иногода стал замечать, что показатель "Скорость текущая" бывает, что показывает нереальную скорость - 120/1.
При это количество спарсенных страниц не увеличивается и неудачных запросов тоже не меняется.
На этом сайте скорость 120 - НЕ РЕАЛЬНО получить!!!
Видимо сбой в целочисленных вычислениях - никто никогда с такими скоростями не парсил ))), но мне хочется довести это дело до конца...
Скриншот "Скорость текущая" 120/1. прилагаю.
Ошибка конечно мелкая, непринципиальна.
"Скорость текущая" при ОЧЕНЬ медленном сайте и 2-3 рабочих потоках.
Парсил один сайт, который по мере углубления в пагинацию стал отдавать страницы крайне медленно и при еле-еле можно было парсить при 2-3 потоках.
Часто выдавал
"This website is under heavy load (queue full)"
Скорость была 2-7 страниц в минуту.
Иногода стал замечать, что показатель "Скорость текущая" бывает, что показывает нереальную скорость - 120/1.
При это количество спарсенных страниц не увеличивается и неудачных запросов тоже не меняется.
На этом сайте скорость 120 - НЕ РЕАЛЬНО получить!!!
Видимо сбой в целочисленных вычислениях - никто никогда с такими скоростями не парсил ))), но мне хочется довести это дело до конца...
Скриншот "Скорость текущая" 120/1. прилагаю.
Ошибка конечно мелкая, непринципиальна.
