1. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Улучшение Мелкая ошибка в "Скорость текущая"

Тема в разделе "Задачи", создана пользователем Gorn, 14 авг 2018.

  1. Gorn

    Gorn A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    6 июл 2017
    Сообщения:
    90
    Симпатии:
    18
    Обнаружил мелкую некритичную ошибку в выводе параметра
    "Скорость текущая" при ОЧЕНЬ медленном сайте и 2-3 рабочих потоках.

    Парсил один сайт, который по мере углубления в пагинацию стал отдавать страницы крайне медленно и при еле-еле можно было парсить при 2-3 потоках.
    Часто выдавал
    "This website is under heavy load (queue full)"
    Скорость была 2-7 страниц в минуту.
    Иногода стал замечать, что показатель "Скорость текущая" бывает, что показывает нереальную скорость - 120/1.
    При это количество спарсенных страниц не увеличивается и неудачных запросов тоже не меняется.
    На этом сайте скорость 120 - НЕ РЕАЛЬНО получить!!!
    Видимо сбой в целочисленных вычислениях - никто никогда с такими скоростями не парсил ))), но мне хочется довести это дело до конца...
    Скриншот "Скорость текущая" 120/1. прилагаю.
    Ошибка конечно мелкая, непринципиальна.
     

    Вложения:

Поделиться этой страницей