Улучшение добавитель показатель как быстро собираются данные

[Boomerc]

При отладке устал уже с калькулятором считать. Так как не каждый сетевой запрос ведет к получению данных ( данные могут фильтроваться, сетевой запрос может быть failed, etc).
Предлагаю:
Результатов уник/всего/скорость/общая: 197/568/4524/5342
По аналогии с :
Скорость текущая/общая: 3408/3098
Очень жду.

 

[Forbidden]

как по мне сильно лишняя информация, от количества цифр будут глаза пухнуть

 

[Boomerc]

Это единственный значительный показатель для меня, мне все равно сколько делает запросов парсер в минуту, если данные я получаю на выходе по копейке в минуту.
Я также понимаю, что если этого показателя нет - это может значит что, даже кто-то будет недоволен перегрузкой информацией.
Может как компромиссный вариант сделать такую настройку в парсере? В реализации будет чуть сложнее.

 

[Boomerc]

В таком виде логи меня устраивают

2017-03-28 17:16:05 [scrapy.core.engine] INFO: Spider opened
2017-03-28 17:16:05 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
2017-03-28 17:17:08 [scrapy.extensions.logstats] INFO: Crawled 3457 pages (at 3457 pages/min), scraped 2245 items (at 2245 items/min)
2017-03-28 17:18:08 [scrapy.extensions.logstats] INFO: Crawled 7065 pages (at 3608 pages/min), scraped 4366 items (at 2121 items/min)
2017-03-28 17:19:07 [scrapy.extensions.logstats] INFO: Crawled 11565 pages (at 4500 pages/min), scraped 6391 items (at 2025 items/min)
2017-03-28 17:20:07 [scrapy.extensions.logstats] INFO: Crawled 18065 pages (at 6500 pages/min), scraped 8630 items (at 2239 items/min)

 

[Forbidden]

Это единственный значительный показатель для меня

это отлично, но мы не делаем что то конкретное для одного юзера, если будет спрос тогда посмотрим

 

[Boomerc]

Да, я понимаю. К сожалению, это огромный минус, когда софт пишешь не сам