При отладке устал уже с калькулятором считать. Так как не каждый сетевой запрос ведет к получению данных ( данные могут фильтроваться, сетевой запрос может быть failed, etc). Предлагаю: Результатов уник/всего/скорость/общая: 197/568/4524/5342 По аналогии с : Скорость текущая/общая: 3408/3098 Очень жду.
Это единственный значительный показатель для меня, мне все равно сколько делает запросов парсер в минуту, если данные я получаю на выходе по копейке в минуту. Я также понимаю, что если этого показателя нет - это может значит что, даже кто-то будет недоволен перегрузкой информацией. Может как компромиссный вариант сделать такую настройку в парсере? В реализации будет чуть сложнее.
В таком виде логи меня устраивают Код: 2017-03-28 17:16:05 [scrapy.core.engine] INFO: Spider opened 2017-03-28 17:16:05 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min) 2017-03-28 17:17:08 [scrapy.extensions.logstats] INFO: Crawled 3457 pages (at 3457 pages/min), scraped 2245 items (at 2245 items/min) 2017-03-28 17:18:08 [scrapy.extensions.logstats] INFO: Crawled 7065 pages (at 3608 pages/min), scraped 4366 items (at 2121 items/min) 2017-03-28 17:19:07 [scrapy.extensions.logstats] INFO: Crawled 11565 pages (at 4500 pages/min), scraped 6391 items (at 2025 items/min) 2017-03-28 17:20:07 [scrapy.extensions.logstats] INFO: Crawled 18065 pages (at 6500 pages/min), scraped 8630 items (at 2239 items/min)
