В этой версии проделана большая работа по оптимизации потребления памяти, а также стабильной работе парсера 24/7 с множеством числом заданий Улучшения Уменьшение потребления памяти Оптимизация парсера SE::Yandex - увеличение предельной скорости парсинга в 2.5 раза(~1500 запросов минуту, i7-4770) Исправления в связи с изменениями в выдаче SE::Google, SE::AOL, SE::Yandex, SE::Dogpile, SE::YouTube, SE::Bing Исправления Исправлен SE::Google при работе с антигейтом: неверная обработка запросов со скобками и очень длинных запросов Исправлен Net::HTTP - при выполнении цепочки редиректов теперь передается оригинальный реферер Исправлена работа с сессиями в SE::Yandex::WordStat
Он мне говорит о том что щас жрет оперативку как сумашедший! Aug 18 23:22:09.26635 GC takes 28.0332491397858 Out of memory! Скушал всю оперативку и вылетел...
а ты уверен, что это он всё скушал ? )) процессы надо скринить, а не общее состояние системы. может у тебя просто пяти гб не хватило системе + апарсеру + ещё каким-то программам, вот он и вылетел, когда на ноуте закончилась оперативка, которую сожрала система + другой софт. я вот например после этого обновления с потреблением памяти, не видел ни разу, чтобы больше 800 метров апарсер кушал, за что большое спасибо форбу
