1.1.619 - большая оптимизация потребления памяти, увеличение скорости парсинга Яндекса

[Forbidden]

В этой версии проделана большая работа по оптимизации потребления памяти, а также стабильной работе парсера 24/7 с множеством числом заданий

Улучшения

• Уменьшение потребления памяти
• Оптимизация парсера SE::Yandex - увеличение предельной скорости парсинга в 2.5 раза(~1500 запросов минуту, i7-4770)

Исправления в связи с изменениями в выдаче

• SE::Google, SE::AOL, SE::Yandex, SE::Dogpile, SE::YouTube, SE::Bing

Исправления

• Исправлен SE::Google при работе с антигейтом: неверная обработка запросов со скобками и очень длинных запросов
• Исправлен Net::HTTP - при выполнении цепочки редиректов теперь передается оригинальный реферер
• Исправлена работа с сессиями в SE::Yandex::WordStat

 

[Sander180]

Как в этой версии обстоят дела с пробивом гугла ? Капчи так же лезут ?

 

[Forbidden]

капчи лезут, скорость в 300 потоках на наших проксях около 150 запросов в минуту

 

[vipuncle]

У меня раньше потреблял 2Gb теперь вот так...

Спойлер: Скрин

 

[Forbidden]

и что должен показать этот скрин? общее использование памяти системой?

 

[vipuncle]

Он мне говорит о том что щас жрет оперативку как сумашедший!

Aug 18 23:22:09.26635 GC takes 28.0332491397858
Out of memory!

Скушал всю оперативку и вылетел...

 

[DeLaKroiX]

Он мне говорит о том что щас жрет оперативку как сумашедший!

Aug 18 23:22:09.26635 GC takes 28.0332491397858
Out of memory!

Скушал всю оперативку и вылетел...

а ты уверен, что это он всё скушал ? )) процессы надо скринить, а не общее состояние системы. может у тебя просто пяти гб не хватило системе + апарсеру + ещё каким-то программам, вот он и вылетел, когда на ноуте закончилась оперативка, которую сожрала система + другой софт.

я вот например после этого обновления с потреблением памяти, не видел ни разу, чтобы больше 800 метров апарсер кушал, за что большое спасибо форбу

 

[Forbidden]

Aug 18 23:22:09.26635 GC takes 28.0332491397858
Out of memory!

Скушал всю оперативку и вылетел..

тут телепатов нет, создавай задачу в соответствующем разделе с полным описанием проблемы