при использовании парсера SE::Yandex:irect::Frequency падает апарсер. используется 1850 потоков для проверки прокси, 50 для загрузки источников прокси и 100 для парсинга частоток. используется до 1.1 гб памяти и падает. лог с morelogs: Спойлер: лог create template(main) at build/core.to_build.pl line 882. created template -2956 at build/core.to_build.pl line 891. Apr 23 15:18:14.37817 create pool of 8 threads Apr 23 15:18:14.3836 Start ProxyChecker check Apr 23 15:18:15.36687 load task 1373 Apr 23 15:18:15.36828 load task 1370 Apr 23 15:18:15.36939 load task 1348 тут куча таких же строк, как выше и ниже Apr 23 15:18:15.67937 load task 196 Apr 23 15:18:15.68036 load task 192 Apr 23 15:18:15.68134 load task 184 Apr 23 15:18:15.71397 A-Parser v1.1.492-windows started, tasks: 4 / 313, memory total: 12170 MB, available: 9856 MB Apr 23 15:18:15.73748 load task 1370 Apr 23 15:18:15.73875 starting task #1370 threads: 100, proxies: undef Apr 23 15:18:17.18015 [Worker/-1152] started Apr 23 15:18:17.30824 [Worker/-3512] started Apr 23 15:18:17.43233 [Worker/-1640] started Apr 23 15:18:17.56042 [Worker/-7132] started Apr 23 15:18:17.68852 [Worker/-6236] started Apr 23 15:18:17.76258 using existing iterator Apr 23 15:18:17.76288 loading before not loaded iterator Apr 23 15:18:17.7633 resuming queries/keys/download/load.txt at 665460 line Apr 23 15:18:17.8146 [Worker/-6240] started Apr 23 15:18:17.94069 [Worker/-6316] started Apr 23 15:18:18.07779 [Worker/-1192] started Apr 23 15:18:18.90539 iterator check ok Apr 23 15:18:18.90561 new results collector Apr 23 15:18:21.86847 results collector check ok Apr 23 15:18:44.7447 save task: iterator taken 22.8757030963898 Apr 23 15:18:44.74694 start child fa36 Apr 23 15:18:44.74723 started Not an ARRAY reference at build/core.to_build.pl line 22566.
обновился до 494, полчаса полёт нормальный, тему можно удалить ) просто не нашёл описания улучшений 493 и 494, поэтому не обновился на них.
хз паршу в 50 потоков в зависимости от прокси, и как гадает капмонстр получается до 20000 в минуту, в 100 потоков что то пробовал, захлебывалось все =(
ну у меня без капмонстра всё это дело. оно непонятно, иногда до 200 потоков держит, а иногда больше 50 загибается и виснет апарсер