Здравствуйте, провел все настройки согласно документации для увеличения кол-ва потоков. Но настройках апарсера при попытке увеличить лимит более 10 000 появляется сообщение с ошибкой. New threads limit is greater than MAX limit(10000)
Больше - для большей производительности очевидно, ну а по cpu сейчас на 10к потоках, 8 ядер грузит только 1 ядро на 89% и одно на 30%.
A-Parser для большинства задач использует одно ядро, так что на 10к потоках вы с большой вероятностью будете получать множество ошибок в сравнении с 5к
Тестировал, и там и там ошибок примерно одинаково. Скорость отличается в разы. Подскажите тогда пожалуйста какой конфиг сервера подобрать дабы не переплачивать за мощности которые мне не нужны. Не нашел развернутого ответа в документации кроме тог что "на Linux и FreeBSD число потоков и кол-во используемой памяти теоретически не ограниченно" Сейчас софт временно стоит на рабочей станции, но он ее не использует и на треть. CPU E5-1660v4, 8x2x3.2GHz RAM 64GB
надо начать с задачи, что именно вы парсите? загрузить можно несколькими копиями, у нас в среднем стоит по 4-8 копий апарсера на серверах, все управляется централизовано по API
Задача простая получил страницу проверил наличие ключевых. А как можно запустить несколько копий на сервере?
если речь о парсинге произвольных страниц и доменов то рекомендую все же включить математику и начать считать(поделить канал на число потоков), для гигабитного канала скорость загрузки каждой отдельной страницы будет 1024мбит/10000 = 0.1 мбит\с, или ~100кбит, что соответствует примерно скорости gprs/edge далее, стоит учитывать что придется хранить в памяти все 10000 страниц одновременно вообщем я веду к тому что скорость которую вы видите это мнимая скорость, она растет из за значительного числа ошибок парсинга в документации есть
Спасибо, не углядел про запуск нескольких парсеров одновременно в документации.Теперь вижу. Буду пробовать.
