Можно ли увеличить общий лимит потоков более 10 000?

[bezenkovgl]

Здравствуйте, провел все настройки согласно документации для увеличения кол-ва потоков. Но настройках апарсера при попытке увеличить лимит более 10 000 появляется сообщение с ошибкой.
New threads limit is greater than MAX limit(10000)

 

[Forbidden]

нельзя, а зачем вам больше? вы гораздо раньше упретесь в производительность по CPU

 

[bezenkovgl]

Больше - для большей производительности очевидно, ну а по cpu сейчас на 10к потоках, 8 ядер грузит только 1 ядро на 89% и одно на 30%.

 

[Forbidden]

A-Parser для большинства задач использует одно ядро, так что на 10к потоках вы с большой вероятностью будете получать множество ошибок в сравнении с 5к

 

[bezenkovgl]

Тестировал, и там и там ошибок примерно одинаково. Скорость отличается в разы. Подскажите тогда пожалуйста какой конфиг сервера подобрать дабы не переплачивать за мощности которые мне не нужны. Не нашел развернутого ответа в документации кроме тог что "на Linux и FreeBSD число потоков и кол-во используемой памяти теоретически не ограниченно"

Сейчас софт временно стоит на рабочей станции, но он ее не использует и на треть.

CPU
E5-1660v4, 8x2x3.2GHz

RAM
64GB

 

[Forbidden]

надо начать с задачи, что именно вы парсите?
загрузить можно несколькими копиями, у нас в среднем стоит по 4-8 копий апарсера на серверах, все управляется централизовано по API

 

[bezenkovgl]

Задача простая получил страницу проверил наличие ключевых. А как можно запустить несколько копий на сервере?

 

[Forbidden]

Задача простая получил страницу проверил наличие ключевых.

если речь о парсинге произвольных страниц и доменов то рекомендую все же включить математику и начать считать(поделить канал на число потоков), для гигабитного канала скорость загрузки каждой отдельной страницы будет 1024мбит/10000 = 0.1 мбит\с, или ~100кбит, что соответствует примерно скорости gprs/edge

далее, стоит учитывать что придется хранить в памяти все 10000 страниц одновременно

вообщем я веду к тому что скорость которую вы видите это мнимая скорость, она растет из за значительного числа ошибок парсинга

А как можно запустить несколько копий на сервере?

в документации есть

 

[bezenkovgl]

Спасибо, не углядел про запуск нескольких парсеров одновременно в документации.Теперь вижу. Буду пробовать.