Улучшение Увеличить кол-во потоков больше 10.000

[denver]

На линкусе сделать возможность задать больше 10к потоков (например 100к условно), т.к. на мощных серверах (например 24 ядра) там вполне нормально можно и более 10к потоков юзать с медленными парсерами (несколько парсеров)

 

[Support]

например 100к условно

Насколько это целесообразно? Сколько при таком числе потоков будет скорость интернета на поток?

 

[denver]

Насколько это целесообразно? Сколько при таком числе потоков будет скорость интернета на поток?

почему такая идея возникла, пример:
есть парсер, например bing, на 1000 потоках на паблик проксях условно выдает скорость 1000 в минуту, при этом если я запускаю еще один парсер такой же и на 1000 потоках он выдает так же 1000 в минуту и так 10 раз, почти все парсеры в итоге выдают 1000 в минуту и в сумме 10.000

почему он один не выдает такую скорость я хз

может конечно и не целесообразно повышать 10.000 ограничение, но с другой стороны дайте это решить пользователю...

 

[Forbidden]

при гигабитном канале скорость будет всего 100кб\с на поток при условии использования 10000 потоков, больше потоков - еще меньше полоса, как следствие более медленная общая работа

есть парсер, например bing, на 1000 потоках на паблик проксях условно выдает скорость 1000 в минуту, при этом если я запускаю еще один парсер такой же и на 1000 потоках он выдает так же 1000 в минуту и так 10 раз, почти все парсеры в итоге выдают 1000 в минуту и в сумме 10.000

может дело в том что одно задание упирается в CPU?

 

[denver]

при гигабитном канале скорость будет всего 100кб\с на поток при условии использования 10000 потоков, больше потоков - еще меньше полоса, как следствие более медленная общая работа



может дело в том что одно задание упирается в CPU?

возможно, но детально не разбирался, но вот как раз деление на несколько заданий решает эту проблему (на многоядерном процессоре)

 

[denver]

но наверное все таки Вы правы насчет 10к потоков, больше наверное и не стоит делать
тогда тему можно закрыть, спасибо )