На линкусе сделать возможность задать больше 10к потоков (например 100к условно), т.к. на мощных серверах (например 24 ядра) там вполне нормально можно и более 10к потоков юзать с медленными парсерами (несколько парсеров)
почему такая идея возникла, пример: есть парсер, например bing, на 1000 потоках на паблик проксях условно выдает скорость 1000 в минуту, при этом если я запускаю еще один парсер такой же и на 1000 потоках он выдает так же 1000 в минуту и так 10 раз, почти все парсеры в итоге выдают 1000 в минуту и в сумме 10.000 почему он один не выдает такую скорость я хз может конечно и не целесообразно повышать 10.000 ограничение, но с другой стороны дайте это решить пользователю...
при гигабитном канале скорость будет всего 100кб\с на поток при условии использования 10000 потоков, больше потоков - еще меньше полоса, как следствие более медленная общая работа может дело в том что одно задание упирается в CPU?
возможно, но детально не разбирался, но вот как раз деление на несколько заданий решает эту проблему (на многоядерном процессоре)
но наверное все таки Вы правы насчет 10к потоков, больше наверное и не стоит делать тогда тему можно закрыть, спасибо )
