1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление
Файлы cookie Telegram чат

Улучшение Увеличить кол-во потоков больше 10.000

Тема в разделе "Отклоненные задачи", создана пользователем denver, 2 апр 2023.

  1. denver

    denver A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    6 янв 2013
    Сообщения:
    192
    Симпатии:
    43
    На линкусе сделать возможность задать больше 10к потоков (например 100к условно), т.к. на мощных серверах (например 24 ядра) там вполне нормально можно и более 10к потоков юзать с медленными парсерами (несколько парсеров)
     
    #1 denver, 2 апр 2023
  2. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.377
    Симпатии:
    2.107
    Насколько это целесообразно? Сколько при таком числе потоков будет скорость интернета на поток?
     
    #2 Support, 3 апр 2023
  3. denver

    denver A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    6 янв 2013
    Сообщения:
    192
    Симпатии:
    43
    почему такая идея возникла, пример:
    есть парсер, например bing, на 1000 потоках на паблик проксях условно выдает скорость 1000 в минуту, при этом если я запускаю еще один парсер такой же и на 1000 потоках он выдает так же 1000 в минуту и так 10 раз, почти все парсеры в итоге выдают 1000 в минуту и в сумме 10.000

    почему он один не выдает такую скорость я хз

    может конечно и не целесообразно повышать 10.000 ограничение, но с другой стороны дайте это решить пользователю...
     
    #3 denver, 3 апр 2023
  4. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    при гигабитном канале скорость будет всего 100кб\с на поток при условии использования 10000 потоков, больше потоков - еще меньше полоса, как следствие более медленная общая работа

    может дело в том что одно задание упирается в CPU?
     
    #4 Forbidden, 3 апр 2023
  5. denver

    denver A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    6 янв 2013
    Сообщения:
    192
    Симпатии:
    43
    возможно, но детально не разбирался, но вот как раз деление на несколько заданий решает эту проблему (на многоядерном процессоре)
     
    #5 denver, 3 апр 2023
  6. denver

    denver A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    6 янв 2013
    Сообщения:
    192
    Симпатии:
    43
    но наверное все таки Вы правы насчет 10к потоков, больше наверное и не стоит делать
    тогда тему можно закрыть, спасибо )
     
    #6 denver, 3 апр 2023
(Вы должны войти или зарегистрироваться, чтобы разместить сообщение.)

Поделиться этой страницей