1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Улучшение Изменять количество потоков БЕЗ остановки А-парсера

Тема в разделе "Задачи", создана пользователем Gorn, 14 мар 2018.

Метки:
  1. Gorn

    Gorn A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    6 июл 2017
    Сообщения:
    87
    Симпатии:
    18
    При парсинге большого количества УРЛ приходится подбирать оптимальное количество потоков, чтоб и скорость была побольше и сайт-цель не падал.
    Сейчас для этого надо делать множество телодвижений - нажатий кнопки мыши - 9 раз, скроллингов 2-3.
    Предлагаю добавить возможность менять количество потоков для РАБОТАЮЩЕГО задания без его остановки.
    Это повысит удобство А-парсера и сэкономит нам немного времени.
    В идеале вообще было бы здорово сделать автоматический подбор оптимального количества потоков.
     
    baaa, MrSlim и Vvtex нравится это.
  2. Vvtex

    Vvtex A-Parser Pro License
    A-Parser Pro

    Регистрация:
    9 окт 2017
    Сообщения:
    124
    Симпатии:
    24
    т.е. ты хочешь 50 потоков одно задание 50 потоков другое задание и т.д. ?
     
  3. Gorn

    Gorn A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    6 июл 2017
    Сообщения:
    87
    Симпатии:
    18
    Нет, не так.
    Вот есть задание, большое, на несколько дней. Поставил 500 потоков, скорость допустим 500.
    Скорость конечно приличная, но задание большое, хочется побыстрее, естественное делание увеличить количество потоков. Чтобы попробовать 900, надо остановить апарсер, сменить количество потоков и снова его пустить, если скорость увеличится - повторно делать те же шаги. Потом рано или поздно наступит предел или даже скорость упадет из-за тормозов сайта, надо снова останавливать парсинг и уменьшать потоки...
    В общем МНОГО повторяющихся нажатий и скроллингов мышкой. Если сделать как я предлагаю - менять количество потоков без остановки апарсера - это сэкономит время и повысит удобство настройки апарсера.
     
  4. Vvtex

    Vvtex A-Parser Pro License
    A-Parser Pro

    Регистрация:
    9 окт 2017
    Сообщения:
    124
    Симпатии:
    24
     

    Вложения:

  5. Gorn

    Gorn A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    6 июл 2017
    Сообщения:
    87
    Симпатии:
    18
    Я про количество ПОТОКОВ одного исполняемого (работающего) задания говорю!
    А Вы про количество одновременно выполняемых заданий, это сосем не то!
    Я размещаю скриншот, чтобы вам было понятнее )
    Общее количество потоков у меня установлено в 2000.
     

    Вложения:

  6. Vvtex

    Vvtex A-Parser Pro License
    A-Parser Pro

    Регистрация:
    9 окт 2017
    Сообщения:
    124
    Симпатии:
    24
    Сделают, если кому-то еще надо будет
     
    Gorn нравится это.
  7. Gorn

    Gorn A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    6 июл 2017
    Сообщения:
    87
    Симпатии:
    18
    Прошу всех, кто считает, что такая фича будет полезной - ПОДДЕРЖАТЬ эту заявку.
     
    MrSlim нравится это.

Поделиться этой страницей