1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление
Файлы cookie Telegram чат

Улучшение Фильтрация запроса во время задания

Тема в разделе "Отклоненные задачи", создана пользователем signup, 24 июл 2018.

  1. signup

    signup A-Parser Pro License
    A-Parser Pro

    Регистрация:
    2 апр 2013
    Сообщения:
    15
    Симпатии:
    2
    Часто сталкиваюсь с тем, что во время парсинга нужно удалить тот или иной запрос, но в уже действуюшем задании это сделать невозможно и приходится дожидаться пока текущий ненужный запрос допарсится.
    Можно ли прикрутить такую фичу, чтобы была возможность остановить задание и отфильтровать какой-либо ненужный запрос в уже действующем задании?
     
    #1 signup, 24 июл 2018
    Gorn нравится это.
  2. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.377
    Симпатии:
    2.107
    Не совсем понятна суть улучшения.
    Опишите, пожалуйста, подробный алгоритм того, как это должно работать и реальный кейс, где подобное может быть полезным.
     
    #2 Support, 25 июл 2018
  3. signup

    signup A-Parser Pro License
    A-Parser Pro

    Регистрация:
    2 апр 2013
    Сообщения:
    15
    Симпатии:
    2
    Покажу на примере: на скриншоте Qurrent query один из запросов парсится уже несколько часов. Хотя он не нужен, тоесть идет пустая трата времени и ресурсов на парсинг ненужного текущего запроса. Было бы удобно, нажать на паузу и внести текущий запрос в блэклист/фильтр, чтобы пропустить его. Сейчас такой опции нет и приходится дожидаться его окончания.
     

    Вложения:

    • 1.png
      1.png
      Размер файла:
      18,9 КБ
      Просмотров:
      7
    #3 signup, 25 июл 2018
  4. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.377
    Симпатии:
    2.107
    Если запрос не нужен, то не подавайте его на вход :)
    Насколько я понимаю, речь о парсинге в глубину и линкэкстракторе. Для фильтрации ненужных урлов используйте фильтры, а для исключения одинаковых запросов - уникализацию запросов.
     
    #4 Support, 25 июл 2018
  5. signup

    signup A-Parser Pro License
    A-Parser Pro

    Регистрация:
    2 апр 2013
    Сообщения:
    15
    Симпатии:
    2
    Это да, но часто бывает, что в процессе парсинга необходимо удалить ненужный запрос, который уже подан на вход.
     
    #5 signup, 25 июл 2018
  6. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    к сожалению добавить такой функционал почти невозможно, тем более что текущий запрос отображается лишь для справки, парсер работает в многопоточном режиме, каждый поток обрабатывает свой запрос, и какие либо ручные действия в данном случае не возможны
     
    #6 Forbidden, 2 сен 2018
(Вы должны войти или зарегистрироваться, чтобы разместить сообщение.)

Поделиться этой страницей