1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Улучшение [1.1.647] Пропуск пустых запросов

Тема в разделе "1.1.652", создана пользователем malexoid, 6 июн 2016.

  1. malexoid

    malexoid A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    7 сен 2015
    Сообщения:
    254
    Симпатии:
    60
    Реализую схему парсинга частотностей в одном пресете, чтобы запросы у которых <8 слов обрабатывались парсером SE::Yandex::Direct::Frequency, а запросы >7 слов обрабатывались SE::Yandex::WordStat.
    В принципе реализация простая - regexp match ^((?:\w+\s*){1,7})$ и несколько простых правил чтобы none заменить на пустышку. Но всё портит, то что при пустом запросе парсинг всё равно выполняется.
    Было бы круто если бы при пустом запросе парсинг SE::Yandex::WordStat не выполнялся бы.
    А для SE::Yandex::Direct::Frequency происходила бы предварительная обработка пачки - убирались бы дублирующиеся запросы, а пустые запросы тоже игнорировались бы.
    Может быть привести вообще все парсеры к единой схеме - пустые запросы не обрабатывать?

    p.s. Вообще, конечно, в редакторе заданий не хватает обычного IF THEN ELSE и места, где можно было бы обработать запрос средствами template toolkit, перед тем как он пападёт к парсерам.
     
  2. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    Добавлен пропуск пустых запросов

    в Query format по каждому парсеру доступен Template toolkit, теперь выше описанный алгоритм возможно реализовать
     
    Support нравится это.

Поделиться этой страницей