1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление
Файлы cookie Telegram чат

Запрос на основе строки из файла по условию

Тема в разделе "Техническая поддержка", создана пользователем aquatell, 18 сен 2018.

  1. aquatell

    aquatell A-Parser Pro License
    A-Parser Pro

    Регистрация:
    8 ноя 2012
    Сообщения:
    150
    Симпатии:
    43
    Здравствуйте,
    На выходе есть файл check.csv в не 100 000 строк, файл уже один раз обработался а-парсером.
    Но среди него есть порядка 10 000 строк где есть незаполненные поля со значением NONE или во все пустые.
    Подскажите как этот же файл 100 000 строк прогнать повторно, но чтобы обрабатывались только эти 10 000 строк, как то чтобы а-парсер увидел пустые ячейки или со значением NONE.
    Заранее благодарен
     
    #1 aquatell, 18 сен 2018
  2. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.372
    Симпатии:
    2.102
    Добрый день.
    Раз это CSV, то наверное проще всего отсортировать/отфильтровать пустые в Excel и подать их отдельным файлом на вход в А-Парсер.
     
    #2 Support, 18 сен 2018
    aquatell нравится это.
  3. aquatell

    aquatell A-Parser Pro License
    A-Parser Pro

    Регистрация:
    8 ноя 2012
    Сообщения:
    150
    Симпатии:
    43
    Я про это думал, но мне нужно сохранить последовательность строк, именно в таком виде в каком есть. В файле всего 10 колонок. Каждую я загоняю в переменную $query.var1 и т.д.
    Может можно как то по условию сделать?
     
    #3 aquatell, 18 сен 2018
  4. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.372
    Симпатии:
    2.102
    Добавьте еще одну колонку, в которой пронумеруйте строки. Дальше все, как я писал выше, плюс выводите в результат номер строки. Потом соедините с основным файлом и отсортируйте по номеру. Получится та же последовательность, что и была.

    Либо же можно использовать шаблонизатор в формате запроса и прописать условие, которое в зависимости от содержимого нужных колонок, возвращало бы запрос или пустоту (для тех запросов, которые не нужно парсить). Пустые запросы парсер будет считать неудачными, это нормально. В результат выводите данные, в зависимости от удачности запроса (либо на основании содержимого колонок):
    - если запрос неудачный (либо остальные колонки не пустые), то выводим то, что пришло на вход: $query.var1,$query.var3,$query.var3...
    - если удачный (либо если остальные колонки пришли на вход пустые) - то выводите спаршенные данные.
    Но из-за многопоточности строки все равно перемешаются, разве что нужно парсить в 1 поток.
     
    #4 Support, 18 сен 2018
    aquatell нравится это.
  5. Fyn Oleg

    Fyn Oleg A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    21 апр 2015
    Сообщения:
    23
    Симпатии:
    7
    Можно на примере?

    У меня допустим, страница всегда возвращает 200ок, но в зависимости от (IP+UA) я получаю либо <h1>You are robots?</h1> или <h1>Good</h1>
    Не понимаю как обучить a-parser считать запрос успешным или нет.
     
    #5 Fyn Oleg, 7 мар 2019
  6. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.372
    Симпатии:
    2.102
    Это решается с помощью Check content
    Укажите регулярное выражение, которое сработает на нужной странице и не сработает на любых других
     
    #6 Support, 7 мар 2019
    Fyn Oleg нравится это.
(Вы должны войти или зарегистрироваться, чтобы разместить сообщение.)

Поделиться этой страницей