1. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

A-Parser не читает utf-8

Тема в разделе "Техническая поддержка", создана пользователем bezenkovgl, 23 авг 2018.

  1. bezenkovgl

    bezenkovgl A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    20 май 2015
    Сообщения:
    20
    Симпатии:
    2
    Здравствуйте проблема в следующем. Отказывается читать текстовые файлы которые сам же создал.
    Использую файл результатов одного задания для запросов в другом.

    В результате задание не запускается с ошибкой Error: Iterator: Queries file must be in UTF-8

    Проверяю кодировку в консоли
    file -bi step_2.txt
    Получаю ответ
    text/plain; charset=utf-8


    То есть проблемы в кодировке файла нет.
     
  2. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.550
    Симпатии:
    2.165
    Добрый день.
    Если у вас в задании используется макрос подстановок {subs}, то указанный в нем файл также должен быть в utf-8.
    Если же проблема не в этом, то сбросьте, пожалуйста, сюда или в личку пресет и файл запросов, с которым воспроизводится проблема.
     
  3. Vvtex

    Vvtex A-Parser Pro License
    A-Parser Pro

    Регистрация:
    9 окт 2017
    Сообщения:
    124
    Симпатии:
    24
    Менять на лету кодировку в апарсере не целесообразно?
     
  4. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.550
    Симпатии:
    2.165
    @Vvtex Уточните, пожалуйста, что именно вы имеете в виду?
     
  5. Vvtex

    Vvtex A-Parser Pro License
    A-Parser Pro

    Регистрация:
    9 окт 2017
    Сообщения:
    124
    Симпатии:
    24
    Т.е. перекодировать файл, сейчас нельзя возникают ошибки. Для удобства лучше было бы перекодировать перед началом старта в автоматическом режиме.
     
  6. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.550
    Симпатии:
    2.165
    А-Парсер работает исключительно с utf8 (т.е. на вход принимает и сохраняет результаты только в utf8). Перекодировать запросы перед стартом задания можно только вручную.
    Проблема описанная в первом посте - это скорее всего исключение, возможно баг, который встречается крайне редко. Мы исследуем эту проблему и по возможности исправим.
     
    Vvtex нравится это.
  7. bezenkovgl

    bezenkovgl A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    20 май 2015
    Сообщения:
    20
    Симпатии:
    2
    Совсем забыл отписать. В качестве временно решения, если кто то сталкивался с такой проблемой, и не хочет постоянно конвертировать списки. Проверяйте данные перед записью прям в задании

    Для сбора ссылок использую регулярку в фильтре ^[a-zA-Z0-9\_\-\:\/\=\&\?\#\*\.\+]+$

    Проблема пропала.


     
    Vvtex нравится это.

Поделиться этой страницей