1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление
Файлы cookie Telegram чат

фильтрация по header

Тема в разделе "Техническая поддержка", создана пользователем zbest, 28 сен 2018.

  1. zbest

    zbest A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    10 фев 2013
    Сообщения:
    36
    Симпатии:
    5
    день добрый.
    например есть две ссылки:

    первый дор с статусом 200, рекдиректом в мета теге. https://blog.testby.com.br/usmc_mci_0119h_punctuation.pdf

    второй pdf файл (тоже дор но не в этом суть) http://jikjik.ir/usmc-mci-answers-0119h-punctuation.pdf

    Нужно отфильтровать ссылку с pdf файлом от дора с редиректом. По статусе нельзя у обоих 200.
    нашел разницу в content-type:

    Screenshot_1.jpg

    но не получается реализовать. Если можно с примером покажите.
     
    #1 zbest, 28 сен 2018
  2. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.377
    Симпатии:
    2.107
    #2 Support, 28 сен 2018
    zbest нравится это.
  3. zbest

    zbest A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    10 фев 2013
    Сообщения:
    36
    Симпатии:
    5
    Здравствуйте
    1. возможно ли передача данных между парсерами в рамках одного задания?
    2. возможно ли установить минимальный размер файла, как и макс размер в Net::Http?

    Screenshot_1.jpg
     
    #3 zbest, 29 сен 2018
    Последнее редактирование: 29 сен 2018
  4. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.377
    Симпатии:
    2.107
    Добрый день.
    В рамках обычного пресета нельзя. Но можно воспользоваться функционалом JS парсеров и прописать практически любую логику, обращаясь к стандартным парсерам.
    Max body size ограничивает размер получаемого контента, и если страница имеет больший обьем, чем указано в настройках, то парсер получить только часть страницы до указанного размера. А как должен работать минимальный обьем?
     
    #4 Support, 1 окт 2018
  5. zbest

    zbest A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    10 фев 2013
    Сообщения:
    36
    Симпатии:
    5
    например качаю пдф файлы, основном пдф файлы ниже 100КБ доры одностранички https://storage.googleapis.com/deimosbrock.appspot.com/1026-recetas-de-cocina-internacional-le-cordon-bleu-8489396469.pdf
    чтобы не фильтровать руками ниже 100КБ файлы, хочу указать во время парса.
     
    #5 zbest, 1 окт 2018
  6. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.377
    Симпатии:
    2.107
    #6 Support, 1 окт 2018
(Вы должны войти или зарегистрироваться, чтобы разместить сообщение.)

Поделиться этой страницей