1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление
Файлы cookie Telegram чат

Перебор

Тема в разделе "Техническая поддержка", создана пользователем Dmitron, 1 ноя 2020.

  1. Dmitron

    Dmitron A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    28 май 2017
    Сообщения:
    143
    Симпатии:
    7
    Добрый день.
    Подскажите пожалуйста как перебрать два списка.

    Например в запросы я даю список доменов

    domain1.com
    domain2.com
    domain3.com

    К каждому домену нужно подставить сраницы из моего списка, в котором около 1000 разных вариантов.
    Например в этом списке

    /test.html
    /test2.html
    /test3.html

    Нужно чтобы парсер перебрал все домены и все страницы к каждому домену

    domain1.com/test.html
    domain1.com/test2.html
    domain1.com/test3.html
    domain2.com/test.html
    ...
    и т.д.
     
    #1 Dmitron, 1 ноя 2020
  2. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.363
    Симпатии:
    2.098
    #2 Support, 1 ноя 2020
  3. Dmitron

    Dmitron A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    28 май 2017
    Сообщения:
    143
    Симпатии:
    7
    Спасибо, но если я список доменов указываю как файл в запросах, то как мне к ним подставить {subs}?
     
    #3 Dmitron, 1 ноя 2020
  4. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.363
    Симпатии:
    2.098
    В Общем формате запроса
    Код:
    $query {subs:page_list}
     
    #4 Support, 1 ноя 2020
    Dmitron нравится это.
  5. Dmitron

    Dmitron A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    28 май 2017
    Сообщения:
    143
    Симпатии:
    7
    Спасибо, то что надо.
    И последний вопрос, как Result format в шаблонизаторе сделать условие через IF
    Если статус ответа 200, то ОК
     
    #5 Dmitron, 1 ноя 2020
  6. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.363
    Симпатии:
    2.098
    Код:
    [% IF p1.code == 200;
 ...
END %]
    Можно также использовать фильтр по коду ответа: https://a-parser.com/wiki/filter/
     
    #6 Support, 1 ноя 2020
    Dmitron нравится это.
  7. Dmitron

    Dmitron A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    28 май 2017
    Сообщения:
    143
    Симпатии:
    7
    Template error: line 1-5: unexpected token (END) [% IF p1.code == 200; OK END %]

    Видимо я точку с запятой пропустил
     
    #7 Dmitron, 1 ноя 2020
  8. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.363
    Симпатии:
    2.098
    В шаблоне ведь ошибка. OK нужно в кавычки взять.
    Код:
    [% IF p1.code == 200;
   query _ " - OK\n";
END %]
    Вот пример вывода запроса и OK, если статус ответа 200.

    Документация по Template Toolkit: https://a-parser.com/wiki/template-toolkit/
     
    #8 Support, 1 ноя 2020
    Последнее редактирование: 1 ноя 2020
    Forbidden и Dmitron нравится это.
  9. luk911

    luk911 A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    28 дек 2017
    Сообщения:
    1
    Симпатии:
    0
    Добрый день,
    Подскажите, я хочу иерархично парсить часть контент.
    1) реуляркой парсим $data - Content data - кладем в переменную var В парсере это будет p1.var
    2) хочу если в этой переменной пусто, то другой регуляркой, парсим в эту же переменную другое значение.
    Пытаюсь в Источнике применить свой шаблон
    [% IF p1.var == ""; query _ = p1.data; END %]

    Но что-то я не то делаю
    как от условия заставить его использовать полученный HTML ?

    Для наглядности

    [​IMG]


    eyJwcmVzZXQiOiJ0ZXN0IiwidmFsdWUiOnsicHJlc2V0IjoidGVzdCIsInBhcnNl
    cnMiOltbIkhUTUw6OlRleHRFeHRyYWN0b3IiLCJcdTA0MzFcdTA0MzVcdTA0Mzcg
    XHUwNDNmXHUwNDQwXHUwNDNlXHUwNDNhXHUwNDQxXHUwNDM4Iix7InR5cGUiOiJj
    dXN0b21SZXN1bHQiLCJyZXN1bHQiOiJkYXRhIiwicmVnZXgiOiJcdTA0NDBcdTA0
    MzVcdTA0MzNcdTA0NDNcdTA0M2JcdTA0NGZcdTA0NDBcdTA0M2FcdTA0MzAgMSIs
    InJlZ2V4VHlwZSI6IiIsInJlc3VsdFR5cGUiOiJmbGF0IiwiYXJyYXlOYW1lIjoi
    IiwicmVzdWx0cyI6WyJ2YXIiXX0seyJ0eXBlIjoib3ZlcnJpZGUiLCJpZCI6ImZv
    cm1hdHJlc3VsdCIsInZhbHVlIjoiJHRleHRzLmZvcm1hdCgnJGxpbmsgJHZhclxc
    bicpIn1dXSwicmVzdWx0c0Zvcm1hdCI6IiRwMS5wcmVzZXQiLCJyZXN1bHRzU2F2
    ZVRvIjoiZmlsZSIsInJlc3VsdHNGaWxlTmFtZSI6IiRkYXRlZmlsZS5mb3JtYXQo
    KS50eHQiLCJhZGRpdGlvbmFsRm9ybWF0cyI6W10sInJlc3VsdHNVbmlxdWUiOiJz
    dHJpbmciLCJxdWVyaWVzRnJvbSI6InRleHQiLCJxdWVyeUZvcm1hdCI6WyIkcXVl
    cnkiXSwidW5pcXVlUXVlcmllcyI6dHJ1ZSwic2F2ZUZhaWxlZFF1ZXJpZXMiOnRy
    dWUsIml0ZXJhdG9yT3B0aW9ucyI6eyJvbkFsbExldmVscyI6ZmFsc2UsInF1ZXJ5
    QnVpbGRlcnNBZnRlckl0ZXJhdG9yIjpmYWxzZSwicXVlcnlCdWlsZGVyc09uQWxs
    TGV2ZWxzIjpmYWxzZX0sInJlc3VsdHNPcHRpb25zIjp7Im92ZXJ3cml0ZSI6ZmFs
    c2UsIndyaXRlQk9NIjpmYWxzZX0sImRvTG9nIjoibm8iLCJsaW1pdExvZ3NDb3Vu
    dCI6IjAiLCJrZWVwVW5pcXVlIjoiTm8iLCJtb3JlT3B0aW9ucyI6ZmFsc2UsInJl
    c3VsdHNQcmVwZW5kIjoiIiwicmVzdWx0c0FwcGVuZCI6IiIsInF1ZXJ5QnVpbGRl
    cnMiOltdLCJyZXN1bHRzQnVpbGRlcnMiOlt7InNvdXJjZSI6WzAsLTEsIlslSUYg
    cDEudmFyID09IFwiXCI7VVNFIEhUTUw7RU5EJV0iXSwidHlwZSI6InJlZ2V4Iiwi
    cmVnZXgiOiJcdTA0NDBcdTA0MzVcdTA0MzNcdTA0NDNcdTA0M2JcdTA0NGZcdTA0
    NDBcdTA0M2FcdTA0MzAgMiIsInJlZ2V4VHlwZSI6ImkiLCJ0byI6WyJ2YXIiXX1d
    LCJjb25maWdPdmVycmlkZXMiOltdLCJydW5UYXNrT25Db21wbGV0ZSI6bnVsbCwi
    dXNlUmVzdWx0c0ZpbGVBc1F1ZXJpZXNGaWxlIjpmYWxzZSwicnVuVGFza09uQ29t
    cGxldGVDb25maWciOiJkZWZhdWx0IiwidG9vbHNKUyI6IiIsInByaW8iOjUsInJl
    bW92ZU9uQ29tcGxldGUiOmZhbHNlLCJjYWxsVVJMT25Db21wbGV0ZSI6IiIsInF1
    ZXJpZXMiOiJodHRwczovL3d3dy5yZW1vbnRiaXN0cm8ucnUvIiwiY2F0ZWdvcnki
    OltdfSwicGFyc2Vyc0NvbmZQcmVzZXRzIjp7IkhUTUw6OlRleHRFeHRyYWN0b3Ii
    OnsiXHUwNDMxXHUwNDM1XHUwNDM3IFx1MDQzZlx1MDQ0MFx1MDQzZVx1MDQzYVx1
    MDQ0MVx1MDQzOCI6eyJwcm94eXJldHJpZXMiOiIxMCIsInVzZXByb3h5IjpmYWxz
    ZSwicXVlcnlmb3JtYXQiOiIkcXVlcnkiLCJmb3JtYXRyZXN1bHQiOiIkdGV4dHMu
    Zm9ybWF0KCckdGV4dFxcbicpIiwicHJveHliYW5uZWRjbGVhbnVwIjoiMzAwIiwi
    dGltZW91dCI6IjYwIiwicmVxdWVzdGRlbGF5IjoiMCIsInByb3h5Q2hlY2tlciI6
    IioiLCJnb29kQ29kZSI6WyIiXSwiZ29vZENvZGVSZWdleCI6IiIsIm1ldGhvZCI6
    IkdFVCIsImJvZHkiOiIiLCJjb29raWVzIjoiIiwidXNlci1hZ2VudCI6Ik1vemls
    bGEvNC4wIChjb21wYXRpYmxlOyBNU0lFIDYuMDsgV2luZG93cyBOVCA1LjE7IFNW
    MSkiLCJoZWFkZXJzIjoiIiwib25seWhlYWRlcnMiOmZhbHNlLCJkZXRlY3RjaGFy
    c2V0IjpmYWxzZSwiYnJvd3NlciI6dHJ1ZSwicmVjdXJzZSI6IjciLCJmb2xsb3dD
    b21tb25SZWRpcmVjdHMiOnRydWUsIm1heENvb2tpZXMiOiIxNiIsImVuZ2luZSI6
    Imh0dHAiLCJoZWFkbGVzcyI6ZmFsc2UsImRldnRvb2xzIjpmYWxzZSwibG9nQ29u
    bmVjdGlvbnMiOmZhbHNlLCJ3YWl0VW50aWwiOiJuZXR3b3JraWRsZTIiLCJodHRw
    MiI6ZmFsc2UsInNraXBUTFNWZXJpZnkiOmZhbHNlLCJieXBhc3NDbG91ZEZsYXJl
    Q2hyb21lIjpmYWxzZSwiYnlwYXNzQ2xvdWRGbGFyZUNocm9tZU1heFBhZ2VzIjoi
    MjAiLCJieXBhc3NDbG91ZEZsYXJlQ2hyb21lSGVhZGxlc3MiOnRydWUsIm1pbmJs
    b2NrbGVuZ3RoIjoiNTAiLCJza2lwYW5jaG9ycyI6ZmFsc2UsIm1heF9zaXplIjoi
    MTA0ODU3NiIsImRvX2d6aXAiOnRydWV9fX19
     
    #9 luk911, 31 янв 2022
    Последнее редактирование: 1 фев 2022
(Вы должны войти или зарегистрироваться, чтобы разместить сообщение.)

Поделиться этой страницей