1. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Net:HTTP - пройтись с начальной категории по всем дочерним и собрать контент с странички товара?

Тема в разделе "Техническая поддержка", создана пользователем sergeda, 26 фев 2015.

  1. sergeda

    sergeda A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    22 май 2013
    Сообщения:
    193
    Симпатии:
    23
    Подскажите пожалуйста как это можно сделать. Подозреваю что надо использовать Check Next Page но не знаю как
     
  2. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.337
    Симпатии:
    1.795
  3. sergeda

    sergeda A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    22 май 2013
    Сообщения:
    193
    Симпатии:
    23
    Спасибо. Информация помогла. Но есть одно но. Мне нужен переход только по тем ссылкам которые я собрал. Просто проверка следующей ссылки регексом не подойдет так как попадут левые ссылки. Как это лучше сделать?
     
  4. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.337
    Симпатии:
    1.795
    Можно убрать стандартный Parse to level и использовать новую функцию, которая появилась в версии 1.1.200: http://a-parser.com/threads/1501/
     
  5. sergeda

    sergeda A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    22 май 2013
    Сообщения:
    193
    Симпатии:
    23
    Спасибо, попробовал. Но не получилось :(

    Сделал так
    Видно что новые урлы в задачу добавились, но непонятная статистика http://monosnap.com/image/g24dbDyDRvxdJNJOD03spPidPsxGVQ

    И в файле результатов результат только с первого урла а дальше непонятно что. По идее оно же должно было обойти все 649 ссылок?

    198119;294661;GPS-навигаторы
    198119;91122;Игровые приставки
    198119;90555;Наушники
    198119;90611;Аксессуары
    198119;90543;Аудиотехника
    198119;226665;Бинокли и зрительные трубы
    198119;91497;Аксессуары

    ;none;none

    ;none;none

    ;none;none

    ;none;none

    ;none;none

    ;none;none

    ;none;none
     
  6. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.337
    Симпатии:
    1.795
    сделай экспорт пресет и дай запрос с которым парсишь
     
  7. sergeda

    sergeda A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    22 май 2013
    Сообщения:
    193
    Симпатии:
    23
    eyJwcmVzZXQiOiJkZWZhdWx0IiwidmFsdWUiOnsicHJlc2V0IjoiZGVmYXVsdCIs
    InBhcnNlcnMiOltbIkhUTUw6OkxpbmtFeHRyYWN0b3IiLCIxMDAgcmV0cmllcywg
    cHJveHkiLHsidHlwZSI6Im9wdGlvbnMiLCJpZCI6ImNoZWNrQ29udGVudCIsInZh
    bHVlIjoiKGhyZWY9XCJodHRwOi8vbVxcLm1hcmtldFxcLnlhbmRleFxcLnJ1L1wi
    KSJ9XV0sInJlc3VsdHNGb3JtYXQiOiJbJSB0b29scy5xdWVyeS5hZGRBbGwocDEu
    c3ViY2F0cywgJ2xpbmsnKSAlXVxuJHAxLmNhdHMuZm9ybWF0KCckcXVlcnkucGFy
    ZW50OyRjYXRhbG9nSWQ7JGNhdGFsb2dUaXRsZVxcbicpIiwicmVzdWx0c1NhdmVU
    byI6ImZpbGUiLCJyZXN1bHRzRmlsZU5hbWUiOiJlbGVrNi50eHQiLCJhZGRpdGlv
    bmFsRm9ybWF0cyI6W10sInJlc3VsdHNVbmlxdWUiOiJubyIsInF1ZXJ5Rm9ybWF0
    IjpbIiRxdWVyeSJdLCJ1bmlxdWVRdWVyaWVzIjpmYWxzZSwic2F2ZUZhaWxlZFF1
    ZXJpZXMiOmZhbHNlLCJpdGVyYXRvck9wdGlvbnMiOnsib25BbGxMZXZlbHMiOmZh
    bHNlfSwicmVzdWx0c09wdGlvbnMiOnsib3ZlcndyaXRlIjpmYWxzZX0sImRvTG9n
    Ijoibm8iLCJrZWVwVW5pcXVlIjoiTm8iLCJtb3JlT3B0aW9ucyI6ZmFsc2UsInJl
    c3VsdHNQcmVwZW5kIjoiIiwicmVzdWx0c0FwcGVuZCI6IiIsInF1ZXJ5QnVpbGRl
    cnMiOlt7InNvdXJjZSI6InF1ZXJ5IiwidHlwZSI6InJlZ2V4IiwicmVnZXgiOiJo
    aWQ9KFxcZCspIiwicmVnZXhUeXBlIjpudWxsLCJ0byI6WyJwYXJlbnQiXX1dLCJy
    ZXN1bHRzQnVpbGRlcnMiOlt7InNvdXJjZSI6WzAsImRhdGEiXSwidHlwZSI6InJl
    Z2V4IiwiYXJyYXkiOiJjYXRzIiwicmVnZXgiOiI8ZGl2IGNsYXNzPVwic3ViY2F0
    XCI+PGEgaHJlZj1cIi9jYXRhbG9nXFwueG1sXFw/aGlkPShbXlwiXSopXCI+KFte
    PF0qKTwvYT4iLCJyZWdleFR5cGUiOiJnIiwidG8iOlsiY2F0YWxvZ0lkIiwiY2F0
    YWxvZ1RpdGxlIl19LHsic291cmNlIjpbMCxbImNhdHMiLCJjYXRhbG9nSWQiXV0s
    InR5cGUiOiJyZWdleFJlcGxhY2UiLCJhcnJheSI6InN1YmNhdHMiLCJyZWdleCI6
    IihcXGQrKSIsInJlZ2V4VHlwZSI6ImciLCJyZXBsYWNlIjoiaHR0cDovL21hcmtl
    dC55YW5kZXgudWEvY2F0YWxvZy54bWw/aGlkPSQxIiwidG8iOiJsaW5rIn1dLCJj
    b25maWdPdmVycmlkZXMiOltdfSwicGFyc2Vyc0NvbmZQcmVzZXRzIjp7IkhUTUw6
    OkxpbmtFeHRyYWN0b3IiOnsiMTAwIHJldHJpZXMsIHByb3h5Ijp7ImZvbGxvdyI6
    MCwidXNlci1hZ2VudCI6Ik1vemlsbGEvNC4wIChjb21wYXRpYmxlOyBNU0lFIDYu
    MDsgV2luZG93cyBOVCA1LjE7IFNWMSkiLCJxdWVyeWZvcm1hdCI6IiRxdWVyeSIs
    ImhlYWRlcnMiOiIiLCJicm93c2VyIjpmYWxzZSwiZ29vZENvZGUiOjIwMCwiZG9f
    Z3ppcCI6dHJ1ZSwiYm9keSI6IiIsInRpbWVvdXQiOiI2MCIsInN1YkRvbWFpbnMi
    OmZhbHNlLCJtZXRob2QiOiJHRVQiLCJ1c2Vwcm94eSI6dHJ1ZSwib25seWhlYWRl
    cnMiOmZhbHNlLCJjb29raWVzIjoiIiwicHJveHlyZXRyaWVzIjoiMTAwIiwicmVx
    dWVzdGRlbGF5IjoiMCIsInByb3h5YmFubmVkY2xlYW51cCI6IjMwMCIsInJhd2Rh
    dGEiOmZhbHNlLCJmb3JtYXRyZXN1bHQiOiIkaW50bGlua3MuZm9ybWF0KCckbGlu
    ayAkYW5jaG9yXFxuJykiLCJkZXRlY3RjaGFyc2V0IjpmYWxzZSwicmVjdXJzZSI6
    IjAiLCJtYXhfc2l6ZSI6IjI2MjE0NCJ9fX19

    Запрос
    http://market.yandex.ua/catalog.xml?hid=198119
     
  8. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.337
    Симпатии:
    1.795
    тут несколько ошибок:
    • Max redirect count стоит в 0, поэтому парсеру не спарсить категории, это видно по логу задания
    • Регулярное выражение не работает для нисходящих категорий
    • Query builder работает только по исходным запросам, т.е. он не сработает для новых запросов
     
  9. sergeda

    sergeda A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    22 май 2013
    Сообщения:
    193
    Симпатии:
    23
    Спасибо большое. Первые два пункта поправил а третий не пойму как исправить, там же в выборе только $query.query
     
  10. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.337
    Симпатии:
    1.795
    Делай тоже самое, только в конструкторе результатов
     
  11. sergeda

    sergeda A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    22 май 2013
    Сообщения:
    193
    Симпатии:
    23
    Перепробовал все доступные query в конструкторе результатов - пустота идет в parentId
     

Поделиться этой страницей