Net:HTTP - пройтись с начальной категории по всем дочерним и собрать контент с странички товара?

[sergeda]

Подскажите пожалуйста как это можно сделать. Подозреваю что надо использовать Check Next Page но не знаю как

 

[Forbidden]

HTML::LinkExtractor больше для этого подходит

пару примеров:
http://a-parser.com/threads/1365/
http://a-parser.com/threads/1315/

 

[sergeda]

HTML::LinkExtractor больше для этого подходит

пару примеров:
http://a-parser.com/threads/1365/
http://a-parser.com/threads/1315/

Спасибо. Информация помогла. Но есть одно но. Мне нужен переход только по тем ссылкам которые я собрал. Просто проверка следующей ссылки регексом не подойдет так как попадут левые ссылки. Как это лучше сделать?

 

[Forbidden]

Можно убрать стандартный Parse to level и использовать новую функцию, которая появилась в версии 1.1.200: http://a-parser.com/threads/1501/

 

[sergeda]

Можно убрать стандартный Parse to level и использовать новую функцию, которая появилась в версии 1.1.200: http://a-parser.com/threads/1501/

Спасибо, попробовал. Но не получилось

Сделал так
Видно что новые урлы в задачу добавились, но непонятная статистика http://monosnap.com/image/g24dbDyDRvxdJNJOD03spPidPsxGVQ

И в файле результатов результат только с первого урла а дальше непонятно что. По идее оно же должно было обойти все 649 ссылок?

198119;294661;GPS-навигаторы
198119;91122;Игровые приставки
198119;90555;Наушники
198119;90611;Аксессуары
198119;90543;Аудиотехника
198119;226665;Бинокли и зрительные трубы
198119;91497;Аксессуары

;none;none

;none;none

;none;none

;none;none

;none;none

;none;none

;none;none

 

[Forbidden]

сделай экспорт пресет и дай запрос с которым парсишь

 

[sergeda]

eyJwcmVzZXQiOiJkZWZhdWx0IiwidmFsdWUiOnsicHJlc2V0IjoiZGVmYXVsdCIs
InBhcnNlcnMiOltbIkhUTUw6OkxpbmtFeHRyYWN0b3IiLCIxMDAgcmV0cmllcywg
cHJveHkiLHsidHlwZSI6Im9wdGlvbnMiLCJpZCI6ImNoZWNrQ29udGVudCIsInZh
bHVlIjoiKGhyZWY9XCJodHRwOi8vbVxcLm1hcmtldFxcLnlhbmRleFxcLnJ1L1wi
KSJ9XV0sInJlc3VsdHNGb3JtYXQiOiJbJSB0b29scy5xdWVyeS5hZGRBbGwocDEu
c3ViY2F0cywgJ2xpbmsnKSAlXVxuJHAxLmNhdHMuZm9ybWF0KCckcXVlcnkucGFy
ZW50OyRjYXRhbG9nSWQ7JGNhdGFsb2dUaXRsZVxcbicpIiwicmVzdWx0c1NhdmVU
byI6ImZpbGUiLCJyZXN1bHRzRmlsZU5hbWUiOiJlbGVrNi50eHQiLCJhZGRpdGlv
bmFsRm9ybWF0cyI6W10sInJlc3VsdHNVbmlxdWUiOiJubyIsInF1ZXJ5Rm9ybWF0
IjpbIiRxdWVyeSJdLCJ1bmlxdWVRdWVyaWVzIjpmYWxzZSwic2F2ZUZhaWxlZFF1
ZXJpZXMiOmZhbHNlLCJpdGVyYXRvck9wdGlvbnMiOnsib25BbGxMZXZlbHMiOmZh
bHNlfSwicmVzdWx0c09wdGlvbnMiOnsib3ZlcndyaXRlIjpmYWxzZX0sImRvTG9n
Ijoibm8iLCJrZWVwVW5pcXVlIjoiTm8iLCJtb3JlT3B0aW9ucyI6ZmFsc2UsInJl
c3VsdHNQcmVwZW5kIjoiIiwicmVzdWx0c0FwcGVuZCI6IiIsInF1ZXJ5QnVpbGRl
cnMiOlt7InNvdXJjZSI6InF1ZXJ5IiwidHlwZSI6InJlZ2V4IiwicmVnZXgiOiJo
aWQ9KFxcZCspIiwicmVnZXhUeXBlIjpudWxsLCJ0byI6WyJwYXJlbnQiXX1dLCJy
ZXN1bHRzQnVpbGRlcnMiOlt7InNvdXJjZSI6WzAsImRhdGEiXSwidHlwZSI6InJl
Z2V4IiwiYXJyYXkiOiJjYXRzIiwicmVnZXgiOiI8ZGl2IGNsYXNzPVwic3ViY2F0
XCI+PGEgaHJlZj1cIi9jYXRhbG9nXFwueG1sXFw/aGlkPShbXlwiXSopXCI+KFte
PF0qKTwvYT4iLCJyZWdleFR5cGUiOiJnIiwidG8iOlsiY2F0YWxvZ0lkIiwiY2F0
YWxvZ1RpdGxlIl19LHsic291cmNlIjpbMCxbImNhdHMiLCJjYXRhbG9nSWQiXV0s
InR5cGUiOiJyZWdleFJlcGxhY2UiLCJhcnJheSI6InN1YmNhdHMiLCJyZWdleCI6
IihcXGQrKSIsInJlZ2V4VHlwZSI6ImciLCJyZXBsYWNlIjoiaHR0cDovL21hcmtl
dC55YW5kZXgudWEvY2F0YWxvZy54bWw/aGlkPSQxIiwidG8iOiJsaW5rIn1dLCJj
b25maWdPdmVycmlkZXMiOltdfSwicGFyc2Vyc0NvbmZQcmVzZXRzIjp7IkhUTUw6
OkxpbmtFeHRyYWN0b3IiOnsiMTAwIHJldHJpZXMsIHByb3h5Ijp7ImZvbGxvdyI6
MCwidXNlci1hZ2VudCI6Ik1vemlsbGEvNC4wIChjb21wYXRpYmxlOyBNU0lFIDYu
MDsgV2luZG93cyBOVCA1LjE7IFNWMSkiLCJxdWVyeWZvcm1hdCI6IiRxdWVyeSIs
ImhlYWRlcnMiOiIiLCJicm93c2VyIjpmYWxzZSwiZ29vZENvZGUiOjIwMCwiZG9f
Z3ppcCI6dHJ1ZSwiYm9keSI6IiIsInRpbWVvdXQiOiI2MCIsInN1YkRvbWFpbnMi
OmZhbHNlLCJtZXRob2QiOiJHRVQiLCJ1c2Vwcm94eSI6dHJ1ZSwib25seWhlYWRl
cnMiOmZhbHNlLCJjb29raWVzIjoiIiwicHJveHlyZXRyaWVzIjoiMTAwIiwicmVx
dWVzdGRlbGF5IjoiMCIsInByb3h5YmFubmVkY2xlYW51cCI6IjMwMCIsInJhd2Rh
dGEiOmZhbHNlLCJmb3JtYXRyZXN1bHQiOiIkaW50bGlua3MuZm9ybWF0KCckbGlu
ayAkYW5jaG9yXFxuJykiLCJkZXRlY3RjaGFyc2V0IjpmYWxzZSwicmVjdXJzZSI6
IjAiLCJtYXhfc2l6ZSI6IjI2MjE0NCJ9fX19

Запрос
http://market.yandex.ua/catalog.xml?hid=198119

 

[Forbidden]

тут несколько ошибок:

• Max redirect count стоит в 0, поэтому парсеру не спарсить категории, это видно по логу задания
• Регулярное выражение не работает для нисходящих категорий
• Query builder работает только по исходным запросам, т.е. он не сработает для новых запросов

 

[sergeda]

тут несколько ошибок:

• Max redirect count стоит в 0, поэтому парсеру не спарсить категории, это видно по логу задания
• Регулярное выражение не работает для нисходящих категорий
• Query builder работает только по исходным запросам, т.е. он не сработает для новых запросов

Спасибо большое. Первые два пункта поправил а третий не пойму как исправить, там же в выборе только $query.query

 

[Forbidden]

Делай тоже самое, только в конструкторе результатов

 

[sergeda]

Делай тоже самое, только в конструкторе результатов

Перепробовал все доступные query в конструкторе результатов - пустота идет в parentId