1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Парсер Парсинг Авито Обновление 2.0

Парсинг объявлений avito.ru

  1. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.347
    Симпатии:
    2.096
    Avito.ru - это довольно популярный ресурс для парсинга. Там можно собрать довольно большую базу телефонов с именами. Но парсинг Авито вызывает некоторые сложности, т.к. телефоны выводятся картинками, а также предусмотрена еще некоторая защита от парсинга. Но к счастью существует мобильная версия сайта, где телефоны выдаются в JSON.

    Ниже показана возможность парсинга мобильной версии Авито с помощью А-Парсера. Задача решается 2-мя заданиями: первое парсит ссылки на обьявления, а второе - парсит сами телефоны и другую информацию.

    1-й пресет:
    [​IMG]
    Код:
    eyJwcmVzZXQiOiJtLmF2aXRvIC0gMSIsInZhbHVlIjp7InByZXNldCI6Im0uYXZp
    dG8gLSAxIiwicGFyc2VycyI6W1siSFRNTDo6TGlua0V4dHJhY3RvciIsImRlZmF1
    bHQiLHsidHlwZSI6ImZpbHRlciIsInJlc3VsdCI6WyJmb2xsb3dsaW5rcyIsImxp
    bmsiXSwiZmlsdGVyVHlwZSI6InJlbWF0Y2giLCJ2YWx1ZSI6Im1cXC5hdml0b1xc
    LnJ1XFwvLis/XFwvLis/XFxkezIsfSIsIm9wdGlvbiI6IiJ9LHsidHlwZSI6Im9w
    dGlvbnMiLCJpZCI6InBhcnNlTGV2ZWwiLCJ2YWx1ZSI6MX0seyJ0eXBlIjoib3Zl
    cnJpZGUiLCJpZCI6InJhd2RhdGEiLCJ2YWx1ZSI6dHJ1ZX0seyJ0eXBlIjoiZmls
    dGVyIiwicmVzdWx0IjoicXVlcnkiLCJmaWx0ZXJUeXBlIjoicmVtYXRjaCIsInZh
    bHVlIjoibVxcLmF2aXRvXFwucnVcXC8uKz9cXC8uKz9cXGR7Mix9Iiwib3B0aW9u
    IjoiIn0seyJ0eXBlIjoiY3VzdG9tUmVzdWx0IiwicmVzdWx0IjoiZGF0YSIsInJl
    Z2V4IjoiYWN0aW9uLXNob3ctbnVtYmVyLis/aHJlZj1cIiguKz8pXCIiLCJyZWdl
    eFR5cGUiOiIiLCJyZXN1bHRUeXBlIjoiZmxhdCIsImFycmF5TmFtZSI6IiIsInJl
    c3VsdHMiOlsidGVsX2xpbmsiXX0seyJ0eXBlIjoib3ZlcnJpZGUiLCJpZCI6ImZv
    cm1hdHJlc3VsdCIsInZhbHVlIjoiaHR0cHM6Ly9tLmF2aXRvLnJ1JHRlbF9saW5r
    P2FzeW5jXFxuIn0seyJ0eXBlIjoib3ZlcnJpZGUiLCJpZCI6InByb3h5cmV0cmll
    cyIsInZhbHVlIjoiMzAifV1dLCJyZXN1bHRzRm9ybWF0IjoiJHAxLnByZXNldCIs
    InJlc3VsdHNTYXZlVG8iOiJmaWxlIiwicmVzdWx0c0ZpbGVOYW1lIjoiJGRhdGVm
    aWxlLmZvcm1hdCgpLnR4dCIsImFkZGl0aW9uYWxGb3JtYXRzIjpbXSwicmVzdWx0
    c1VuaXF1ZSI6InN0cmluZyIsInF1ZXJ5Rm9ybWF0IjpbIiRxdWVyeSZwPXtudW06
    MTo1MDB9Il0sInVuaXF1ZVF1ZXJpZXMiOnRydWUsInNhdmVGYWlsZWRRdWVyaWVz
    IjpmYWxzZSwiaXRlcmF0b3JPcHRpb25zIjp7Im9uQWxsTGV2ZWxzIjpmYWxzZSwi
    cXVlcnlCdWlsZGVyc0FmdGVySXRlcmF0b3IiOmZhbHNlLCJxdWVyeUJ1aWxkZXJz
    T25BbGxMZXZlbHMiOmZhbHNlfSwicmVzdWx0c09wdGlvbnMiOnsib3ZlcndyaXRl
    IjpmYWxzZX0sImRvTG9nIjoibm8iLCJrZWVwVW5pcXVlIjoiTm8iLCJtb3JlT3B0
    aW9ucyI6ZmFsc2UsInJlc3VsdHNQcmVwZW5kIjoiIiwicmVzdWx0c0FwcGVuZCI6
    IiIsInF1ZXJ5QnVpbGRlcnMiOltdLCJyZXN1bHRzQnVpbGRlcnMiOltdLCJjb25m
    aWdPdmVycmlkZXMiOltdfX0=
    • На вход подаются ссылки на поиск. Пример показан на скрине. Рекомендуется в поиске выбирать "Частные" объявления.
    • Данный пресет объединяет в себе сразу два: это проход по страницам поиска и заход в каждое объявление для парсинга ссылки.
    • Кол-во страниц для парсинга задается в макросе в общем формате запроса. Можно немного изменить задание для сбора всех страниц из поиска, используя функцию Check next page.
    2-й пресет
    [​IMG]
    Код:
    eyJwcmVzZXQiOiJtLmF2aXRvIC0gMiIsInZhbHVlIjp7InByZXNldCI6Im0uYXZp
    dG8gLSAyIiwicGFyc2VycyI6W1siTmV0OjpIVFRQIiwiZGVmYXVsdCIseyJ0eXBl
    Ijoib3ZlcnJpZGUiLCJpZCI6Imdvb2RDb2RlIiwidmFsdWUiOjIwMH0seyJ0eXBl
    Ijoib3ZlcnJpZGUiLCJpZCI6ImZvcm1hdHJlc3VsdCIsInZhbHVlIjoiWyUganNv
    biA9IHRvb2xzLnBhcnNlSlNPTihkYXRhKTtcbmpzb24ucGhvbmUgJV0ifSx7InR5
    cGUiOiJmaWx0ZXIiLCJyZXN1bHQiOiJbJSBqc29uID0gdG9vbHMucGFyc2VKU09O
    KGRhdGEpOyBqc29uLnBob25lICVdIiwiZmlsdGVyVHlwZSI6Im5vdGVxdWFsIiwi
    dmFsdWUiOiIiLCJvcHRpb24iOiJzZW5zIn0seyJ0eXBlIjoib3B0aW9ucyIsImlk
    IjoiY2hlY2tDb250ZW50IiwidmFsdWUiOiJwaG9uZSJ9LHsidHlwZSI6Im92ZXJy
    aWRlIiwiaWQiOiJwcm94eXJldHJpZXMiLCJ2YWx1ZSI6IjUwIn0seyJ0eXBlIjoi
    b3ZlcnJpZGUiLCJpZCI6InByb3h5YmFubmVkY2xlYW51cCIsInZhbHVlIjoiMzAi
    fV0sWyJOZXQ6OkhUVFAiLCJkZWZhdWx0Iix7InR5cGUiOiJvdmVycmlkZSIsImlk
    IjoiZ29vZENvZGUiLCJ2YWx1ZSI6MjAwfSx7InR5cGUiOiJvdmVycmlkZSIsImlk
    IjoicXVlcnlmb3JtYXQiLCJ2YWx1ZSI6IiRxdWVyeS5saW5rIn0seyJ0eXBlIjoi
    Y3VzdG9tUmVzdWx0IiwicmVzdWx0IjoiZGF0YSIsInJlZ2V4IjoicGVyc29uLW5h
    bWVcIj5cXHMqKC4rPylcXHMqPCIsInJlZ2V4VHlwZSI6IiIsInJlc3VsdFR5cGUi
    OiJmbGF0IiwiYXJyYXlOYW1lIjoiIiwicmVzdWx0cyI6WyJuYW1lIl19LHsidHlw
    ZSI6ImN1c3RvbVJlc3VsdCIsInJlc3VsdCI6ImRhdGEiLCJyZWdleCI6ImF2aXRv
    LWFkZHJlc3MtdGV4dFwiPlxccyooLis/KVxccyo8IiwicmVnZXhUeXBlIjoiIiwi
    cmVzdWx0VHlwZSI6ImZsYXQiLCJhcnJheU5hbWUiOiIiLCJyZXN1bHRzIjpbImNp
    dHkiXX0seyJ0eXBlIjoiY3VzdG9tUmVzdWx0IiwicmVzdWx0IjoiZGF0YSIsInJl
    Z2V4Ijoic2luZ2xlLWl0ZW0taGVhZGVyIGItd2l0aC1wYWRkaW5nXCI+XFxzKigu
    Kz8pXFxzKjxcXC8iLCJyZWdleFR5cGUiOiIiLCJyZXN1bHRUeXBlIjoiZmxhdCIs
    ImFycmF5TmFtZSI6IiIsInJlc3VsdHMiOlsidGl0bGUiXX0seyJ0eXBlIjoiY3Vz
    dG9tUmVzdWx0IiwicmVzdWx0IjoiZGF0YSIsInJlZ2V4IjoicHJpY2UtdmFsdWVc
    Ij5cXHMqKC4rPylcXHMqPCIsInJlZ2V4VHlwZSI6IiIsInJlc3VsdFR5cGUiOiJm
    bGF0IiwiYXJyYXlOYW1lIjoiIiwicmVzdWx0cyI6WyJwcmljZSJdfSx7InR5cGUi
    OiJvcHRpb25zIiwiaWQiOiJjaGVja0NvbnRlbnQiLCJ2YWx1ZSI6InBlcnNvbi1u
    YW1lXCI+XFxzKi4rP1xccyo8In0seyJ0eXBlIjoib3ZlcnJpZGUiLCJpZCI6InBy
    b3h5cmV0cmllcyIsInZhbHVlIjoiNTAifV1dLCJyZXN1bHRzRm9ybWF0IjoiJHAy
    LnRpdGxlOyRwMS5wcmVzZXQ7JHAyLm5hbWU7JHAyLmNpdHk7JHAyLnByaWNlXFxu
    IiwicmVzdWx0c1NhdmVUbyI6ImZpbGUiLCJyZXN1bHRzRmlsZU5hbWUiOiIkZGF0
    ZWZpbGUuZm9ybWF0KCkuY3N2IiwiYWRkaXRpb25hbEZvcm1hdHMiOltdLCJyZXN1
    bHRzVW5pcXVlIjoibm8iLCJxdWVyeUZvcm1hdCI6WyIkcXVlcnkiXSwidW5pcXVl
    UXVlcmllcyI6ZmFsc2UsInNhdmVGYWlsZWRRdWVyaWVzIjpmYWxzZSwiaXRlcmF0
    b3JPcHRpb25zIjp7Im9uQWxsTGV2ZWxzIjpmYWxzZSwicXVlcnlCdWlsZGVyc0Fm
    dGVySXRlcmF0b3IiOmZhbHNlLCJxdWVyeUJ1aWxkZXJzT25BbGxMZXZlbHMiOmZh
    bHNlfSwicmVzdWx0c09wdGlvbnMiOnsib3ZlcndyaXRlIjpmYWxzZX0sImRvTG9n
    Ijoibm8iLCJrZWVwVW5pcXVlIjoiTm8iLCJtb3JlT3B0aW9ucyI6ZmFsc2UsInJl
    c3VsdHNQcmVwZW5kIjoiIiwicmVzdWx0c0FwcGVuZCI6IiIsInF1ZXJ5QnVpbGRl
    cnMiOlt7InNvdXJjZSI6InF1ZXJ5IiwidHlwZSI6InJlZ2V4IiwicmVnZXgiOiIo
    aHR0cC4rPylcXC9waG9uZSIsInJlZ2V4VHlwZSI6bnVsbCwidG8iOlsibGluayJd
    fV0sInJlc3VsdHNCdWlsZGVycyI6W3sic291cmNlIjpbMSwicHJpY2UiXSwidHlw
    ZSI6ImRlY29kZUh0bWwiLCJ0byI6InByaWNlIn0seyJzb3VyY2UiOlsxLCJ0aXRs
    ZSJdLCJ0eXBlIjoicmVtb3ZlSHRtbCIsInRvIjoidGl0bGUifSx7InNvdXJjZSI6
    WzEsInRpdGxlIl0sInR5cGUiOiJkZWNvZGVIdG1sIiwidG8iOiJ0aXRsZSJ9LHsi
    c291cmNlIjpbMSwibmFtZSJdLCJ0eXBlIjoiZGVjb2RlSHRtbCIsInRvIjoibmFt
    ZSJ9XSwiY29uZmlnT3ZlcnJpZGVzIjpbXX19
    • На вход нужно подавать файл, полученный в первом пресете.
    Результат
    Средняя скорость парсинга на 350 потоках составила:
    1-й пресет: 1800 запросов/мин
    2-й пресет: 700 запросов/мин
    [​IMG]
    [​IMG]
    В итоге получаем CSV файл с таким содержанием:
    [​IMG]
     
    rumos, vipdenya, Apalon и ещё 1-му нравится это.
  2. Apalon

    Apalon A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    31 июл 2015
    Сообщения:
    20
    Симпатии:
    2
    Zdrastvuite a mojna natraviti Aparser na to sto parsil na pastaianku saitu s abivleniiami ?Live skajem tak?
     
  3. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.347
    Симпатии:
    2.096
    Добрый день. Нет, так не получится сделать.

    UPD
    Можно попробовать с помощью API подобное реализовать.
     
    #3 Support, 27 окт 2015
    Последнее редактирование: 27 окт 2015
  4. vipdenya

    vipdenya A-Parser Pro License
    A-Parser Pro

    Регистрация:
    25 июл 2014
    Сообщения:
    57
    Симпатии:
    9
    http://translit.net/
     
    alkoustas нравится это.
  5. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.347
    Симпатии:
    2.096
    Обновленный пресет для парсинга Авито
    • теперь только один пресет
    • скорость парсинга несколько выше
    • парсится мобильна версия
    • для корректной работы данного пресета нужна версия А-Парсера не ниже 1.1.399
    [​IMG]
    Код:
    eyJwcmVzZXQiOiJtLmF2aXRvIG5ldyIsInZhbHVlIjp7InByZXNldCI6Im0uYXZp
    dG8gbmV3IiwicGFyc2VycyI6W1siTmV0OjpIVFRQIiwiZGVmYXVsdCIseyJ0eXBl
    Ijoib3ZlcnJpZGUiLCJpZCI6Imdvb2RDb2RlIiwidmFsdWUiOlsyMDBdfSx7InR5
    cGUiOiJjdXN0b21SZXN1bHQiLCJyZXN1bHQiOlsicGFnZXMiLCJkYXRhIl0sInJl
    Z2V4IjoiYi1pdGVtIGpzLWNhdGFsb2ctaXRlbS1lbnVtLis/aHJlZj1cIiguKz8p
    XCIiLCJyZWdleFR5cGUiOiJzZyIsInJlc3VsdFR5cGUiOiJhcnJheSIsImFycmF5
    TmFtZSI6Iml0ZW1zIiwicmVzdWx0cyI6WyJsaW5rIl19LHsidHlwZSI6Im9wdGlv
    bnMiLCJpZCI6ImNoZWNrTmV4dFBhZ2UiLCJ2YWx1ZSI6ImItaXRlbSBqcy1jYXRh
    bG9nLWl0ZW0tZW51bSg/Olxccyp8LispKzx1bCBjbGFzcz1cInBhZ2VzLXdyYXBw
    ZXJcIj4oPzpcXHMqfC4rPykrPzxsaSBjbGFzcz1cInBhZ2UgcGFnZS1uZXh0XCI+
    IDxhIGhyZWY9XCIoLis/KVwiIiwiYWRkaXRpb25hbCI6eyJjaGVja05leHRQYWdl
    TGltaXQiOiIwIn19LHsidHlwZSI6Im9wdGlvbnMiLCJpZCI6InBhZ2VBc05ld1F1
    ZXJ5IiwidmFsdWUiOnRydWUsImFkZGl0aW9uYWwiOnsia2VlcFF1ZXJ5TGV2ZWwi
    OjB9fSx7InR5cGUiOiJjdXN0b21SZXN1bHQiLCJyZXN1bHQiOiJkYXRhIiwicmVn
    ZXgiOiJhY3Rpb24tc2hvdy1udW1iZXIgYWN0aW9uLWxpbmsgbGluay4rP2hyZWY9
    XCIoLis/KVwiIiwicmVnZXhUeXBlIjoicyIsInJlc3VsdFR5cGUiOiJmbGF0Iiwi
    YXJyYXlOYW1lIjoiIiwicmVzdWx0cyI6WyJwaG9uZWxpbmsiXX0seyJ0eXBlIjoi
    Y3VzdG9tUmVzdWx0IiwicmVzdWx0IjoiZGF0YSIsInJlZ2V4IjoiPGhlYWRlciBj
    bGFzcz1cInNpbmdsZS1pdGVtLWhlYWRlciBiLXdpdGgtcGFkZGluZ1wiPlxccyoo
    Lis/KVxccyo8XFwvaGVhZGVyPiIsInJlZ2V4VHlwZSI6IiIsInJlc3VsdFR5cGUi
    OiJmbGF0IiwiYXJyYXlOYW1lIjoiIiwicmVzdWx0cyI6WyJoZWFkZXIiXX0seyJ0
    eXBlIjoiY3VzdG9tUmVzdWx0IiwicmVzdWx0IjoiZGF0YSIsInJlZ2V4IjoiPGRp
    diBjbGFzcz1cInBlcnNvbi1uYW1lXCI+XFxzKiguKz8pXFxzKjxcXC9kaXY+Iiwi
    cmVnZXhUeXBlIjoicyIsInJlc3VsdFR5cGUiOiJmbGF0IiwiYXJyYXlOYW1lIjoi
    IiwicmVzdWx0cyI6WyJuYW1lIl19LHsidHlwZSI6ImN1c3RvbVJlc3VsdCIsInJl
    c3VsdCI6ImRhdGEiLCJyZWdleCI6IjxzcGFuIGNsYXNzPVwiYXZpdG8tYWRkcmVz
    cy10ZXh0XCI+XFxzKiguKz8pXFxzKjxcXC9zcGFuPiIsInJlZ2V4VHlwZSI6IiIs
    InJlc3VsdFR5cGUiOiJmbGF0IiwiYXJyYXlOYW1lIjoiIiwicmVzdWx0cyI6WyJh
    ZGRyZXNzIl19LHsidHlwZSI6ImN1c3RvbVJlc3VsdCIsInJlc3VsdCI6ImRhdGEi
    LCJyZWdleCI6IjxzcGFuIGNsYXNzPVwicHJpY2UtdmFsdWVcIj5cXHMqKC4rPylc
    XHMqPFxcL3NwYW4+IiwicmVnZXhUeXBlIjoiIiwicmVzdWx0VHlwZSI6ImZsYXQi
    LCJhcnJheU5hbWUiOiIiLCJyZXN1bHRzIjpbInByaWNlIl19LHsidHlwZSI6Im92
    ZXJyaWRlIiwiaWQiOiJwcm94eXJldHJpZXMiLCJ2YWx1ZSI6IjMwIn0seyJ0eXBl
    Ijoib3B0aW9ucyIsImlkIjoiY2hlY2tDb250ZW50IiwidmFsdWUiOiJiLWl0ZW0g
    anMtY2F0YWxvZy1pdGVtLWVudW18YWN0aW9uLXNob3ctbnVtYmVyIGFjdGlvbi1s
    aW5rIGxpbmsuKz9ocmVmPVwiLis/XCJ8e1wicGhvbmVcIjoifV1dLCJyZXN1bHRz
    Rm9ybWF0IjoiWyUgSUYgcXVlcnkubHZsID09IDA7XG5cdEZPUkVBQ0ggcDEuaXRl
    bXM7XG5cdFx0dG9vbHMucXVlcnkuYWRkKCdodHRwczovL20uYXZpdG8ucnUnIF8g
    bGluayk7XG5cdEVORDtcbkVORDtcblxuSUYgcXVlcnkubHZsID09IDEgJiYgcDEu
    cGhvbmVsaW5rICE9ICdub25lJztcblx0ZnVsbHBob25lbGluayA9ICdodHRwczov
    L20uYXZpdG8ucnUnIF8gcDEucGhvbmVsaW5rIF8gJz9hc3luYyc7XHRcdFxuXHRy
    ZXN1bHRzLiRmdWxscGhvbmVsaW5rLmhlYWRlciA9IHAxLmhlYWRlcjtcblx0cmVz
    dWx0cy4kZnVsbHBob25lbGluay5uYW1lID0gcDEubmFtZTtcblx0cmVzdWx0cy4k
    ZnVsbHBob25lbGluay5hZGRyZXNzID0gcDEuYWRkcmVzcztcblx0cmVzdWx0cy4k
    ZnVsbHBob25lbGluay5wcmljZSA9IHAxLnByaWNlO1xuXHRyZXN1bHRzLiRmdWxs
    cGhvbmVsaW5rLmxpbmsgPSBxdWVyeTtcblx0dG9vbHMucXVlcnkuYWRkKGZ1bGxw
    aG9uZWxpbmspO1xuRU5EO1xuXG5JRiBxdWVyeS5sdmwgPT0gMjtcblx0anNvbiA9
    IHRvb2xzLnBhcnNlSlNPTihwMS5kYXRhKTtcblx0J1wiJyBfIHJlc3VsdHMuJHF1
    ZXJ5LmhlYWRlciBfICdcIjtcIicgXyBqc29uLnBob25lIF8gJ1wiO1wiJyBfIHJl
    c3VsdHMuJHF1ZXJ5Lm5hbWUgXyAnXCI7XCInIF8gcmVzdWx0cy4kcXVlcnkuYWRk
    cmVzcyBfICdcIjtcIicgXyByZXN1bHRzLiRxdWVyeS5wcmljZSBfICdcIjtcIicg
    XyByZXN1bHRzLiRxdWVyeS5saW5rIF8gJ1wiJyBfIFwiXFxuXCI7XG5cdHJlc3Vs
    dHMuZGVsZXRlKHF1ZXJ5KTtcbkVORCAlXSIsInJlc3VsdHNTYXZlVG8iOiJmaWxl
    IiwicmVzdWx0c0ZpbGVOYW1lIjoiQXZpdG8vJHAxLmNpdHkvJHtwMS5jYXRlZ29y
    eX0uY3N2IiwiYWRkaXRpb25hbEZvcm1hdHMiOltdLCJyZXN1bHRzVW5pcXVlIjoi
    c3RyaW5nIiwicXVlcnlGb3JtYXQiOlsiJHF1ZXJ5Il0sInVuaXF1ZVF1ZXJpZXMi
    OnRydWUsInNhdmVGYWlsZWRRdWVyaWVzIjpmYWxzZSwiaXRlcmF0b3JPcHRpb25z
    Ijp7Im9uQWxsTGV2ZWxzIjpmYWxzZSwicXVlcnlCdWlsZGVyc0FmdGVySXRlcmF0
    b3IiOmZhbHNlLCJxdWVyeUJ1aWxkZXJzT25BbGxMZXZlbHMiOmZhbHNlfSwicmVz
    dWx0c09wdGlvbnMiOnsib3ZlcndyaXRlIjpmYWxzZX0sImRvTG9nIjoibm8iLCJr
    ZWVwVW5pcXVlIjoiTm8iLCJtb3JlT3B0aW9ucyI6dHJ1ZSwicmVzdWx0c1ByZXBl
    bmQiOiJcIlx1MDQxZFx1MDQzMFx1MDQzOFx1MDQzY1x1MDQzNVx1MDQzZFx1MDQz
    ZVx1MDQzMlx1MDQzMFx1MDQzZFx1MDQzOFx1MDQzNVwiO1wiXHUwNDIyXHUwNDM1
    XHUwNDNiXHUwNDM1XHUwNDQ0XHUwNDNlXHUwNDNkXCI7XCJcdTA0MThcdTA0M2Nc
    dTA0NGZcIjtcIlx1MDQxYlx1MDQzZVx1MDQzYVx1MDQzMFx1MDQ0Nlx1MDQzOFx1
    MDQ0ZlwiO1wiXHUwNDI2XHUwNDM1XHUwNDNkXHUwNDMwXCI7XCJcdTA0MjFcdTA0
    NDFcdTA0NGJcdTA0M2JcdTA0M2FcdTA0MzBcIlxuIiwicmVzdWx0c0FwcGVuZCI6
    IiIsInF1ZXJ5QnVpbGRlcnMiOltdLCJyZXN1bHRzQnVpbGRlcnMiOlt7InNvdXJj
    ZSI6WzAsImhlYWRlciJdLCJ0eXBlIjoiZGVjb2RlSHRtbCIsInRvIjoiaGVhZGVy
    In0seyJzb3VyY2UiOlswLCJoZWFkZXIiXSwidHlwZSI6InN0cmluZ1JlcGxhY2Ui
    LCJzZWFyY2giOiJcIiIsInJlcGxhY2UiOiInJyIsInRvIjoiaGVhZGVyIn0seyJz
    b3VyY2UiOlswLCJoZWFkZXIiXSwidHlwZSI6InJlbW92ZUh0bWwiLCJ0byI6Imhl
    YWRlciJ9LHsic291cmNlIjpbMCwicHJpY2UiXSwidHlwZSI6ImRlY29kZUh0bWwi
    LCJ0byI6InByaWNlIn0seyJzb3VyY2UiOlswLCJxdWVyeS5maXJzdCJdLCJ0eXBl
    IjoicmVnZXgiLCJyZWdleCI6ImF2aXRvXFwucnVcXC8oKD86XFx3fC0pKykoPzpc
    XC8oKD86XFx3fC0pKykpPyIsInJlZ2V4VHlwZSI6ImkiLCJ0byI6WyJjaXR5Iiwi
    Y2F0ZWdvcnkiXX0seyJzb3VyY2UiOlswLCJjYXRlZ29yeSJdLCJ0eXBlIjoicmVn
    ZXhSZXBsYWNlIiwicmVnZXgiOiJebm9uZSQiLCJyZWdleFR5cGUiOm51bGwsInJl
    cGxhY2UiOiJhbGxfY2F0ZWdvcmllcyIsInRvIjoiY2F0ZWdvcnkifSx7InNvdXJj
    ZSI6WzAsIm5hbWUiXSwidHlwZSI6ImRlY29kZUh0bWwiLCJ0byI6Im5hbWUifSx7
    InNvdXJjZSI6WzAsIm5hbWUiXSwidHlwZSI6InJlbW92ZUh0bWwiLCJ0byI6Im5h
    bWUifSx7InNvdXJjZSI6WzAsIm5hbWUiXSwidHlwZSI6InJlZ2V4UmVwbGFjZSIs
    InJlZ2V4IjoiXFxzKyR8XFxufFxcciIsInJlZ2V4VHlwZSI6ImciLCJyZXBsYWNl
    IjoiIiwidG8iOiJuYW1lIn0seyJzb3VyY2UiOlswLCJuYW1lIl0sInR5cGUiOiJy
    ZWdleFJlcGxhY2UiLCJyZWdleCI6Ilxcc3syLH0iLCJyZWdleFR5cGUiOiJnIiwi
    cmVwbGFjZSI6IiAiLCJ0byI6Im5hbWUifV0sImNvbmZpZ092ZXJyaWRlcyI6W119
    fQ==

    Логика работы
    Процесс парсинга похож на первую версию. Основное различие в том, что здесь все объединено в один пресет.

    Всего есть 3 этапа.
    1) Сбор ссылок на объявления.
    2) Парсинг по полученным ссылкам нужной информации и ссылки на получение номера телефона.
    3) Получение номера телефона.​

    Т.к. все эти этапы можно выполнять парсером Net::HTTP Net::HTTP, то используя tools.query.add их можно объединить в одно задание. Парсер получает список ссылок на объявления, переходя по всем страницам в выдаче с помощью Check next page. Полученные ссылки подставляются в запрос, и по ним парсится вся информация. Т.к. еще нужно пройти 3-й этап, получить телефон и вывести его вместе с информацией, полученной на 2-м этапе, требуется как-то передать данные между этапами. Для этого на 2-м этапе сохраняем полученную информацию в ассоциативный массив (хэш), где ключом будет служить ссылка для 3-го этапа, а саму ссылку подставляем в запрос. Таким образом на 3-м этапе мы легко сможем получить данные, используя в качестве ключа запрос. И обязательно на 3-м этапе, после вывода итогового результата, удаляем запись из хэша, иначе, при парсинге больших обьемов, нам может не хватить оперативной памяти... Подстановку результатов в запросы и передачу данных между этапами выполняет шаблон в Общем формате результата:
    Запросы
    В качестве запросов нужно использовать ссылки на интересующие города/категории (не забываем о том, что мы используем мобильную версию).

    https://m.avito.ru/vladimir/vodnyy_transport
    https://m.avito.ru/vladimir/avtomobili?user=1
    https://m.avito.ru/sankt-peterburg?user=1
    https://m.avito.ru/mahachkala/vakansii
    https://m.avito.ru/mahachkala/rezume
    https://m.avito.ru/dagestanskie_ogni/predlozheniya_uslug
    Примечание: если в ссылке не задана категория (пример: https://m.avito.ru/sankt-peterburg), то будут парсится все категории. Параметр ?user=1 указывает на то, чтобы выдавать только частные объявления.

    Результаты
    [​IMG]
    • Средняя скорость парсинга на 500 потоках ~ 1500 запросов в минуту
    • Формат результата - CSV
    • Результаты сортируются по папкам с именем города и файлам с именем категории (если в запросе категория не указана, то будет только один файл all_categories.csv):
      [​IMG]
    • Результаты имеют такой вид:
      [​IMG]
     
    rumos, subzero, vipdenya и 2 другим нравится это.
  6. subzero

    subzero A-Parser Pro License
    A-Parser Pro

    Регистрация:
    27 ноя 2013
    Сообщения:
    16
    Симпатии:
    3
    2 Support: Вы можете проверить, работает ли сейчас парсинг?

    Запустил первый Ваш вариант. На вход дал вот эту урлу: https://m.avito.ru/vladimir/avtomobili?user=1
    В текстовик парсер положил вот такую урлу https://m.avito.runone?async

    Запустил новую версию парсера. Дал ту же входную урлу на вход. А-парсер пыхтел-пыхтел, да ничего на выходе и не получил. Все запросы указаны как неудачные.

    Проверьте, плиз.
     
  7. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.347
    Симпатии:
    2.096
    Обновление
    • Исправлено регулярное выражение для ссылки на номер телефона
    • Исправлен Check RegEx
    • Увеличено кол-во попыток до 100
    Код:
    eyJwcmVzZXQiOiJtLmF2aXRvIG5ldyIsInZhbHVlIjp7InByZXNldCI6Im0uYXZp
    dG8gbmV3IiwicGFyc2VycyI6W1siTmV0OjpIVFRQIiwiZGVmYXVsdCIseyJ0eXBl
    Ijoib3ZlcnJpZGUiLCJpZCI6Imdvb2RDb2RlIiwidmFsdWUiOlsyMDBdfSx7InR5
    cGUiOiJjdXN0b21SZXN1bHQiLCJyZXN1bHQiOlsicGFnZXMiLCJkYXRhIl0sInJl
    Z2V4IjoiYi1pdGVtIGpzLWNhdGFsb2ctaXRlbS1lbnVtLis/aHJlZj1cIiguKz8p
    XCIiLCJyZWdleFR5cGUiOiJzZyIsInJlc3VsdFR5cGUiOiJhcnJheSIsImFycmF5
    TmFtZSI6Iml0ZW1zIiwicmVzdWx0cyI6WyJsaW5rIl19LHsidHlwZSI6Im9wdGlv
    bnMiLCJpZCI6ImNoZWNrTmV4dFBhZ2UiLCJ2YWx1ZSI6ImItaXRlbSBqcy1jYXRh
    bG9nLWl0ZW0tZW51bSg/Olxccyp8LispKzx1bCBjbGFzcz1cInBhZ2VzLXdyYXBw
    ZXJcIj4oPzpcXHMqfC4rPykrPzxsaSBjbGFzcz1cInBhZ2UgcGFnZS1uZXh0XCI+
    IDxhIGhyZWY9XCIoLis/KVwiIiwiYWRkaXRpb25hbCI6eyJjaGVja05leHRQYWdl
    TGltaXQiOiIwIn19LHsidHlwZSI6Im9wdGlvbnMiLCJpZCI6InBhZ2VBc05ld1F1
    ZXJ5IiwidmFsdWUiOnRydWUsImFkZGl0aW9uYWwiOnsia2VlcFF1ZXJ5TGV2ZWwi
    OjB9fSx7InR5cGUiOiJjdXN0b21SZXN1bHQiLCJyZXN1bHQiOiJkYXRhIiwicmVn
    ZXgiOiJhY3Rpb24tc2hvdy1udW1iZXIuKz9ocmVmPVwiKC4rPylcIiIsInJlZ2V4
    VHlwZSI6InMiLCJyZXN1bHRUeXBlIjoiZmxhdCIsImFycmF5TmFtZSI6IiIsInJl
    c3VsdHMiOlsicGhvbmVsaW5rIl19LHsidHlwZSI6ImN1c3RvbVJlc3VsdCIsInJl
    c3VsdCI6ImRhdGEiLCJyZWdleCI6IjxoZWFkZXIgY2xhc3M9XCJzaW5nbGUtaXRl
    bS1oZWFkZXIgYi13aXRoLXBhZGRpbmdcIj5cXHMqKC4rPylcXHMqPFxcL2hlYWRl
    cj4iLCJyZWdleFR5cGUiOiIiLCJyZXN1bHRUeXBlIjoiZmxhdCIsImFycmF5TmFt
    ZSI6IiIsInJlc3VsdHMiOlsiaGVhZGVyIl19LHsidHlwZSI6ImN1c3RvbVJlc3Vs
    dCIsInJlc3VsdCI6ImRhdGEiLCJyZWdleCI6IjxkaXYgY2xhc3M9XCJwZXJzb24t
    bmFtZVwiPlxccyooLis/KVxccyo8XFwvZGl2PiIsInJlZ2V4VHlwZSI6InMiLCJy
    ZXN1bHRUeXBlIjoiZmxhdCIsImFycmF5TmFtZSI6IiIsInJlc3VsdHMiOlsibmFt
    ZSJdfSx7InR5cGUiOiJjdXN0b21SZXN1bHQiLCJyZXN1bHQiOiJkYXRhIiwicmVn
    ZXgiOiI8c3BhbiBjbGFzcz1cImF2aXRvLWFkZHJlc3MtdGV4dFwiPlxccyooLis/
    KVxccyo8XFwvc3Bhbj4iLCJyZWdleFR5cGUiOiIiLCJyZXN1bHRUeXBlIjoiZmxh
    dCIsImFycmF5TmFtZSI6IiIsInJlc3VsdHMiOlsiYWRkcmVzcyJdfSx7InR5cGUi
    OiJjdXN0b21SZXN1bHQiLCJyZXN1bHQiOiJkYXRhIiwicmVnZXgiOiI8c3BhbiBj
    bGFzcz1cInByaWNlLXZhbHVlXCI+XFxzKiguKz8pXFxzKjxcXC9zcGFuPiIsInJl
    Z2V4VHlwZSI6IiIsInJlc3VsdFR5cGUiOiJmbGF0IiwiYXJyYXlOYW1lIjoiIiwi
    cmVzdWx0cyI6WyJwcmljZSJdfSx7InR5cGUiOiJvdmVycmlkZSIsImlkIjoicHJv
    eHlyZXRyaWVzIiwidmFsdWUiOiIxMDAifSx7InR5cGUiOiJvcHRpb25zIiwiaWQi
    OiJjaGVja0NvbnRlbnQiLCJ2YWx1ZSI6ImItaXRlbSBqcy1jYXRhbG9nLWl0ZW0t
    ZW51bXxhY3Rpb24tc2hvdy1udW1iZXJ8e1wicGhvbmVcIjoiLCJhZGRpdGlvbmFs
    Ijp7ImNoZWNrQ29udGVudE1hdGNoVHlwZSI6MX19XV0sInJlc3VsdHNGb3JtYXQi
    OiJbJSBJRiBxdWVyeS5sdmwgPT0gMDtcblx0Rk9SRUFDSCBwMS5pdGVtcztcblx0
    XHR0b29scy5xdWVyeS5hZGQoJ2h0dHBzOi8vbS5hdml0by5ydScgXyBsaW5rKTtc
    blx0RU5EO1xuRU5EO1xuXG5JRiBxdWVyeS5sdmwgPT0gMSAmJiBwMS5waG9uZWxp
    bmsgIT0gJ25vbmUnO1xuXHRmdWxscGhvbmVsaW5rID0gJ2h0dHBzOi8vbS5hdml0
    by5ydScgXyBwMS5waG9uZWxpbmsgXyAnP2FzeW5jJztcdFx0XG5cdHJlc3VsdHMu
    JGZ1bGxwaG9uZWxpbmsuaGVhZGVyID0gcDEuaGVhZGVyO1xuXHRyZXN1bHRzLiRm
    dWxscGhvbmVsaW5rLm5hbWUgPSBwMS5uYW1lO1xuXHRyZXN1bHRzLiRmdWxscGhv
    bmVsaW5rLmFkZHJlc3MgPSBwMS5hZGRyZXNzO1xuXHRyZXN1bHRzLiRmdWxscGhv
    bmVsaW5rLnByaWNlID0gcDEucHJpY2U7XG5cdHJlc3VsdHMuJGZ1bGxwaG9uZWxp
    bmsubGluayA9IHF1ZXJ5O1xuXHR0b29scy5xdWVyeS5hZGQoZnVsbHBob25lbGlu
    ayk7XG5FTkQ7XG5cbklGIHF1ZXJ5Lmx2bCA9PSAyO1xuXHRqc29uID0gdG9vbHMu
    cGFyc2VKU09OKHAxLmRhdGEpO1xuXHQnXCInIF8gcmVzdWx0cy4kcXVlcnkuaGVh
    ZGVyIF8gJ1wiO1wiJyBfIGpzb24ucGhvbmUgXyAnXCI7XCInIF8gcmVzdWx0cy4k
    cXVlcnkubmFtZSBfICdcIjtcIicgXyByZXN1bHRzLiRxdWVyeS5hZGRyZXNzIF8g
    J1wiO1wiJyBfIHJlc3VsdHMuJHF1ZXJ5LnByaWNlIF8gJ1wiO1wiJyBfIHJlc3Vs
    dHMuJHF1ZXJ5LmxpbmsgXyAnXCInIF8gXCJcXG5cIjtcblx0cmVzdWx0cy5kZWxl
    dGUocXVlcnkpO1xuRU5EICVdIiwicmVzdWx0c1NhdmVUbyI6ImZpbGUiLCJyZXN1
    bHRzRmlsZU5hbWUiOiJBdml0by8kcDEuY2l0eS8ke3AxLmNhdGVnb3J5fS5jc3Yi
    LCJhZGRpdGlvbmFsRm9ybWF0cyI6W10sInJlc3VsdHNVbmlxdWUiOiJzdHJpbmci
    LCJxdWVyeUZvcm1hdCI6WyIkcXVlcnkiXSwidW5pcXVlUXVlcmllcyI6dHJ1ZSwi
    c2F2ZUZhaWxlZFF1ZXJpZXMiOmZhbHNlLCJpdGVyYXRvck9wdGlvbnMiOnsib25B
    bGxMZXZlbHMiOmZhbHNlLCJxdWVyeUJ1aWxkZXJzQWZ0ZXJJdGVyYXRvciI6ZmFs
    c2UsInF1ZXJ5QnVpbGRlcnNPbkFsbExldmVscyI6ZmFsc2V9LCJyZXN1bHRzT3B0
    aW9ucyI6eyJvdmVyd3JpdGUiOmZhbHNlfSwiZG9Mb2ciOiJubyIsImtlZXBVbmlx
    dWUiOiJObyIsIm1vcmVPcHRpb25zIjp0cnVlLCJyZXN1bHRzUHJlcGVuZCI6Ilwi
    XHUwNDFkXHUwNDMwXHUwNDM4XHUwNDNjXHUwNDM1XHUwNDNkXHUwNDNlXHUwNDMy
    XHUwNDMwXHUwNDNkXHUwNDM4XHUwNDM1XCI7XCJcdTA0MjJcdTA0MzVcdTA0M2Jc
    dTA0MzVcdTA0NDRcdTA0M2VcdTA0M2RcIjtcIlx1MDQxOFx1MDQzY1x1MDQ0Zlwi
    O1wiXHUwNDFiXHUwNDNlXHUwNDNhXHUwNDMwXHUwNDQ2XHUwNDM4XHUwNDRmXCI7
    XCJcdTA0MjZcdTA0MzVcdTA0M2RcdTA0MzBcIjtcIlx1MDQyMVx1MDQ0MVx1MDQ0
    Ylx1MDQzYlx1MDQzYVx1MDQzMFwiXG4iLCJyZXN1bHRzQXBwZW5kIjoiIiwicXVl
    cnlCdWlsZGVycyI6W10sInJlc3VsdHNCdWlsZGVycyI6W3sic291cmNlIjpbMCwi
    aGVhZGVyIl0sInR5cGUiOiJkZWNvZGVIdG1sIiwidG8iOiJoZWFkZXIifSx7InNv
    dXJjZSI6WzAsImhlYWRlciJdLCJ0eXBlIjoic3RyaW5nUmVwbGFjZSIsInNlYXJj
    aCI6IlwiIiwicmVwbGFjZSI6IicnIiwidG8iOiJoZWFkZXIifSx7InNvdXJjZSI6
    WzAsImhlYWRlciJdLCJ0eXBlIjoicmVtb3ZlSHRtbCIsInRvIjoiaGVhZGVyIn0s
    eyJzb3VyY2UiOlswLCJwcmljZSJdLCJ0eXBlIjoiZGVjb2RlSHRtbCIsInRvIjoi
    cHJpY2UifSx7InNvdXJjZSI6WzAsInF1ZXJ5LmZpcnN0Il0sInR5cGUiOiJyZWdl
    eCIsInJlZ2V4IjoiYXZpdG9cXC5ydVxcLygoPzpcXHd8LSkrKSg/OlxcLygoPzpc
    XHd8LSkrKSk/IiwicmVnZXhUeXBlIjoiaSIsInRvIjpbImNpdHkiLCJjYXRlZ29y
    eSJdfSx7InNvdXJjZSI6WzAsImNhdGVnb3J5Il0sInR5cGUiOiJyZWdleFJlcGxh
    Y2UiLCJyZWdleCI6Il5ub25lJCIsInJlZ2V4VHlwZSI6bnVsbCwicmVwbGFjZSI6
    ImFsbF9jYXRlZ29yaWVzIiwidG8iOiJjYXRlZ29yeSJ9LHsic291cmNlIjpbMCwi
    bmFtZSJdLCJ0eXBlIjoiZGVjb2RlSHRtbCIsInRvIjoibmFtZSJ9LHsic291cmNl
    IjpbMCwibmFtZSJdLCJ0eXBlIjoicmVtb3ZlSHRtbCIsInRvIjoibmFtZSJ9LHsi
    c291cmNlIjpbMCwibmFtZSJdLCJ0eXBlIjoicmVnZXhSZXBsYWNlIiwicmVnZXgi
    OiJcXHMrJHxcXG58XFxyIiwicmVnZXhUeXBlIjoiZyIsInJlcGxhY2UiOiIiLCJ0
    byI6Im5hbWUifSx7InNvdXJjZSI6WzAsIm5hbWUiXSwidHlwZSI6InJlZ2V4UmVw
    bGFjZSIsInJlZ2V4IjoiXFxzezIsfSIsInJlZ2V4VHlwZSI6ImciLCJyZXBsYWNl
    IjoiICIsInRvIjoibmFtZSJ9XSwiY29uZmlnT3ZlcnJpZGVzIjpbXSwicnVuVGFz
    a09uQ29tcGxldGUiOm51bGwsInVzZVJlc3VsdHNGaWxlQXNRdWVyaWVzRmlsZSI6
    ZmFsc2UsInJ1blRhc2tPbkNvbXBsZXRlQ29uZmlnIjoiZGVmYXVsdCIsInRvb2xz
    SlMiOiIifX0=
     
    subzero нравится это.
  8. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.347
    Симпатии:
    2.096
    Обновление
    • В связи с изменением выдачи исправлен парсинг имени
    Код:
    eyJwcmVzZXQiOiJtLmF2aXRvIG5ldyIsInZhbHVlIjp7InByZXNldCI6Im0uYXZp
    dG8gbmV3IiwicGFyc2VycyI6W1siTmV0OjpIVFRQIiwiZGVmYXVsdCIseyJ0eXBl
    Ijoib3ZlcnJpZGUiLCJpZCI6Imdvb2RDb2RlIiwidmFsdWUiOlsyMDBdfSx7InR5
    cGUiOiJjdXN0b21SZXN1bHQiLCJyZXN1bHQiOlsicGFnZXMiLCJkYXRhIl0sInJl
    Z2V4IjoiYi1pdGVtIGpzLWNhdGFsb2ctaXRlbS1lbnVtLis/aHJlZj1cIiguKz8p
    XCIiLCJyZWdleFR5cGUiOiJzZyIsInJlc3VsdFR5cGUiOiJhcnJheSIsImFycmF5
    TmFtZSI6Iml0ZW1zIiwicmVzdWx0cyI6WyJsaW5rIl19LHsidHlwZSI6Im9wdGlv
    bnMiLCJpZCI6ImNoZWNrTmV4dFBhZ2UiLCJ2YWx1ZSI6ImItaXRlbSBqcy1jYXRh
    bG9nLWl0ZW0tZW51bSg/Olxccyp8LispKzx1bCBjbGFzcz1cInBhZ2VzLXdyYXBw
    ZXJcIj4oPzpcXHMqfC4rPykrPzxsaSBjbGFzcz1cInBhZ2UgcGFnZS1uZXh0XCI+
    IDxhIGhyZWY9XCIoLis/KVwiIiwiYWRkaXRpb25hbCI6eyJjaGVja05leHRQYWdl
    TGltaXQiOiIwIn19LHsidHlwZSI6Im9wdGlvbnMiLCJpZCI6InBhZ2VBc05ld1F1
    ZXJ5IiwidmFsdWUiOnRydWUsImFkZGl0aW9uYWwiOnsia2VlcFF1ZXJ5TGV2ZWwi
    OjB9fSx7InR5cGUiOiJjdXN0b21SZXN1bHQiLCJyZXN1bHQiOiJkYXRhIiwicmVn
    ZXgiOiJhY3Rpb24tc2hvdy1udW1iZXIuKz9ocmVmPVwiKC4rPylcIiIsInJlZ2V4
    VHlwZSI6InMiLCJyZXN1bHRUeXBlIjoiZmxhdCIsImFycmF5TmFtZSI6IiIsInJl
    c3VsdHMiOlsicGhvbmVsaW5rIl19LHsidHlwZSI6ImN1c3RvbVJlc3VsdCIsInJl
    c3VsdCI6ImRhdGEiLCJyZWdleCI6IjxoZWFkZXIgY2xhc3M9XCJzaW5nbGUtaXRl
    bS1oZWFkZXIgYi13aXRoLXBhZGRpbmdcIj5cXHMqKC4rPylcXHMqPFxcL2hlYWRl
    cj4iLCJyZWdleFR5cGUiOiIiLCJyZXN1bHRUeXBlIjoiZmxhdCIsImFycmF5TmFt
    ZSI6IiIsInJlc3VsdHMiOlsiaGVhZGVyIl19LHsidHlwZSI6ImN1c3RvbVJlc3Vs
    dCIsInJlc3VsdCI6ImRhdGEiLCJyZWdleCI6IjxkaXYgY2xhc3M9XCJwZXJzb24t
    bmFtZVteXCJdKlwiPlxccyooLis/KVxccyo8XFwvZGl2PiIsInJlZ2V4VHlwZSI6
    InMiLCJyZXN1bHRUeXBlIjoiZmxhdCIsImFycmF5TmFtZSI6IiIsInJlc3VsdHMi
    OlsibmFtZSJdfSx7InR5cGUiOiJjdXN0b21SZXN1bHQiLCJyZXN1bHQiOiJkYXRh
    IiwicmVnZXgiOiI8c3BhbiBjbGFzcz1cImF2aXRvLWFkZHJlc3MtdGV4dFwiPlxc
    cyooLis/KVxccyo8XFwvc3Bhbj4iLCJyZWdleFR5cGUiOiIiLCJyZXN1bHRUeXBl
    IjoiZmxhdCIsImFycmF5TmFtZSI6IiIsInJlc3VsdHMiOlsiYWRkcmVzcyJdfSx7
    InR5cGUiOiJjdXN0b21SZXN1bHQiLCJyZXN1bHQiOiJkYXRhIiwicmVnZXgiOiI8
    c3BhbiBjbGFzcz1cInByaWNlLXZhbHVlXCI+XFxzKiguKz8pXFxzKjxcXC9zcGFu
    PiIsInJlZ2V4VHlwZSI6IiIsInJlc3VsdFR5cGUiOiJmbGF0IiwiYXJyYXlOYW1l
    IjoiIiwicmVzdWx0cyI6WyJwcmljZSJdfSx7InR5cGUiOiJvdmVycmlkZSIsImlk
    IjoicHJveHlyZXRyaWVzIiwidmFsdWUiOiIxMDAifSx7InR5cGUiOiJvcHRpb25z
    IiwiaWQiOiJjaGVja0NvbnRlbnQiLCJ2YWx1ZSI6ImItaXRlbSBqcy1jYXRhbG9n
    LWl0ZW0tZW51bXxhY3Rpb24tc2hvdy1udW1iZXJ8e1wicGhvbmVcIjoiLCJhZGRp
    dGlvbmFsIjp7ImNoZWNrQ29udGVudE1hdGNoVHlwZSI6MX19XV0sInJlc3VsdHNG
    b3JtYXQiOiJbJSBJRiBxdWVyeS5sdmwgPT0gMDtcblx0Rk9SRUFDSCBwMS5pdGVt
    cztcblx0XHR0b29scy5xdWVyeS5hZGQoJ2h0dHBzOi8vbS5hdml0by5ydScgXyBs
    aW5rKTtcblx0RU5EO1xuRU5EO1xuXG5JRiBxdWVyeS5sdmwgPT0gMSAmJiBwMS5w
    aG9uZWxpbmsgIT0gJ25vbmUnO1xuXHRmdWxscGhvbmVsaW5rID0gJ2h0dHBzOi8v
    bS5hdml0by5ydScgXyBwMS5waG9uZWxpbmsgXyAnP2FzeW5jJztcdFx0XG5cdHJl
    c3VsdHMuJGZ1bGxwaG9uZWxpbmsuaGVhZGVyID0gcDEuaGVhZGVyO1xuXHRyZXN1
    bHRzLiRmdWxscGhvbmVsaW5rLm5hbWUgPSBwMS5uYW1lO1xuXHRyZXN1bHRzLiRm
    dWxscGhvbmVsaW5rLmFkZHJlc3MgPSBwMS5hZGRyZXNzO1xuXHRyZXN1bHRzLiRm
    dWxscGhvbmVsaW5rLnByaWNlID0gcDEucHJpY2U7XG5cdHJlc3VsdHMuJGZ1bGxw
    aG9uZWxpbmsubGluayA9IHF1ZXJ5O1xuXHR0b29scy5xdWVyeS5hZGQoZnVsbHBo
    b25lbGluayk7XG5FTkQ7XG5cbklGIHF1ZXJ5Lmx2bCA9PSAyO1xuXHRqc29uID0g
    dG9vbHMucGFyc2VKU09OKHAxLmRhdGEpO1xuXHQnXCInIF8gcmVzdWx0cy4kcXVl
    cnkuaGVhZGVyIF8gJ1wiO1wiJyBfIGpzb24ucGhvbmUgXyAnXCI7XCInIF8gcmVz
    dWx0cy4kcXVlcnkubmFtZSBfICdcIjtcIicgXyByZXN1bHRzLiRxdWVyeS5hZGRy
    ZXNzIF8gJ1wiO1wiJyBfIHJlc3VsdHMuJHF1ZXJ5LnByaWNlIF8gJ1wiO1wiJyBf
    IHJlc3VsdHMuJHF1ZXJ5LmxpbmsgXyAnXCInIF8gXCJcXG5cIjtcblx0cmVzdWx0
    cy5kZWxldGUocXVlcnkpO1xuRU5EICVdIiwicmVzdWx0c1NhdmVUbyI6ImZpbGUi
    LCJyZXN1bHRzRmlsZU5hbWUiOiJBdml0by8kcDEuY2l0eS8ke3AxLmNhdGVnb3J5
    fS5jc3YiLCJhZGRpdGlvbmFsRm9ybWF0cyI6W10sInJlc3VsdHNVbmlxdWUiOiJz
    dHJpbmciLCJxdWVyeUZvcm1hdCI6WyIkcXVlcnkiXSwidW5pcXVlUXVlcmllcyI6
    dHJ1ZSwic2F2ZUZhaWxlZFF1ZXJpZXMiOmZhbHNlLCJpdGVyYXRvck9wdGlvbnMi
    Onsib25BbGxMZXZlbHMiOmZhbHNlLCJxdWVyeUJ1aWxkZXJzQWZ0ZXJJdGVyYXRv
    ciI6ZmFsc2UsInF1ZXJ5QnVpbGRlcnNPbkFsbExldmVscyI6ZmFsc2V9LCJyZXN1
    bHRzT3B0aW9ucyI6eyJvdmVyd3JpdGUiOmZhbHNlfSwiZG9Mb2ciOiJubyIsImtl
    ZXBVbmlxdWUiOiJObyIsIm1vcmVPcHRpb25zIjp0cnVlLCJyZXN1bHRzUHJlcGVu
    ZCI6IlwiXHUwNDFkXHUwNDMwXHUwNDM4XHUwNDNjXHUwNDM1XHUwNDNkXHUwNDNl
    XHUwNDMyXHUwNDMwXHUwNDNkXHUwNDM4XHUwNDM1XCI7XCJcdTA0MjJcdTA0MzVc
    dTA0M2JcdTA0MzVcdTA0NDRcdTA0M2VcdTA0M2RcIjtcIlx1MDQxOFx1MDQzY1x1
    MDQ0ZlwiO1wiXHUwNDFiXHUwNDNlXHUwNDNhXHUwNDMwXHUwNDQ2XHUwNDM4XHUw
    NDRmXCI7XCJcdTA0MjZcdTA0MzVcdTA0M2RcdTA0MzBcIjtcIlx1MDQyMVx1MDQ0
    MVx1MDQ0Ylx1MDQzYlx1MDQzYVx1MDQzMFwiXG4iLCJyZXN1bHRzQXBwZW5kIjoi
    IiwicXVlcnlCdWlsZGVycyI6W10sInJlc3VsdHNCdWlsZGVycyI6W3sic291cmNl
    IjpbMCwiaGVhZGVyIl0sInR5cGUiOiJkZWNvZGVIdG1sIiwidG8iOiJoZWFkZXIi
    fSx7InNvdXJjZSI6WzAsImhlYWRlciJdLCJ0eXBlIjoic3RyaW5nUmVwbGFjZSIs
    InNlYXJjaCI6IlwiIiwicmVwbGFjZSI6IicnIiwidG8iOiJoZWFkZXIifSx7InNv
    dXJjZSI6WzAsImhlYWRlciJdLCJ0eXBlIjoicmVtb3ZlSHRtbCIsInRvIjoiaGVh
    ZGVyIn0seyJzb3VyY2UiOlswLCJwcmljZSJdLCJ0eXBlIjoiZGVjb2RlSHRtbCIs
    InRvIjoicHJpY2UifSx7InNvdXJjZSI6WzAsInF1ZXJ5LmZpcnN0Il0sInR5cGUi
    OiJyZWdleCIsInJlZ2V4IjoiYXZpdG9cXC5ydVxcLygoPzpcXHd8LSkrKSg/Olxc
    LygoPzpcXHd8LSkrKSk/IiwicmVnZXhUeXBlIjoiaSIsInRvIjpbImNpdHkiLCJj
    YXRlZ29yeSJdfSx7InNvdXJjZSI6WzAsImNhdGVnb3J5Il0sInR5cGUiOiJyZWdl
    eFJlcGxhY2UiLCJyZWdleCI6Il5ub25lJCIsInJlZ2V4VHlwZSI6bnVsbCwicmVw
    bGFjZSI6ImFsbF9jYXRlZ29yaWVzIiwidG8iOiJjYXRlZ29yeSJ9LHsic291cmNl
    IjpbMCwibmFtZSJdLCJ0eXBlIjoiZGVjb2RlSHRtbCIsInRvIjoibmFtZSJ9LHsi
    c291cmNlIjpbMCwibmFtZSJdLCJ0eXBlIjoicmVtb3ZlSHRtbCIsInRvIjoibmFt
    ZSJ9LHsic291cmNlIjpbMCwibmFtZSJdLCJ0eXBlIjoicmVnZXhSZXBsYWNlIiwi
    cmVnZXgiOiJcXHMrJHxcXG58XFxyIiwicmVnZXhUeXBlIjoiZyIsInJlcGxhY2Ui
    OiIiLCJ0byI6Im5hbWUifSx7InNvdXJjZSI6WzAsIm5hbWUiXSwidHlwZSI6InJl
    Z2V4UmVwbGFjZSIsInJlZ2V4IjoiXFxzezIsfSIsInJlZ2V4VHlwZSI6ImciLCJy
    ZXBsYWNlIjoiICIsInRvIjoibmFtZSJ9XSwiY29uZmlnT3ZlcnJpZGVzIjpbXSwi
    cnVuVGFza09uQ29tcGxldGUiOm51bGwsInVzZVJlc3VsdHNGaWxlQXNRdWVyaWVz
    RmlsZSI6ZmFsc2UsInJ1blRhc2tPbkNvbXBsZXRlQ29uZmlnIjoiZGVmYXVsdCIs
    InRvb2xzSlMiOiIifX0=
     
    rumos нравится это.
  9. slum

    slum New Member

    Регистрация:
    29 сен 2016
    Сообщения:
    1
    Симпатии:
    0
    Всем привет. Где можно программу скачать ? Что-то ни одной ссылки
     
  10. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.347
    Симпатии:
    2.096
    http://a-parser.com/pages/buy/
     
  11. Apalon

    Apalon A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    31 июл 2015
    Сообщения:
    20
    Симпатии:
    2
    Zdrasti kajeta vi stavili sparsenuiu s avito bazu dlea scaiciki ana isio esti na forume ?
     
  12. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.347
    Симпатии:
    2.096
    Нет, по Авито никаких баз не выкладывалось.
     
  13. Seor

    Seor New Member

    Регистрация:
    27 окт 2016
    Сообщения:
    2
    Симпатии:
    0
    а для сбора данных резюме нужно будет покупать платный аккаунт Авито?
     
  14. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.347
    Симпатии:
    2.096
    Нет, в пресете не предусмотрено использование аккаунтов, кроме этого и так все отлично парсится:
    [​IMG]
     
  15. Seor

    Seor New Member

    Регистрация:
    27 окт 2016
    Сообщения:
    2
    Симпатии:
    0
    сколько стоит парсер по авито? или он в парсер вшит?
     
  16. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.347
    Симпатии:
    2.096
    Парсер Авито не входит в стандартную комплектацию А-Парсера, мы не занимаемся его поддержкой и не гарантируем постоянную работоспособность. Пресет на форуме выложен в качестве примера для демонстрации возможностей и с целью обучить составлять аналогичные пресеты.

    При наличии лицензии на А-Парсер вы можете свободно использовать данный пресет (как и любой другой) и модифицировать его как угодно.
     
  17. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    Для работы пресета нужен A-Parser Pro или A-Parser Enterprise
     
  18. baksbanny

    baksbanny A-Parser Pro License
    A-Parser Pro

    Регистрация:
    26 фев 2016
    Сообщения:
    6
    Симпатии:
    0
    почему у меня парсит до 2к обьявлений?или же у них стоят ограничения?
     
  19. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.347
    Симпатии:
    2.096
    Да, там ограничение, если не ошибаюсь, 100 страниц
     
  20. baksbanny

    baksbanny A-Parser Pro License
    A-Parser Pro

    Регистрация:
    26 фев 2016
    Сообщения:
    6
    Симпатии:
    0
    т.е спарсить более 2к обьявлений нельзя ?верно?
     

Поделиться этой страницей