1. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 1500+ и мы растем!
    Скрыть объявление

Пресет Парсим базу мобильных телефонов 2.0

Детальный разбор комплексного парсинга номеров телефонов из доски объявлений

  1. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    3.127
    Симпатии:
    1.748
    Забегая наперед, сразу скажу, что все написанное ниже - исключительно для демонстрации возможностей А-парсера, и не предназначено для использования в каких-либо противоправных целях. База телефонов, полученная в итоге может быть задействованная в маркетинговых целях, но не должна быть использована для других действий, нарушающих законодательство или личное пространство владельцев номеров.

    В данной статье будет рассмотрен пример парсинга сайта бесплатных обьявлений olx.ua. База будет содержать в основном номера украинских мобильных операторов. Данный ресурс был выбран из-за того, что он содержит довольно большую базу обьявлений с номерами телефонов, которые находятся в относительно открытом доступе.

    Шаг первый - детальный анализ сайта.
    Используя Инструменты разработчика из Google Chrome, анализируем сайт.
    [​IMG]

    Как и на других подобных сайтах, здесь есть категории.
    [​IMG]

    В каждой категории есть еще подкатегории, но нам достаточно и самих категорий. В каждой категории максимум может быть до 500 стр * 50 об = 25 000 обьявлений.
    [​IMG]

    И в каждом обьявлении теоретически может быть телефон, который скрыт, но при нажатии кнопки "Показать" он отображается.
    [​IMG]

    Из этого определяем порядок действий. Сначала нужно получить ссылки на каждую подкатегорию. Потом нужно получить ссылки на каждое обьявление из каждой подкатегории. И потом в каждом обьявлении спарсить нужную информацию, включая телефон.

    С получением ссылок проблем не должно быть. Равно как и с парсингом информации из обьявлений. Кроме телефона, ведь он скрыт. Чтобы его как-то получить, воспользуемся возможностями Chrome, и посмотрим как происходит показ телефона.
    [​IMG]
    На скрине выше мы видим, что есть некий скрипт, который, используя ID обьявления из ссылки, возвращает номер телефона в JSON. Скажу сразу, что телефонов может быть несколько, и тогда в ответе будет массив.

    Ну вроде все что нужно у нас есть, приступим к непосредственно парсингу.

    Шаг второй - парсинг.
    Как мы выше определили, нужно получить список ссылок на категории. Для этого воспользуемся парсером HTML::LinkExtractor HTML::LinkExtractor.
    [​IMG]
    Код:
    eyJwcmVzZXQiOiJkZWZhdWx0IiwidmFsdWUiOnsicHJlc2V0IjoiZGVmYXVsdCIs
    InBhcnNlcnMiOltbIkhUTUw6OkxpbmtFeHRyYWN0b3IiLCJkZWZhdWx0Iix7InR5
    cGUiOiJvdmVycmlkZSIsImlkIjoicmVjdXJzZSIsInZhbHVlIjoiMiJ9LHsidHlw
    ZSI6Im92ZXJyaWRlIiwiaWQiOiJzdWJEb21haW5zIiwidmFsdWUiOnRydWV9LHsi
    dHlwZSI6Im92ZXJyaWRlIiwiaWQiOiJ1c2VyLWFnZW50IiwidmFsdWUiOiIkdG9v
    bHMudWEucmFuZG9tKCkifSx7InR5cGUiOiJvdmVycmlkZSIsImlkIjoiZm9ybWF0
    cmVzdWx0IiwidmFsdWUiOiIkaW50bGlua3MuZm9ybWF0KCckbGlua1xcbicpIn1d
    XSwicmVzdWx0c0Zvcm1hdCI6IiRwMS5wcmVzZXQiLCJyZXN1bHRzU2F2ZVRvIjoi
    ZmlsZSIsInJlc3VsdHNGaWxlTmFtZSI6Ik9MWC9saW5rcy50eHQiLCJhZGRpdGlv
    bmFsRm9ybWF0cyI6W10sInJlc3VsdHNVbmlxdWUiOiJzdHJpbmciLCJxdWVyeUZv
    cm1hdCI6WyIkcXVlcnkiXSwidW5pcXVlUXVlcmllcyI6ZmFsc2UsInNhdmVGYWls
    ZWRRdWVyaWVzIjpmYWxzZSwiaXRlcmF0b3JPcHRpb25zIjp7Im9uQWxsTGV2ZWxz
    IjpmYWxzZSwicXVlcnlCdWlsZGVyc0FmdGVySXRlcmF0b3IiOmZhbHNlfSwicmVz
    dWx0c09wdGlvbnMiOnsib3ZlcndyaXRlIjpmYWxzZX0sImRvTG9nIjoibm8iLCJr
    ZWVwVW5pcXVlIjoiTm8iLCJtb3JlT3B0aW9ucyI6ZmFsc2UsInJlc3VsdHNQcmVw
    ZW5kIjoiIiwicmVzdWx0c0FwcGVuZCI6IiIsInF1ZXJ5QnVpbGRlcnMiOltdLCJy
    ZXN1bHRzQnVpbGRlcnMiOltdLCJjb25maWdPdmVycmlkZXMiOltdfX0=
    Примечание: на данном сайте используется проверка User agent, есть редиректы и много поддоменов. Для того чтобы это все учесть, используем настройки как на скрине выше. В результат выводим только ссылки.
    В полученном файле вручную, с помощью любого текстового редактора удаляем ненужные ссылки и оставляем только ссылки на категории. Получаем вот такой список:
    Далее парсим из полученных ссылок все ссылки на обьявления. Не забываем, что в каждой категории может быть до 500 страниц, поэтому используем макрос подстановок. Также включаем уникализацию, чтобы избежать повторов и фильтруем только нужные ссылки.
    [​IMG]
    Код:
    eyJwcmVzZXQiOiJvbHgiLCJ2YWx1ZSI6eyJwcmVzZXQiOiJvbHgiLCJwYXJzZXJz
    IjpbWyJIVE1MOjpMaW5rRXh0cmFjdG9yIiwiZGVmYXVsdCIseyJ0eXBlIjoib3Zl
    cnJpZGUiLCJpZCI6InN1YkRvbWFpbnMiLCJ2YWx1ZSI6dHJ1ZX0seyJ0eXBlIjoi
    b3ZlcnJpZGUiLCJpZCI6ImZvcm1hdHJlc3VsdCIsInZhbHVlIjoiJGludGxpbmtz
    LmZvcm1hdCgnJGxpbmtcXG4nKSJ9LHsidHlwZSI6ImZpbHRlciIsInJlc3VsdCI6
    WyJpbnRsaW5rcyIsImxpbmsiXSwiZmlsdGVyVHlwZSI6ImNvbnRhaW4iLCJ2YWx1
    ZSI6Im9ieWF2bGVuaWUiLCJvcHRpb24iOiJzZW5zIn0seyJ0eXBlIjoib3ZlcnJp
    ZGUiLCJpZCI6InVzZXItYWdlbnQiLCJ2YWx1ZSI6IiR0b29scy51YS5yYW5kb20o
    KSJ9LHsidHlwZSI6Im92ZXJyaWRlIiwiaWQiOiJyZWN1cnNlIiwidmFsdWUiOiIy
    In1dXSwicmVzdWx0c0Zvcm1hdCI6IiRwMS5wcmVzZXQiLCJyZXN1bHRzU2F2ZVRv
    IjoiZmlsZSIsInJlc3VsdHNGaWxlTmFtZSI6Ik9MWC9saW5rcy50eHQiLCJhZGRp
    dGlvbmFsRm9ybWF0cyI6W10sInJlc3VsdHNVbmlxdWUiOiJzdHJpbmciLCJxdWVy
    eUZvcm1hdCI6WyIkcXVlcnk/cGFnZT17bnVtOjE6NTAwfSJdLCJ1bmlxdWVRdWVy
    aWVzIjpmYWxzZSwic2F2ZUZhaWxlZFF1ZXJpZXMiOnRydWUsIml0ZXJhdG9yT3B0
    aW9ucyI6eyJvbkFsbExldmVscyI6ZmFsc2UsInF1ZXJ5QnVpbGRlcnNBZnRlckl0
    ZXJhdG9yIjpmYWxzZX0sInJlc3VsdHNPcHRpb25zIjp7Im92ZXJ3cml0ZSI6dHJ1
    ZX0sImRvTG9nIjoibm8iLCJrZWVwVW5pcXVlIjoiTm8iLCJtb3JlT3B0aW9ucyI6
    ZmFsc2UsInJlc3VsdHNQcmVwZW5kIjoiIiwicmVzdWx0c0FwcGVuZCI6IiIsInF1
    ZXJ5QnVpbGRlcnMiOltdLCJyZXN1bHRzQnVpbGRlcnMiOltdLCJjb25maWdPdmVy
    cmlkZXMiOltdfX0=
    Примечание: настройки аналогичны первому заданию.

    После окончания работы второго задания, мы получили файл из ссылками на обьявления. Теперь нужно спарсить телефоны и другую информацию.
    [​IMG]
    Код:
    eyJwcmVzZXQiOiJvbHggLSAyIiwidmFsdWUiOnsicHJlc2V0Ijoib2x4IC0gMiIs
    InBhcnNlcnMiOltbIk5ldDo6SFRUUCIsImRlZmF1bHQiLHsidHlwZSI6Im92ZXJy
    aWRlIiwiaWQiOiJxdWVyeWZvcm1hdCIsInZhbHVlIjoiaHR0cDovL29seC51YS9h
    amF4L21pc2MvY29udGFjdC9waG9uZS8kcXVlcnkuaWQvIn0seyJ0eXBlIjoib3Zl
    cnJpZGUiLCJpZCI6ImZvcm1hdHJlc3VsdCIsInZhbHVlIjoiWyUgSUYgbnVtLjAu
    dGVsMSA9PSAnbm9uZScgJV0kbnVtLmZvcm1hdCgnJHRlbDJ8JylbJSBFTFNFICVd
    JG51bS5mb3JtYXQoJyR0ZWwxfCcpWyUgRU5EICVdIn0seyJ0eXBlIjoiY3VzdG9t
    UmVzdWx0IiwicmVzdWx0IjoiZGF0YSIsInJlZ2V4IjoiXCJ2YWx1ZVwiOlwiKC4r
    P1xcZClcIn18XCI+KC4rPyk8XFxcXFxcLyIsInJlZ2V4VHlwZSI6ImciLCJyZXN1
    bHRUeXBlIjoiYXJyYXkiLCJhcnJheU5hbWUiOiJudW0iLCJyZXN1bHRzIjpbInRl
    bDEiLCJ0ZWwyIl19LHsidHlwZSI6ImZpbHRlciIsInJlc3VsdCI6ImRhdGEiLCJm
    aWx0ZXJUeXBlIjoibm90Y29udGFpbiIsInZhbHVlIjoiXHUwNDNkXHUwNDM1IFx1
    MDQzZFx1MDQzMFx1MDQzOVx1MDQzNFx1MDQzNVx1MDQzZFx1MDQzMCIsIm9wdGlv
    biI6InNlbnMifV0sWyJOZXQ6OkhUVFAiLCJkZWZhdWx0Iix7InR5cGUiOiJjdXN0
    b21SZXN1bHQiLCJyZXN1bHQiOiJkYXRhIiwicmVnZXgiOiJicmt3b3JkIGxoZWln
    aHQyOC4rP1xccysoLis/KVxccys8IiwicmVnZXhUeXBlIjoicyIsInJlc3VsdFR5
    cGUiOiJmbGF0IiwiYXJyYXlOYW1lIjoiIiwicmVzdWx0cyI6WyJ0aXRsZSJdfSx7
    InR5cGUiOiJvdmVycmlkZSIsImlkIjoiZm9ybWF0cmVzdWx0IiwidmFsdWUiOiIk
    bmFtZTskdGl0bGU7JHByaWNlOyRjaXR5OyRjYXRzLmZvcm1hdCgnJGNhdDsnKSJ9
    LHsidHlwZSI6Im92ZXJyaWRlIiwiaWQiOiJ1c2VyLWFnZW50IiwidmFsdWUiOiIk
    dWEudG9vbHMucmFuZG9tKCkifSx7InR5cGUiOiJjdXN0b21SZXN1bHQiLCJyZXN1
    bHQiOiJkYXRhIiwicmVnZXgiOiJjMmIgc21hbGxcIj5cXHMrKC4rPylcXHMrPCIs
    InJlZ2V4VHlwZSI6InMiLCJyZXN1bHRUeXBlIjoiZmxhdCIsImFycmF5TmFtZSI6
    IiIsInJlc3VsdHMiOlsiY2l0eSJdfSx7InR5cGUiOiJjdXN0b21SZXN1bHQiLCJy
    ZXN1bHQiOiJkYXRhIiwicmVnZXgiOiJ4eHh4LWxhcmdlIG1hcmdpbnRvcDcgYmxv
    Y2sgbm90LWFycmFuZ2VkXCI+KC4rPyk8IiwicmVnZXhUeXBlIjoicyIsInJlc3Vs
    dFR5cGUiOiJmbGF0IiwiYXJyYXlOYW1lIjoiIiwicmVzdWx0cyI6WyJwcmljZSJd
    fSx7InR5cGUiOiJjdXN0b21SZXN1bHQiLCJyZXN1bHQiOiJkYXRhIiwicmVnZXgi
    OiJibG9jayBjb2xvci01IGJya3dvcmQgeHgtbGFyZ2VcIj4oLis/KTwiLCJyZWdl
    eFR5cGUiOiJzIiwicmVzdWx0VHlwZSI6ImZsYXQiLCJhcnJheU5hbWUiOiIiLCJy
    ZXN1bHRzIjpbIm5hbWUiXX0seyJ0eXBlIjoiY3VzdG9tUmVzdWx0IiwicmVzdWx0
    IjoiZGF0YSIsInJlZ2V4IjoiJnJhcXVvOy4rP25vd3JhcFwiPjxzcGFuPiguKz8p
    PFxcL3NwYW4+IiwicmVnZXhUeXBlIjoic2ciLCJyZXN1bHRUeXBlIjoiYXJyYXki
    LCJhcnJheU5hbWUiOiJjYXRzIiwicmVzdWx0cyI6WyJjYXQiXX1dXSwicmVzdWx0
    c0Zvcm1hdCI6IiRwMS5wcmVzZXQ7JHAyLnByZXNldFxcbiIsInJlc3VsdHNTYXZl
    VG8iOiJmaWxlIiwicmVzdWx0c0ZpbGVOYW1lIjoiT0xYL2Jhc2UudHh0IiwiYWRk
    aXRpb25hbEZvcm1hdHMiOltdLCJyZXN1bHRzVW5pcXVlIjoibm8iLCJxdWVyeUZv
    cm1hdCI6WyIkcXVlcnkiXSwidW5pcXVlUXVlcmllcyI6ZmFsc2UsInNhdmVGYWls
    ZWRRdWVyaWVzIjp0cnVlLCJpdGVyYXRvck9wdGlvbnMiOnsib25BbGxMZXZlbHMi
    OmZhbHNlLCJxdWVyeUJ1aWxkZXJzQWZ0ZXJJdGVyYXRvciI6ZmFsc2V9LCJyZXN1
    bHRzT3B0aW9ucyI6eyJvdmVyd3JpdGUiOnRydWV9LCJkb0xvZyI6Im5vIiwia2Vl
    cFVuaXF1ZSI6Ik5vIiwibW9yZU9wdGlvbnMiOmZhbHNlLCJyZXN1bHRzUHJlcGVu
    ZCI6IiIsInJlc3VsdHNBcHBlbmQiOiIiLCJxdWVyeUJ1aWxkZXJzIjpbeyJzb3Vy
    Y2UiOiJxdWVyeSIsInR5cGUiOiJyZWdleCIsInJlZ2V4IjoiLUlEKC4rPylcXC4i
    LCJyZWdleFR5cGUiOm51bGwsInRvIjpbImlkIl19XSwicmVzdWx0c0J1aWxkZXJz
    IjpbeyJzb3VyY2UiOlswLFsibnVtIiwidGVsMSJdXSwidHlwZSI6InJlZ2V4UmVw
    bGFjZSIsImFycmF5IjoibnVtIiwicmVnZXgiOiIgfC18XFwpfFxcKCIsInJlZ2V4
    VHlwZSI6ImciLCJyZXBsYWNlIjoiIiwidG8iOiJ0ZWwxIn0seyJzb3VyY2UiOlsw
    LFsibnVtIiwidGVsMiJdXSwidHlwZSI6InJlZ2V4UmVwbGFjZSIsImFycmF5Ijoi
    bnVtIiwicmVnZXgiOiIgfC18XFwpfFxcKCIsInJlZ2V4VHlwZSI6ImciLCJyZXBs
    YWNlIjoiIiwidG8iOiJ0ZWwyIn0seyJzb3VyY2UiOlswLFsibnVtIiwidGVsMSJd
    XSwidHlwZSI6InJlZ2V4UmVwbGFjZSIsImFycmF5IjoibnVtIiwicmVnZXgiOiJe
    MHxeMzgwIiwicmVnZXhUeXBlIjpudWxsLCJyZXBsYWNlIjoiKzM4MCIsInRvIjoi
    dGVsMSJ9LHsic291cmNlIjpbMCxbIm51bSIsInRlbDIiXV0sInR5cGUiOiJyZWdl
    eFJlcGxhY2UiLCJhcnJheSI6Im51bSIsInJlZ2V4IjoiXjB8XjM4MHxeODAiLCJy
    ZWdleFR5cGUiOm51bGwsInJlcGxhY2UiOiIrMzgwIiwidG8iOiJ0ZWwyIn0seyJz
    b3VyY2UiOlsxLCJ0aXRsZSJdLCJ0eXBlIjoicmVtb3ZlSHRtbCIsInRvIjoidGl0
    bGUifSx7InNvdXJjZSI6WzEsInRpdGxlIl0sInR5cGUiOiJkZWNvZGVIdG1sIiwi
    dG8iOiJ0aXRsZSJ9LHsic291cmNlIjpbMSwidGl0bGUiXSwidHlwZSI6InJlZ2V4
    UmVwbGFjZSIsInJlZ2V4IjoiXHUwNDIxXHUwNDQwXHUwNDNlXHUwNDQ3XHUwNDNk
    XHUwNDNlXFxzKyIsInJlZ2V4VHlwZSI6InMiLCJyZXBsYWNlIjoiIiwidG8iOiJ0
    aXRsZSJ9XSwiY29uZmlnT3ZlcnJpZGVzIjpbXX19
    Примечание: для парсинга дважды используется парсер Net::HTTP Net::HTTP. Первый получает номер телефона, второй - всю остальную информацию. Для фильтрации и вывода информации в нужном виде используем ряд Конструкторов результатов, фильтры и возможности шаблонизатора Template Toolkit.

    Шаг третий - обработка результата.
    На выходе мы получим файл с нужной информацией, которая разделена точкой с запятой. Телефоны в свою очередь разделены символом |
    В данном примере в файл выводилась следующая информация:
    Рекомендую полученный файл обработать в Excell или другом табличном процессоре, т.к. там скорее всего будет содержаться еще немало ненужных, пустых или некорректных данных.
    Примечание: у меня получился файл на 1,5М строк. Как оказалось, ни один из испробованных мною табличных процессоров не смог открыть такой файл. Поэтому пришлось разбивать его на несколько меньших.

    Результат.
    Ниже можно скачать файл - результат данной статьи. Он прилично обработан, удалены "мусорные" результаты, а также оставлены только телефоны, имена, города и категории товаров (так сказать, сфера интереса). Он пересохранен в формат xlsx, на 2 страницы.

    Скачать

    P.S. Вся вышеописанная работа заняла около 10 часов + около часа на очистку конечного результата.
    [​IMG]
    [​IMG]
    Все параметры и даже логику вышеописанного можно менять, тем самым увеличивая или уменьшая конечный результат. Также можно задействовать еще больше фильтров и конструкторов, чтобы уменьшить кол-во мусора в итоговом файле.
     
    vadim4uk, MrSlim, limoshkaa и 9 другим нравится это.
  2. Kreola

    Kreola Member

    Регистрация:
    23 июн 2013
    Сообщения:
    201
    Симпатии:
    18
    Приветствую.
    в связи с переходом на https и изменением кода, телефоны перестали обрабатываться.
    Нужно добавлять phoneToken
    подправьте пожалуйста
     
    #2 Kreola, 22 фев 2018
    Последнее редактирование: 22 фев 2018
  3. Support Денис

    Support Денис A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    12 июн 2017
    Сообщения:
    586
    Симпатии:
    180
  4. Kreola

    Kreola Member

    Регистрация:
    23 июн 2013
    Сообщения:
    201
    Симпатии:
    18
  5. Support Денис

    Support Денис A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    12 июн 2017
    Сообщения:
    586
    Симпатии:
    180
    Здравствуйте.
    Парсер разработан под парсинг olx.ua
     
  6. hAmos07

    hAmos07 A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    15 фев 2013
    Сообщения:
    10
    Симпатии:
    1
    Падает после около 7-10 минут работы. Win версия. Паршу olx.ua

    Mar 17 18:04:02.32940 [master] Reload JavaScript parser JS::OLX
    Mar 17 18:04:02.56657 [master] Start ProxyChecker A-Parser Proxy
    Mar 17 18:04:02.77867 [master] Start ProxyChecker Free Proxy
    Mar 17 18:04:08.47776 [master] A-Parser v1.2.148-windows-x64 started, tasks: 1 / 164, memory total: 19646 MB, available: 9484 MB
    Mar 17 18:08:49.97381 [master] long do events: 0.227225065231323
    Mar 17 18:09:16.63204 [master] starting task #205 threads: 100
    panic: restartop

    ==== C stack trace ===============================

    perl_get_host_info [0x000000002801B5E3+8419]
    Perl_safesysfree [0x000000002801FCC6+70]
    Perl_sv_clear [0x000000002804E64A+1466]
    Perl_sv_free [0x000000002804E838+264]
    (No symbol) [0x0000000008793719]
    (No symbol) [0x000000004234B2D8]
    (No symbol) [0x00000000428FCC48]
    (No symbol) [0x00002F1400000008]
     
  7. Support Денис

    Support Денис A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    12 июн 2017
    Сообщения:
    586
    Симпатии:
    180
    Здравствуйте
    Для более быстрого решения проблемы свяжитесь со мной по одному из этих контактов :
    telegram: @aparser2
    Skype: Денис A-Parser Support
     
    #7 Support Денис, 19 мар 2018
    Последнее редактирование модератором: 19 мар 2018
  8. Support Денис

    Support Денис A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    12 июн 2017
    Сообщения:
    586
    Симпатии:
    180
    Пользователь Support Денис обновил ресурс Парсинг базы телефонов из olx.ua новой записью:

    Исправлена ошибка, которая при некоторых запросах вызывала падение парсера.

    Узнать больше об этом обновлении...
     
  9. Support Денис

    Support Денис A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    12 июн 2017
    Сообщения:
    586
    Симпатии:
    180
    Так же рекомендуем обновиться до версии 1.2.149
     
  10. Support Денис

    Support Денис A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    12 июн 2017
    Сообщения:
    586
    Симпатии:
    180
  11. vadim4uk

    vadim4uk A-Parser Pro License
    A-Parser Pro

    Регистрация:
    12 май 2017
    Сообщения:
    32
    Симпатии:
    4
  12. Support Денис

    Support Денис A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    12 июн 2017
    Сообщения:
    586
    Симпатии:
    180
    Судя по тому что вы получили,у вас формат результата изменен, в оригинальном формате нет ;
    Пресет работает нормально.
     
    vadim4uk нравится это.
  13. vpetrom

    vpetrom A-Parser Pro License
    A-Parser Pro

    Регистрация:
    6 апр 2013
    Сообщения:
    4
    Симпатии:
    0
    ОLХ.UA поставил у себя хитрую защиту на парсинг телефонов.
    На данный момент практически нет инструментов, которые могут работать с этим ресурсом.

    Есть ли шансы, что a-parser станет флагманом в обходе этой защиты?. И когда можно это рассчитывать? (уж очень не хочется смотреть в сторону зенки. Больно она прожорливая)
     
  14. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    3.127
    Симпатии:
    1.748
    Вопрос не в возможностях софта, а в наличии способа обойти защиту, не прибегая к эмуляции браузера (т.к. это очень затратно по ресурсам).
    Если вам известен способ обхода - поделитесь, а мы поможем с реализацией.
     
    vpetrom нравится это.
  15. aquatell

    aquatell A-Parser Pro License
    A-Parser Pro

    Регистрация:
    8 ноя 2012
    Сообщения:
    148
    Симпатии:
    45
    Можете скинуть пример такой странички где есть телефон и нет возможности спарсить.
     
  16. vpetrom

    vpetrom A-Parser Pro License
    A-Parser Pro

    Регистрация:
    6 апр 2013
    Сообщения:
    4
    Симпатии:
    0
    Проблемы не в 1-й конкретной странице.

    Суть обновы сервиса в том, что когда проходишь рукам - телефоны выдает. Но как только подключаешь автоматизацию (не важно каким инструментом) после 5..6 страницы, в ответ на нажатие кнопки "показать" (телефон), сервис тупо делает релоад страницы.
     
  17. vpetrom

    vpetrom A-Parser Pro License
    A-Parser Pro

    Регистрация:
    6 апр 2013
    Сообщения:
    4
    Симпатии:
    0
    К сожалению я ума не приложу как это сделать, иначе я бы свои догадки изложил еще в первом посте (с вопросом)
     
  18. malexoid

    malexoid A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    7 сен 2015
    Сообщения:
    243
    Симпатии:
    57
    ну так прокси в помощь
     
  19. -Alexx-

    -Alexx- A-Parser Pro License
    A-Parser Pro

    Регистрация:
    11 мар 2019
    Сообщения:
    18
    Симпатии:
    1
    Добрый день. На данный момент пресет рабочий? Импортировал настройки и при тестовом парсинге телефонов выдает "none" в результатах кроме стоимости товара. Подскажите, пожалуйста, что необходимо перенастроить? Либо ОЛХ поставил очередную защиту?
     

    Вложения:

  20. -Alexx-

    -Alexx- A-Parser Pro License
    A-Parser Pro

    Регистрация:
    11 мар 2019
    Сообщения:
    18
    Симпатии:
    1

Поделиться этой страницей