Парсер Парсим базу мобильных телефонов на примере olx.ua 4.0

Забегая наперед, сразу скажу, что все написанное ниже - исключительно для демонстрации возможностей А-парсера, и не предназначено для использования в каких-либо противоправных целях. База телефонов, полученная в итоге может быть задействованная в маркетинговых целях, но не должна быть использована для других действий, нарушающих законодательство или личное пространство владельцев номеров.

В данной статье будет рассмотрен пример парсинга сайта бесплатных обьявлений olx.ua. База будет содержать в основном номера украинских мобильных операторов. Данный ресурс был выбран из-за того, что он содержит довольно большую базу обьявлений с номерами телефонов, которые находятся в относительно открытом доступе.

Шаг первый - детальный анализ сайта.
Используя Инструменты разработчика из Google Chrome, анализируем сайт.


Как и на других подобных сайтах, здесь есть категории.


В каждой категории есть еще подкатегории, но нам достаточно и самих категорий. В каждой категории максимум может быть до 500 стр * 50 об = 25 000 обьявлений.


И в каждом обьявлении теоретически может быть телефон, который скрыт, но при нажатии кнопки "Показать" он отображается.


Из этого определяем порядок действий. Сначала нужно получить ссылки на каждую подкатегорию. Потом нужно получить ссылки на каждое обьявление из каждой подкатегории. И потом в каждом обьявлении спарсить нужную информацию, включая телефон.

С получением ссылок проблем не должно быть. Равно как и с парсингом информации из обьявлений. Кроме телефона, ведь он скрыт. Чтобы его как-то получить, воспользуемся возможностями Chrome, и посмотрим как происходит показ телефона.

На скрине выше мы видим, что есть некий скрипт, который, используя ID обьявления из ссылки, возвращает номер телефона в JSON. Скажу сразу, что телефонов может быть несколько, и тогда в ответе будет массив.

Ну вроде все что нужно у нас есть, приступим к непосредственно парсингу.

Шаг второй - парсинг.
Как мы выше определили, нужно получить список ссылок на категории. Для этого воспользуемся парсером HTML::LinkExtractor.

Спойлер: Код для импорта

Код:

eyJwcmVzZXQiOiJkZWZhdWx0IiwidmFsdWUiOnsicHJlc2V0IjoiZGVmYXVsdCIs
InBhcnNlcnMiOltbIkhUTUw6OkxpbmtFeHRyYWN0b3IiLCJkZWZhdWx0Iix7InR5
cGUiOiJvdmVycmlkZSIsImlkIjoicmVjdXJzZSIsInZhbHVlIjoiMiJ9LHsidHlw
ZSI6Im92ZXJyaWRlIiwiaWQiOiJzdWJEb21haW5zIiwidmFsdWUiOnRydWV9LHsi
dHlwZSI6Im92ZXJyaWRlIiwiaWQiOiJ1c2VyLWFnZW50IiwidmFsdWUiOiIkdG9v
bHMudWEucmFuZG9tKCkifSx7InR5cGUiOiJvdmVycmlkZSIsImlkIjoiZm9ybWF0
cmVzdWx0IiwidmFsdWUiOiIkaW50bGlua3MuZm9ybWF0KCckbGlua1xcbicpIn1d
XSwicmVzdWx0c0Zvcm1hdCI6IiRwMS5wcmVzZXQiLCJyZXN1bHRzU2F2ZVRvIjoi
ZmlsZSIsInJlc3VsdHNGaWxlTmFtZSI6Ik9MWC9saW5rcy50eHQiLCJhZGRpdGlv
bmFsRm9ybWF0cyI6W10sInJlc3VsdHNVbmlxdWUiOiJzdHJpbmciLCJxdWVyeUZv
cm1hdCI6WyIkcXVlcnkiXSwidW5pcXVlUXVlcmllcyI6ZmFsc2UsInNhdmVGYWls
ZWRRdWVyaWVzIjpmYWxzZSwiaXRlcmF0b3JPcHRpb25zIjp7Im9uQWxsTGV2ZWxz
IjpmYWxzZSwicXVlcnlCdWlsZGVyc0FmdGVySXRlcmF0b3IiOmZhbHNlfSwicmVz
dWx0c09wdGlvbnMiOnsib3ZlcndyaXRlIjpmYWxzZX0sImRvTG9nIjoibm8iLCJr
ZWVwVW5pcXVlIjoiTm8iLCJtb3JlT3B0aW9ucyI6ZmFsc2UsInJlc3VsdHNQcmVw
ZW5kIjoiIiwicmVzdWx0c0FwcGVuZCI6IiIsInF1ZXJ5QnVpbGRlcnMiOltdLCJy
ZXN1bHRzQnVpbGRlcnMiOltdLCJjb25maWdPdmVycmlkZXMiOltdfX0=

Примечание: на данном сайте используется проверка User agent, есть редиректы и много поддоменов. Для того чтобы это все учесть, используем настройки как на скрине выше. В результат выводим только ссылки.
В полученном файле вручную, с помощью любого текстового редактора удаляем ненужные ссылки и оставляем только ссылки на категории. Получаем вот такой список:

Далее парсим из полученных ссылок все ссылки на обьявления. Не забываем, что в каждой категории может быть до 500 страниц, поэтому используем макрос подстановок. Также включаем уникализацию, чтобы избежать повторов и фильтруем только нужные ссылки.

Спойлер: Код для импорта

Код:

eyJwcmVzZXQiOiJvbHgiLCJ2YWx1ZSI6eyJwcmVzZXQiOiJvbHgiLCJwYXJzZXJz
IjpbWyJIVE1MOjpMaW5rRXh0cmFjdG9yIiwiZGVmYXVsdCIseyJ0eXBlIjoib3Zl
cnJpZGUiLCJpZCI6InN1YkRvbWFpbnMiLCJ2YWx1ZSI6dHJ1ZX0seyJ0eXBlIjoi
b3ZlcnJpZGUiLCJpZCI6ImZvcm1hdHJlc3VsdCIsInZhbHVlIjoiJGludGxpbmtz
LmZvcm1hdCgnJGxpbmtcXG4nKSJ9LHsidHlwZSI6ImZpbHRlciIsInJlc3VsdCI6
WyJpbnRsaW5rcyIsImxpbmsiXSwiZmlsdGVyVHlwZSI6ImNvbnRhaW4iLCJ2YWx1
ZSI6Im9ieWF2bGVuaWUiLCJvcHRpb24iOiJzZW5zIn0seyJ0eXBlIjoib3ZlcnJp
ZGUiLCJpZCI6InVzZXItYWdlbnQiLCJ2YWx1ZSI6IiR0b29scy51YS5yYW5kb20o
KSJ9LHsidHlwZSI6Im92ZXJyaWRlIiwiaWQiOiJyZWN1cnNlIiwidmFsdWUiOiIy
In1dXSwicmVzdWx0c0Zvcm1hdCI6IiRwMS5wcmVzZXQiLCJyZXN1bHRzU2F2ZVRv
IjoiZmlsZSIsInJlc3VsdHNGaWxlTmFtZSI6Ik9MWC9saW5rcy50eHQiLCJhZGRp
dGlvbmFsRm9ybWF0cyI6W10sInJlc3VsdHNVbmlxdWUiOiJzdHJpbmciLCJxdWVy
eUZvcm1hdCI6WyIkcXVlcnk/cGFnZT17bnVtOjE6NTAwfSJdLCJ1bmlxdWVRdWVy
aWVzIjpmYWxzZSwic2F2ZUZhaWxlZFF1ZXJpZXMiOnRydWUsIml0ZXJhdG9yT3B0
aW9ucyI6eyJvbkFsbExldmVscyI6ZmFsc2UsInF1ZXJ5QnVpbGRlcnNBZnRlckl0
ZXJhdG9yIjpmYWxzZX0sInJlc3VsdHNPcHRpb25zIjp7Im92ZXJ3cml0ZSI6dHJ1
ZX0sImRvTG9nIjoibm8iLCJrZWVwVW5pcXVlIjoiTm8iLCJtb3JlT3B0aW9ucyI6
ZmFsc2UsInJlc3VsdHNQcmVwZW5kIjoiIiwicmVzdWx0c0FwcGVuZCI6IiIsInF1
ZXJ5QnVpbGRlcnMiOltdLCJyZXN1bHRzQnVpbGRlcnMiOltdLCJjb25maWdPdmVy
cmlkZXMiOltdfX0=

Примечание: настройки аналогичны первому заданию.

После окончания работы второго задания, мы получили файл из ссылками на обьявления. Теперь нужно спарсить телефоны и другую информацию.

Спойлер: Код для импорта

Код:

eyJwcmVzZXQiOiJvbHggLSAyIiwidmFsdWUiOnsicHJlc2V0Ijoib2x4IC0gMiIs
InBhcnNlcnMiOltbIk5ldDo6SFRUUCIsImRlZmF1bHQiLHsidHlwZSI6Im92ZXJy
aWRlIiwiaWQiOiJxdWVyeWZvcm1hdCIsInZhbHVlIjoiaHR0cDovL29seC51YS9h
amF4L21pc2MvY29udGFjdC9waG9uZS8kcXVlcnkuaWQvIn0seyJ0eXBlIjoib3Zl
cnJpZGUiLCJpZCI6ImZvcm1hdHJlc3VsdCIsInZhbHVlIjoiWyUgSUYgbnVtLjAu
dGVsMSA9PSAnbm9uZScgJV0kbnVtLmZvcm1hdCgnJHRlbDJ8JylbJSBFTFNFICVd
JG51bS5mb3JtYXQoJyR0ZWwxfCcpWyUgRU5EICVdIn0seyJ0eXBlIjoiY3VzdG9t
UmVzdWx0IiwicmVzdWx0IjoiZGF0YSIsInJlZ2V4IjoiXCJ2YWx1ZVwiOlwiKC4r
P1xcZClcIn18XCI+KC4rPyk8XFxcXFxcLyIsInJlZ2V4VHlwZSI6ImciLCJyZXN1
bHRUeXBlIjoiYXJyYXkiLCJhcnJheU5hbWUiOiJudW0iLCJyZXN1bHRzIjpbInRl
bDEiLCJ0ZWwyIl19LHsidHlwZSI6ImZpbHRlciIsInJlc3VsdCI6ImRhdGEiLCJm
aWx0ZXJUeXBlIjoibm90Y29udGFpbiIsInZhbHVlIjoiXHUwNDNkXHUwNDM1IFx1
MDQzZFx1MDQzMFx1MDQzOVx1MDQzNFx1MDQzNVx1MDQzZFx1MDQzMCIsIm9wdGlv
biI6InNlbnMifV0sWyJOZXQ6OkhUVFAiLCJkZWZhdWx0Iix7InR5cGUiOiJjdXN0
b21SZXN1bHQiLCJyZXN1bHQiOiJkYXRhIiwicmVnZXgiOiJicmt3b3JkIGxoZWln
aHQyOC4rP1xccysoLis/KVxccys8IiwicmVnZXhUeXBlIjoicyIsInJlc3VsdFR5
cGUiOiJmbGF0IiwiYXJyYXlOYW1lIjoiIiwicmVzdWx0cyI6WyJ0aXRsZSJdfSx7
InR5cGUiOiJvdmVycmlkZSIsImlkIjoiZm9ybWF0cmVzdWx0IiwidmFsdWUiOiIk
bmFtZTskdGl0bGU7JHByaWNlOyRjaXR5OyRjYXRzLmZvcm1hdCgnJGNhdDsnKSJ9
LHsidHlwZSI6Im92ZXJyaWRlIiwiaWQiOiJ1c2VyLWFnZW50IiwidmFsdWUiOiIk
dWEudG9vbHMucmFuZG9tKCkifSx7InR5cGUiOiJjdXN0b21SZXN1bHQiLCJyZXN1
bHQiOiJkYXRhIiwicmVnZXgiOiJjMmIgc21hbGxcIj5cXHMrKC4rPylcXHMrPCIs
InJlZ2V4VHlwZSI6InMiLCJyZXN1bHRUeXBlIjoiZmxhdCIsImFycmF5TmFtZSI6
IiIsInJlc3VsdHMiOlsiY2l0eSJdfSx7InR5cGUiOiJjdXN0b21SZXN1bHQiLCJy
ZXN1bHQiOiJkYXRhIiwicmVnZXgiOiJ4eHh4LWxhcmdlIG1hcmdpbnRvcDcgYmxv
Y2sgbm90LWFycmFuZ2VkXCI+KC4rPyk8IiwicmVnZXhUeXBlIjoicyIsInJlc3Vs
dFR5cGUiOiJmbGF0IiwiYXJyYXlOYW1lIjoiIiwicmVzdWx0cyI6WyJwcmljZSJd
fSx7InR5cGUiOiJjdXN0b21SZXN1bHQiLCJyZXN1bHQiOiJkYXRhIiwicmVnZXgi
OiJibG9jayBjb2xvci01IGJya3dvcmQgeHgtbGFyZ2VcIj4oLis/KTwiLCJyZWdl
eFR5cGUiOiJzIiwicmVzdWx0VHlwZSI6ImZsYXQiLCJhcnJheU5hbWUiOiIiLCJy
ZXN1bHRzIjpbIm5hbWUiXX0seyJ0eXBlIjoiY3VzdG9tUmVzdWx0IiwicmVzdWx0
IjoiZGF0YSIsInJlZ2V4IjoiJnJhcXVvOy4rP25vd3JhcFwiPjxzcGFuPiguKz8p
PFxcL3NwYW4+IiwicmVnZXhUeXBlIjoic2ciLCJyZXN1bHRUeXBlIjoiYXJyYXki
LCJhcnJheU5hbWUiOiJjYXRzIiwicmVzdWx0cyI6WyJjYXQiXX1dXSwicmVzdWx0
c0Zvcm1hdCI6IiRwMS5wcmVzZXQ7JHAyLnByZXNldFxcbiIsInJlc3VsdHNTYXZl
VG8iOiJmaWxlIiwicmVzdWx0c0ZpbGVOYW1lIjoiT0xYL2Jhc2UudHh0IiwiYWRk
aXRpb25hbEZvcm1hdHMiOltdLCJyZXN1bHRzVW5pcXVlIjoibm8iLCJxdWVyeUZv
cm1hdCI6WyIkcXVlcnkiXSwidW5pcXVlUXVlcmllcyI6ZmFsc2UsInNhdmVGYWls
ZWRRdWVyaWVzIjp0cnVlLCJpdGVyYXRvck9wdGlvbnMiOnsib25BbGxMZXZlbHMi
OmZhbHNlLCJxdWVyeUJ1aWxkZXJzQWZ0ZXJJdGVyYXRvciI6ZmFsc2V9LCJyZXN1
bHRzT3B0aW9ucyI6eyJvdmVyd3JpdGUiOnRydWV9LCJkb0xvZyI6Im5vIiwia2Vl
cFVuaXF1ZSI6Ik5vIiwibW9yZU9wdGlvbnMiOmZhbHNlLCJyZXN1bHRzUHJlcGVu
ZCI6IiIsInJlc3VsdHNBcHBlbmQiOiIiLCJxdWVyeUJ1aWxkZXJzIjpbeyJzb3Vy
Y2UiOiJxdWVyeSIsInR5cGUiOiJyZWdleCIsInJlZ2V4IjoiLUlEKC4rPylcXC4i
LCJyZWdleFR5cGUiOm51bGwsInRvIjpbImlkIl19XSwicmVzdWx0c0J1aWxkZXJz
IjpbeyJzb3VyY2UiOlswLFsibnVtIiwidGVsMSJdXSwidHlwZSI6InJlZ2V4UmVw
bGFjZSIsImFycmF5IjoibnVtIiwicmVnZXgiOiIgfC18XFwpfFxcKCIsInJlZ2V4
VHlwZSI6ImciLCJyZXBsYWNlIjoiIiwidG8iOiJ0ZWwxIn0seyJzb3VyY2UiOlsw
LFsibnVtIiwidGVsMiJdXSwidHlwZSI6InJlZ2V4UmVwbGFjZSIsImFycmF5Ijoi
bnVtIiwicmVnZXgiOiIgfC18XFwpfFxcKCIsInJlZ2V4VHlwZSI6ImciLCJyZXBs
YWNlIjoiIiwidG8iOiJ0ZWwyIn0seyJzb3VyY2UiOlswLFsibnVtIiwidGVsMSJd
XSwidHlwZSI6InJlZ2V4UmVwbGFjZSIsImFycmF5IjoibnVtIiwicmVnZXgiOiJe
MHxeMzgwIiwicmVnZXhUeXBlIjpudWxsLCJyZXBsYWNlIjoiKzM4MCIsInRvIjoi
dGVsMSJ9LHsic291cmNlIjpbMCxbIm51bSIsInRlbDIiXV0sInR5cGUiOiJyZWdl
eFJlcGxhY2UiLCJhcnJheSI6Im51bSIsInJlZ2V4IjoiXjB8XjM4MHxeODAiLCJy
ZWdleFR5cGUiOm51bGwsInJlcGxhY2UiOiIrMzgwIiwidG8iOiJ0ZWwyIn0seyJz
b3VyY2UiOlsxLCJ0aXRsZSJdLCJ0eXBlIjoicmVtb3ZlSHRtbCIsInRvIjoidGl0
bGUifSx7InNvdXJjZSI6WzEsInRpdGxlIl0sInR5cGUiOiJkZWNvZGVIdG1sIiwi
dG8iOiJ0aXRsZSJ9LHsic291cmNlIjpbMSwidGl0bGUiXSwidHlwZSI6InJlZ2V4
UmVwbGFjZSIsInJlZ2V4IjoiXHUwNDIxXHUwNDQwXHUwNDNlXHUwNDQ3XHUwNDNk
XHUwNDNlXFxzKyIsInJlZ2V4VHlwZSI6InMiLCJyZXBsYWNlIjoiIiwidG8iOiJ0
aXRsZSJ9XSwiY29uZmlnT3ZlcnJpZGVzIjpbXX19

Примечание: для парсинга дважды используется парсер Net::HTTP. Первый получает номер телефона, второй - всю остальную информацию. Для фильтрации и вывода информации в нужном виде используем ряд Конструкторов результатов, фильтры и возможности шаблонизатора Template Toolkit.

Шаг третий - обработка результата.
На выходе мы получим файл с нужной информацией, которая разделена точкой с запятой. Телефоны в свою очередь разделены символом |
В данном примере в файл выводилась следующая информация:

Рекомендую полученный файл обработать в Excell или другом табличном процессоре, т.к. там скорее всего будет содержаться еще немало ненужных, пустых или некорректных данных.
Примечание: у меня получился файл на 1,5М строк. Как оказалось, ни один из испробованных мною табличных процессоров не смог открыть такой файл. Поэтому пришлось разбивать его на несколько меньших.

Результат.
Ниже можно скачать файл - результат данной статьи. Он прилично обработан, удалены "мусорные" результаты, а также оставлены только телефоны, имена, города и категории товаров (так сказать, сфера интереса). Он пересохранен в формат xlsx, на 2 страницы.

Скачать

P.S. Вся вышеописанная работа заняла около 10 часов + около часа на очистку конечного результата.

Спойлер: Скрины работы

Все параметры и даже логику вышеописанного можно менять, тем самым увеличивая или уменьшая конечный результат. Также можно задействовать еще больше фильтров и конструкторов, чтобы уменьшить кол-во мусора в итоговом файле.

 

Вопрос не в возможностях софта, а в наличии способа обойти защиту, не прибегая к эмуляции браузера (т.к. это очень затратно по ресурсам).
Если вам известен способ обхода - поделитесь, а мы поможем с реализацией.