Парсинг сайтов из Яндекс.Радар 1.16

[arsenkin]

Сделайте, чтобы парсил Яндекс Радар - https://radar.yandex.ru/.

 

[Support]

Имеется в виду парсинг базы всех сайтов из https://radar.yandex.ru/ или нужен сбор по запросам каких-то определенных данных оттуда? Если второе, то каких?

 

[arsenkin]

Имеется в виду парсинг базы всех сайтов из https://radar.yandex.ru/ или нужен сбор по запросам каких-то определенных данных оттуда? Если второе, то каких?

Со страницы https://radar.yandex.ru/top_list все данные, с возможностью задать свои фильтры - https://yadi.sk/i/XJ8BQa2_GxhJYA в настройках.

 

[Support]

Пользователь Support разместил новый ресурс:

Парсинг сайтов из Яндекс.Радар - Получение списка сайтов и их данных из Яндекс.Радар

Запросы

• В качестве запросов нужно указывать ссылку с необходимыми параметрами поиска, например:
  

  https://radar.yandex.ru/top_list?region=213&age=age_18_24%2Cage_25_34&month=2019-01&optin=true
  https://radar.yandex.ru/top_list?month=2020-01
  https://radar.yandex.ru/top_list?mediaholding=rbc&income=b%2Cc1&month=2020-01&optin=true

Результаты

• Парсер собирает...

Узнать больше об этом ресурсе...

 

[b7186]

В ряде случаев парсер не собирает данные о посещаемости, если он не подтверждены Яндексом.
Например, на вход подаю URL:
https://radar.yandex.ru/top_list?month=2019-03
Формат результат ставлю:
$p1.list.format('$url, $users\n')
Получаю на тесте результат:

https://vk.com, 205000000
https://yandex.ru, 324799550
https://www.google.ru, 157000000
https://mail.ru, 132000000
https://ok.ru, 129000000
https://www.youtube.com, 126000000
https://www.instagram.com, 96200000
https://yandex.ru/video, 127450050
https://www.facebook.com, 69500000
https://zen.yandex.ru, 103170100
https://www.avito.ru, 79897100
https://www.wikipedia.org,
https://news.yandex.ru, 78037850
https://yandex.ru/maps, 60364600
https://market.yandex.ru, 51766450
https://otvet.mail.ru,
https://yandex.ru/pogoda, 48496850
https://www.rambler.ru, 46593450
https://e.mail.ru,
https://www.kp.ru, 39304550
https://ria.ru, 41639600
https://www.sberbank.ru,
https://lenta.ru, 38139850
https://www.vesti.ru, 36277100
https://www.gazeta.ru, 38112350
https://www.kinopoisk.ru, 35074300
https://news.rambler.ru, 32937750
https://www.livejournal.com, 32502750
http://fb.ru, 29221850
https://yandex.ru/collections, 28896550
https://www.gismeteo.ru, 30309950
https://www.mk.ru, 28056850
https://www.aliexpress.com,
https://www.gosuslugi.ru, 30780400
https://www.rbc.ru, 28646900
https://pikabu.ru, 27603600
https://auto.ru, 28937000
https://disk.yandex.ru, 30064800
https://mail.yandex.ru, 36161250
https://music.yandex.ru, 25022100
https://www.rt.com, 24172800
http://www.aif.ru, 20451100
https://znanija.com, 21844950
http://zaycev.net,
https://irecommend.ru, 20661400
https://2gis.ru,
https://tass.ru, 18531150
https://otzovik.com,
https://www.wildberries.ru,
https://www.mvideo.ru,

У части сайтов нет данных о трафике, хотя они отображаются фактически
http://prntscr.com/rylh7k

 

[Support Ilia]

Пользователь Support Ilia обновил ресурс Парсинг сайтов из Яндекс.Радар новой записью:

Обновление 1.16. Сбор данных о посещаемости

Исправлено вывод пустого значения в $list.$i.users.
Пустое значение выводилось в случае, если позиция имела нижнее и верхнее значения в поле "Посетители".
В этом случае, теперь выводит нижнее значение.

Узнать больше об этом обновлении...

 

[muxa]

При импорте пишет: "Load preset error: network error"
Подскажите, в чем может быть дело?

Возможно получить код пресета?

 

[Support]

Подскажите, в чем может быть дело?

Наверное в этом: https://a-parser.com/threads/3486/

Спойлер: Код для импорта, v 1.16

eJy1Wf9zmzgW/1d0TK6YjY1xNr25I+dm0uzmtp206SXpzN3YXq8Msq0EEIcgtTfj
//3eE1+MMYakM9UPGKT3pI/ed8nPWkzlo/wSMcliqdmjZy1U75qtjRPr9GSOz59d
9TxVz7fqSfF5OiCKyFJdVolIvZ9apKcITk9UJ1PPudbVQhpJFuF6I+3jnW3/lwYu
W91Sl0a2fS9CIHHZnCZerHWftXgdMsAjnlgUcZfBIHfh26erS5EEQKI9US8BkoFl
WZvJpKvBFoBXXonIp7iVo3BgelzG5lz1dPSjJPK65ChBFONxoBtawXRHn9i9AKY5
99i2+wq+PlMfgRy5NGY4mk9nmPEKYVDX5TEXAfXSlXGDWzRfA/4/RKkFAmjhNeJM
XkXCh66YqQmwc52jHmlH6luDKRLF+++UR7Pn1JOsq0mAekUBiFsd4TGLaCyimxDx
QP+zJoILz7tmT8zbkqn53yfcc0EOF3Ng+pAx1pPc7M2xKbZXXgo09S0CDMUs6uv9
zactlyuuxQJ27s5g3x73eQzfMlWorVnQ+chYWMjsM8rMFxErlslmzlYHCw5ZgGax
VdlFuO3a2caOWnY7HRHM+eImM7WcMgnuwU1ugkvhhx7DfQWJ54FaJLvdmseFzNSA
H1uAVeZLtQRuPTdxLRbCkx/vUqhhxMH83iJAHyRZXjWb0qGe9/X2ujyibU0KPpZx
HEq734/Qo8y18i4zSvqxCKfoB+e+COLl8MQa/KNn/azhjDFbCLA1jADKGNEmJWJj
qxD53Vx1k82kcOAibjzXu7H9vAFVP8gvKTnKpYlYK/X1oMt8wM04HpWSpFOQ53FA
oIGaZBwlDlhqx8g7scVLLs1MsChoMiyPYgPVSrAgm+iWOTAHf9O7u+OZWdhVPmw0
iui6fggbitYmIz2zCfWtd8monhrbSA+FBBL9i5AqdOiTbhO1y7yYIv0v6qWZOIBw
hbQYtlpIIRwi5TUPHlso4ySaCaS9Vy/NxDQMIzBhF+kvsncyW5NUzy3MS+G5PFgg
7yfmckryjmY2JxJSifQSX3oue+IOI08c5Csi2SYHNFNk/qpeWpQBoXetlIEvhCYu
Z4HTJmo3gQCLmkaZgDHSBSMx9xnpSOYYLcy+mIEPKZGot2JR0vlrGy+mUaU4/G0h
XTJIQdxRorjPP/qXaZSAGKNP6tknNf2b3a5Nvb9N01xqk7F2tJeqx2OVpMdahVeF
IUdAoK71yRPLssmgefm8igBCy9oObc7GQSWqgA3GdOaxLKxUvBp0k82EHq87wp+J
mVgpVdEV9xM/3ykEL6Qqi2qysxrsvANRHXYHpjEEXGfp6z/xHdoZ6aTf+EnO08Fj
HCQ22Y7sDhVj6ZdlGLv497Y4siajwcQME7nsjJCzq/gnxlnKuMkh/6S0ANYbd/Mt
7oRk3AqNFhK2ohZZsOACPpHBVGk5nxEbn3f+gsRGVZ+K1ROLBYsAE9jFe+oSxa6X
+UsWZcrEcZjEda09CghjQU5YGtyU9YDA5ePTSZfIgIZyKeIPrtpiCFOuOfPcFFXE
AIcESP/69R70XeyrS5433eo+nCVzHqeQv2KGRjfqQDFJDTJ8V2fAcbQ+lGsQGMD4
eHfz2UwVgBOZ4DLOstOf9VBXU3T5KST9HnrU6Pd3k2Mk6s2YP9Q7o9/1ybHRN0DL
xkjnvYUnZtTTJ6bK19SX2ElD3sv2ByO46NkBPIWIDqPiClXvpYB2iGF1HxzdM7cL
HUCSKVcJ6M2bMrBzEGjCwBFUJVPDviGOQsr2zK8y+cEJKsGmGmZdFa2g9kji+d+r
lQcEkKnkf8Lw28EJ+Qnc9OS0ZJoVN0E7zE18Dy6a7oMUQQUielYhwClHVR0UZ4Od
f7m5Q0PXD5WZoLpIrNbwC9qDvMsgDYOa+wsW/wK/5x4NFsMo0fecI8dopxYEJR7k
ez5fd0bYOzFqktYjW9upl+6P4Toga1ipmgPqFn6VZ2Jr8E5sKP99XzDMNOocMN5U
8srGkN9Elna7VZtqtV2FuRJGmemD/YCjGa14GhevcYW6EqPR/rFtfQCyWeoC2U8N
8ZJRPLkdrMf1TJk9VfrAqlCPetxR5VcfxVuHQDGu8qDH3N43Hi+R+T+frn8Dg7/N
omG781fzUpvTYlP6SWLuwTPEe4bsLIF+08nyVZqDlGlUl9guozIgBs6D5qBKDIHp
cXBAq3khAh7sEzHfWmSjiSFHUUDi+WvTYOsAFmc3C4bGqcugKCJ6JW+Zf4b8zTsp
t2KR0WzSILJyq3GKFw43DLUEHWy4O58mgFKJB15NdUFG3hGsCSud9rbDE99YNJ1B
eXoot+atebRsfmkB2S4ssMTj44ZDSd4UWHUMhrjQG7yUA8/CL55d+JQHU7wifCGH
OhTnok0/IGAcii577CKEZBzk/NnXaybw8Xw8zc7HhYrLnUoAr5rTidZhTKdoSOfV
nsJ0XgFRzYPP7wDh7oFwvwtEfvbOJ8u/v2OqDIe6MJhiiphCcpnKJY0YzN5po8lW
xNRmGWYsrviKuZ0T41UYMK0VVofvL2S+mT0wJzahdJKdbfA0HwQPOljXNdQC2OqS
Tt5eVoVgO1yJtMSeKmOlVERpGI0QX1zC1K32x72IqQdZBIIkOXreCXUeCxbxkvTJ
4HSjtCL/qANSrRN2jp/56/Zt/zhbriLOyoQ1p9riRKtK0DsQkgdndZFEDhzoo8Vq
9/Z0P7nkpynFkR3kkA0OaeVz80G1Z/y6fra3zQJafiMAEXfv5iBUR9H87qC8CfUX
Tn88Pu+Yx8ZR3+gSMXvYv+9V/y3YKTve7pv5PU3FUcR8Dif3nfuicuGCFxMpFqNa
ENfd3AAh1hcphymh7IRz0xvd2JMPzKuIav2lKL6G6Uz5RMO9Ow9sEkIM6AAZRtbk
oAM6VDKiq+yQ36jah70FZDrSd1IJnBt1LIHSWv7r7Qf8F0IEUGenSw8mTd43ixh9
PDCeIovYAq9H2zClZPKHQkkvj7Nrz3UrpJR86pSuSX8gOB44wmetoFKyHwsFonYr
DqD5sSAgisBpsBVHSvZjoUAJxxstODv2wEJkOCQ6Hu91I7frUESxurpTGLPJvhNP
9ldYi1CykPF6kTSmsr3MBEttsxL+jIONhv8QZv/JafZg839lPKZc