Парсинг бб в Яндексе или парсинг по дате

S

seowin555

A-Parser Pro License
A-Parser Pro
Приветствую!
Подскажите, можно как-то чекать домены в Яндексе на быстробота, т.е. с поиском по дате, например за 1 сутки и 1 неделю?
 
можно сортировать серп по дате(Sort serp by date), и при необходимости фильтровать по дате
 
Можно сделать как написано здесь: http://a-parser.com/threads/1545/#post-4465, с той лишь разницей, что сейчас время отдается в Unix формате и лучше включать сортировку результатов.
Например, нужно получить ссылки, которые появились с 00:00:00 01.10.2016. Для преобразования даты используем любой из сервисов, например этот. Таким образом задание будет выглядеть так:
VC1eV.png
 
Здравствуйте!
Есть список сайтов, нужно найти те, которые наиболее часто индексируются.
Использую вот такой пресет http://clip2net.com/s/3Il04PH
В формате запроса указываю site:$query
Пробую сравнить полученные результаты парсинга, для этого делаю такой запрос http://c2n.me/3Il0gLa и результаты получаются совершенно другими.
Например, есть сайт permkraj.ru, по моим данным у него не добавлялось новых страниц в индекс Яндекса даже за месяц, а в результате парсинга вот эти ссылки - http://c2n.me/3Il0qo7
Тоже самое с другими сайтам. Подскажите, почему так? Уже все перепробовал, но почему-то результаты парсинга получаются совершенно другими.
 
Добрый день.
seowin555 сказал(а):
Пробую сравнить полученные результаты парсинга, для этого делаю такой запрос http://c2n.me/3Il0gLa и результаты получаются совершенно другими.
Нажмите, чтобы раскрыть...
Скорее всего у вас отличаются настройки поиска в парсере и в браузере. Если полностью повторить запрос из парсера в браузере, результаты вполне соответствуют:
u1sSp.png
8uRbq.png
seowin555 сказал(а):
Например, есть сайт permkraj.ru, по моим данным у него не добавлялось новых страниц в индекс Яндекса даже за месяц, а в результате парсинга вот эти ссылки - http://c2n.me/3Il0qo7
Нажмите, чтобы раскрыть...
Яндекс отдает дату последнего кэширования страницы, а не дату ее добавления.
 
Добрый вечер!
Подскажите, каким образом в А-парсере работает сортировка по дате?
Правильно я понимаю, что добавляется в запрос параметр &how=tm и на основании полученных данных выводится инфа? Или все-таки еще дополнительно берется значение в сохраненной копии документа в параметре tm= ?
 
Support сказал(а):
Добрый день.

Да, правильно. Именно так и происходит.
Нажмите, чтобы раскрыть...
А тогда ведь не совсем верно парсить таким образом, так как сейчас Яндекс отображает дату при введении параметра &how=tm только в промежутке времени 1 минута-1час(пример https://yandex.ru/yandsearch?numdoc=50&lang=&text=тест&how=tm&lr=225&redircnt=1490777921.1) Т.е. таким методом получается можно парсить ссылки, которые попали только в этот промежуток времени(минута-1час).
Раньше при вводе параметра &how=tm было так http://c2n.me/3IXG75K , т.е. выводилась дата, а сейчас дата не выводится.

А чтобы делать сортировку по дате кеширования, нужно парсить сохраненную копию страницы и оттуда брать параметр tm=.
 
это настройка отвечает именно за передачу параметра Яндексу, если необходимо как то дополнительно обрабатывать результат - это можно сделать например через шаблонизатор(время кэша собирается в переменную $serp.$i.time)
 
Перечитал кучу статей в сети, пишут что параметр &how=tm часто отключают в Яндексе и вообще с ним часто какие глюки.
Можно ввести параметры из расширенного поиска Яндекса в парсер Яндекса?
А именно:
&within=77 - обновление документа за сутки
&within=1 - за две недели
&within=2 - за месяц
&from_date_full=01.03.2017&to_date_full=29.03.2017 - произвольную дату, в моем примере с 1 марта по 29 марта
Подробнее - https://yandex.ru/support/search/how-to-search/advanced-search.html
 
Вы можете добавить к запросу любые параметры через Extra query string.
 
Т.е. будет ли работать фильтр? - Да, конечно будет.
 
Помогите понять почему результаты в парсере получаются другими, чем если копировать запрос а-парсера в браузере.
Пресет - http://c2n.me/3IYeL0D
Настройки парсера Яндекса - http://c2n.me/3IYcce3
Получается результат следующим:
http://very-interesting.ru/tests/тест-какая-профессия-подходит-вам-бол/ - 1490340992
http://www.infoniac.ru/news/Test-Naskol-ko-unikal-noi-yavlyaetsya-vasha-lichnost.html - 1490363520
http://onedio.ru/news/test-k-izucheniyu-kakogo-yazyka-vy-bolshe-vsego-sklonny-18414 - 1490366720
http://www.psychologies.ru/tests/test/651/ - 1490366208
http://commerage.ru/tests/test-zvonit-emu-pervoj-ili-podozdat - 1490333184
http://www.cluber.com.ua/lifestyle/...nyiy-test-na-opredelenie-vashego-haraktera-2/ - 1490338816
http://onlinetestpad.com/ru/test/60282-mmpi-muzhskoj-variant-oprosnika - 1490363776
http://lifter.com.ua/ru/1194 - 1490311168
http://www.MaximOnline.ru/longreads/tests/_article/humor-test/ - 1490365696
http://stoboi.ru/tests/orfo1.htm - 1490365184
http://trikky.ru/test-po-russkomu-yazyiku-238563.html - 1490365056
http://www.BankTestov.ru/test/?id=47091 - 1490363264

Дату я взял 1490298240
Если смотреть по этому результату, то все верно, но непонятно откуда берется тут дата, если делать тестовый парсинг, то там даты совершенно другими.
Берем тестовый запрос, взятый с а-парсера и переходим по нему в браузере - https://yandex.ru/yandsearch?numdoc=20&within=1&lang=&text=тест&lr=225&redircnt=1490789017.1 там другие даты.

Попробовал с разных ip и с разных браузеров попереходить по данной ссылке, везде одинаковые результаты получаются.
 
Последнее редактирование:
Чтобы ответить, войдите или зарегистрируйтесь.

О нас

A-Parser - это профессиональная платформа для сбора данных промышленного масштаба: 10 000+ потоков, 110+ парсеров и гибкость Node.js. Автоматизируйте задачи в SEO, e-commerce и арбитраже трафика с непревзойденной скоростью и масштабируемостью

Быстрая навигация

Соцсети

Поддержка

Нужна помощь с настройкой или работой парсера? Напишите в поддержку, поможем довести все до результата.

Написать в поддержку
Назад
Верх