Приветствую! Подскажите, можно как-то чекать домены в Яндексе на быстробота, т.е. с поиском по дате, например за 1 сутки и 1 неделю?
А можно чуть подробнее как это сделать? У меня вот такие настройки: Проект: http://c2n.me/3COraK7 Настройка проекта: http://clip2net.com/s/3COrcpq А как сделать чтобы вывод по дате был в результатах?
Можно сделать как написано здесь: http://a-parser.com/threads/1545/#post-4465, с той лишь разницей, что сейчас время отдается в Unix формате и лучше включать сортировку результатов. Например, нужно получить ссылки, которые появились с 00:00:00 01.10.2016. Для преобразования даты используем любой из сервисов, например этот. Таким образом задание будет выглядеть так:
Здравствуйте! Есть список сайтов, нужно найти те, которые наиболее часто индексируются. Использую вот такой пресет http://clip2net.com/s/3Il04PH В формате запроса указываю site:$query Пробую сравнить полученные результаты парсинга, для этого делаю такой запрос http://c2n.me/3Il0gLa и результаты получаются совершенно другими. Например, есть сайт permkraj.ru, по моим данным у него не добавлялось новых страниц в индекс Яндекса даже за месяц, а в результате парсинга вот эти ссылки - http://c2n.me/3Il0qo7 Тоже самое с другими сайтам. Подскажите, почему так? Уже все перепробовал, но почему-то результаты парсинга получаются совершенно другими.
Добрый день. Скорее всего у вас отличаются настройки поиска в парсере и в браузере. Если полностью повторить запрос из парсера в браузере, результаты вполне соответствуют: Спойлер Яндекс отдает дату последнего кэширования страницы, а не дату ее добавления.
Добрый вечер! Подскажите, каким образом в А-парсере работает сортировка по дате? Правильно я понимаю, что добавляется в запрос параметр &how=tm и на основании полученных данных выводится инфа? Или все-таки еще дополнительно берется значение в сохраненной копии документа в параметре tm= ?
А тогда ведь не совсем верно парсить таким образом, так как сейчас Яндекс отображает дату при введении параметра &how=tm только в промежутке времени 1 минута-1час(пример https://yandex.ru/yandsearch?numdoc=50&lang=&text=тест&how=tm&lr=225&redircnt=1490777921.1) Т.е. таким методом получается можно парсить ссылки, которые попали только в этот промежуток времени(минута-1час). Раньше при вводе параметра &how=tm было так http://c2n.me/3IXG75K , т.е. выводилась дата, а сейчас дата не выводится. А чтобы делать сортировку по дате кеширования, нужно парсить сохраненную копию страницы и оттуда брать параметр tm=.
это настройка отвечает именно за передачу параметра Яндексу, если необходимо как то дополнительно обрабатывать результат - это можно сделать например через шаблонизатор(время кэша собирается в переменную $serp.$i.time)
Перечитал кучу статей в сети, пишут что параметр &how=tm часто отключают в Яндексе и вообще с ним часто какие глюки. Можно ввести параметры из расширенного поиска Яндекса в парсер Яндекса? А именно: &within=77 - обновление документа за сутки &within=1 - за две недели &within=2 - за месяц &from_date_full=01.03.2017&to_date_full=29.03.2017 - произвольную дату, в моем примере с 1 марта по 29 марта Подробнее - https://yandex.ru/support/search/how-to-search/advanced-search.html
Работает, спасибо! Такой еще момент, а будет работать вариант, описанный в этой теме в 4 сообщении, только без сортировки результатов?
Помогите понять почему результаты в парсере получаются другими, чем если копировать запрос а-парсера в браузере. Пресет - http://c2n.me/3IYeL0D Настройки парсера Яндекса - http://c2n.me/3IYcce3 Получается результат следующим: Спойлер: Результат http://very-interesting.ru/tests/тест-какая-профессия-подходит-вам-бол/ - 1490340992 http://www.infoniac.ru/news/Test-Naskol-ko-unikal-noi-yavlyaetsya-vasha-lichnost.html - 1490363520 http://onedio.ru/news/test-k-izucheniyu-kakogo-yazyka-vy-bolshe-vsego-sklonny-18414 - 1490366720 http://www.psychologies.ru/tests/test/651/ - 1490366208 http://commerage.ru/tests/test-zvonit-emu-pervoj-ili-podozdat - 1490333184 http://www.cluber.com.ua/lifestyle/...nyiy-test-na-opredelenie-vashego-haraktera-2/ - 1490338816 http://onlinetestpad.com/ru/test/60282-mmpi-muzhskoj-variant-oprosnika - 1490363776 http://lifter.com.ua/ru/1194 - 1490311168 http://www.MaximOnline.ru/longreads/tests/_article/humor-test/ - 1490365696 http://stoboi.ru/tests/orfo1.htm - 1490365184 http://trikky.ru/test-po-russkomu-yazyiku-238563.html - 1490365056 http://www.BankTestov.ru/test/?id=47091 - 1490363264 Дату я взял 1490298240 Если смотреть по этому результату, то все верно, но непонятно откуда берется тут дата, если делать тестовый парсинг, то там даты совершенно другими. Берем тестовый запрос, взятый с а-парсера и переходим по нему в браузере - https://yandex.ru/yandsearch?numdoc=20&within=1&lang=&text=тест&lr=225&redircnt=1490789017.1 там другие даты. Попробовал с разных ip и с разных браузеров попереходить по данной ссылке, везде одинаковые результаты получаются.
