1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2200+ и мы растем!
    Скрыть объявление

Парсинг бб в Яндексе или парсинг по дате

Тема в разделе "Техническая поддержка", создана пользователем seowin555, 1 окт 2016.

  1. seowin555

    seowin555 A-Parser Pro License
    A-Parser Pro

    Регистрация:
    29 сен 2016
    Сообщения:
    171
    Симпатии:
    32
    Приветствую!
    Подскажите, можно как-то чекать домены в Яндексе на быстробота, т.е. с поиском по дате, например за 1 сутки и 1 неделю?
     
  2. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.290
    Симпатии:
    1.763
    можно сортировать серп по дате(Sort serp by date), и при необходимости фильтровать по дате
     
    seowin555 нравится это.
  3. seowin555

    seowin555 A-Parser Pro License
    A-Parser Pro

    Регистрация:
    29 сен 2016
    Сообщения:
    171
    Симпатии:
    32
    А можно чуть подробнее как это сделать?
    У меня вот такие настройки:
    Проект: http://c2n.me/3COraK7
    Настройка проекта: http://clip2net.com/s/3COrcpq
    А как сделать чтобы вывод по дате был в результатах?
     
  4. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    3.528
    Симпатии:
    1.878
    Можно сделать как написано здесь: http://a-parser.com/threads/1545/#post-4465, с той лишь разницей, что сейчас время отдается в Unix формате и лучше включать сортировку результатов.
    Например, нужно получить ссылки, которые появились с 00:00:00 01.10.2016. Для преобразования даты используем любой из сервисов, например этот. Таким образом задание будет выглядеть так:
    [​IMG]
     
    seowin555 нравится это.
  5. seowin555

    seowin555 A-Parser Pro License
    A-Parser Pro

    Регистрация:
    29 сен 2016
    Сообщения:
    171
    Симпатии:
    32
    Здравствуйте!
    Есть список сайтов, нужно найти те, которые наиболее часто индексируются.
    Использую вот такой пресет http://clip2net.com/s/3Il04PH
    В формате запроса указываю site:$query
    Пробую сравнить полученные результаты парсинга, для этого делаю такой запрос http://c2n.me/3Il0gLa и результаты получаются совершенно другими.
    Например, есть сайт permkraj.ru, по моим данным у него не добавлялось новых страниц в индекс Яндекса даже за месяц, а в результате парсинга вот эти ссылки - http://c2n.me/3Il0qo7
    Тоже самое с другими сайтам. Подскажите, почему так? Уже все перепробовал, но почему-то результаты парсинга получаются совершенно другими.
     
  6. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    3.528
    Симпатии:
    1.878
    Добрый день.
    Скорее всего у вас отличаются настройки поиска в парсере и в браузере. Если полностью повторить запрос из парсера в браузере, результаты вполне соответствуют:
    [​IMG] [​IMG]
    Яндекс отдает дату последнего кэширования страницы, а не дату ее добавления.
     
    seowin555 нравится это.
  7. seowin555

    seowin555 A-Parser Pro License
    A-Parser Pro

    Регистрация:
    29 сен 2016
    Сообщения:
    171
    Симпатии:
    32
    Добрый вечер!
    Подскажите, каким образом в А-парсере работает сортировка по дате?
    Правильно я понимаю, что добавляется в запрос параметр &how=tm и на основании полученных данных выводится инфа? Или все-таки еще дополнительно берется значение в сохраненной копии документа в параметре tm= ?
     
  8. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    3.528
    Симпатии:
    1.878
    Добрый день.
    Да, правильно. Именно так и происходит.
     
    seowin555 нравится это.
  9. seowin555

    seowin555 A-Parser Pro License
    A-Parser Pro

    Регистрация:
    29 сен 2016
    Сообщения:
    171
    Симпатии:
    32
    А тогда ведь не совсем верно парсить таким образом, так как сейчас Яндекс отображает дату при введении параметра &how=tm только в промежутке времени 1 минута-1час(пример https://yandex.ru/yandsearch?numdoc=50&lang=&text=тест&how=tm&lr=225&redircnt=1490777921.1) Т.е. таким методом получается можно парсить ссылки, которые попали только в этот промежуток времени(минута-1час).
    Раньше при вводе параметра &how=tm было так http://c2n.me/3IXG75K , т.е. выводилась дата, а сейчас дата не выводится.

    А чтобы делать сортировку по дате кеширования, нужно парсить сохраненную копию страницы и оттуда брать параметр tm=.
     
  10. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.290
    Симпатии:
    1.763
    это настройка отвечает именно за передачу параметра Яндексу, если необходимо как то дополнительно обрабатывать результат - это можно сделать например через шаблонизатор(время кэша собирается в переменную $serp.$i.time)
     
    seowin555 нравится это.
  11. seowin555

    seowin555 A-Parser Pro License
    A-Parser Pro

    Регистрация:
    29 сен 2016
    Сообщения:
    171
    Симпатии:
    32
    Перечитал кучу статей в сети, пишут что параметр &how=tm часто отключают в Яндексе и вообще с ним часто какие глюки.
    Можно ввести параметры из расширенного поиска Яндекса в парсер Яндекса?
    А именно:
    &within=77 - обновление документа за сутки
    &within=1 - за две недели
    &within=2 - за месяц
    &from_date_full=01.03.2017&to_date_full=29.03.2017 - произвольную дату, в моем примере с 1 марта по 29 марта
    Подробнее - https://yandex.ru/support/search/how-to-search/advanced-search.html
     
  12. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    3.528
    Симпатии:
    1.878
    Вы можете добавить к запросу любые параметры через Extra query string.
     
    seowin555 нравится это.
  13. seowin555

    seowin555 A-Parser Pro License
    A-Parser Pro

    Регистрация:
    29 сен 2016
    Сообщения:
    171
    Симпатии:
    32
    Работает, спасибо!
    Такой еще момент, а будет работать вариант, описанный в этой теме в 4 сообщении, только без сортировки результатов?
     
  14. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    3.528
    Симпатии:
    1.878
    Т.е. будет ли работать фильтр? - Да, конечно будет.
     
    seowin555 нравится это.
  15. seowin555

    seowin555 A-Parser Pro License
    A-Parser Pro

    Регистрация:
    29 сен 2016
    Сообщения:
    171
    Симпатии:
    32
    Помогите понять почему результаты в парсере получаются другими, чем если копировать запрос а-парсера в браузере.
    Пресет - http://c2n.me/3IYeL0D
    Настройки парсера Яндекса - http://c2n.me/3IYcce3
    Получается результат следующим:

    Дату я взял 1490298240
    Если смотреть по этому результату, то все верно, но непонятно откуда берется тут дата, если делать тестовый парсинг, то там даты совершенно другими.
    Берем тестовый запрос, взятый с а-парсера и переходим по нему в браузере - https://yandex.ru/yandsearch?numdoc=20&within=1&lang=&text=тест&lr=225&redircnt=1490789017.1 там другие даты.

    Попробовал с разных ip и с разных браузеров попереходить по данной ссылке, везде одинаковые результаты получаются.
     
    #15 seowin555, 29 мар 2017
    Последнее редактирование: 29 мар 2017
  16. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    3.528
    Симпатии:
    1.878

Поделиться этой страницей