1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление
Файлы cookie Telegram чат

Как точно спарсить все URL сайта из индекса Яндекса и Google

Тема в разделе "Техническая поддержка", создана пользователем k3nzo, 18 июл 2018.

  1. k3nzo

    k3nzo A-Parser Pro License
    A-Parser Pro

    Регистрация:
    20 мар 2013
    Сообщения:
    2
    Симпатии:
    0
    Директива site:sitename дает в обоих поисковиках данные об урлах в индексе, но страниц сайта может быть миллион, а даже при 50 результатах на одной странице ограничение на 20 страниц внутри парсера по pagescount делает невозможным парсинг более 20 страниц. Соответственно получить полный список URL'ов сайта в индексе через а-парсер невозможно.
    Как обойти ограничение и получить список всех урлов для сайта в индексе поисковых систем а-парсером?
     
    #1 k3nzo, 18 июл 2018
  2. Support Денис

    Support Денис A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    12 июн 2017
    Сообщения:
    586
    Симпатии:
    185
    Здравствуйте и парсерах SE::Yandex SE::Yandex,SE::Google SE::Google и SE::Google::Modern SE::Google::Modern есть опция спарсить все результаты
    [​IMG]
    Так же можно воспользоватся макросами подстановок. С документацией вы можете ознакомиться по этой ссылке.
     
    #2 Support Денис, 18 июл 2018
    Последнее редактирование: 18 июл 2018
  3. Vvtex

    Vvtex A-Parser Pro License
    A-Parser Pro

    Регистрация:
    9 окт 2017
    Сообщения:
    124
    Симпатии:
    24
    Можно из поисковика копии google, знаю что есть такое поисковик, из присутствующих знают подскажут.
    Копию гугла так и не вспомнил
    Но покапался есть отличный пресет к примеру поисковик ecosia https://a-parser.com/resources/135/
    Отличная скорость.
     
    #3 Vvtex, 18 июл 2018
    Последнее редактирование: 19 июл 2018
(Вы должны войти или зарегистрироваться, чтобы разместить сообщение.)

Поделиться этой страницей