SE::Google::Modern - Новый парсер выдачи Google

13 июн 2018 в 11:26

  • Собираемые данные(top)


    • Количество результатов по запросу
    • Ссылки, анкоры и сниппеты из выдачи
    • Список связанных ключевых слов(Related keywords)
    • Определяет посчитал ли Google запрос опечаткой или нет
    • Парсит из рекламных блоков ссылку, анкор и сниппет. Следует обратить внимание, что в переменную $link будут попадать ссылки, которые имеют вид
      для получения ссылок которые мы видим при выдаче под анкорами, нужно использовать переменную $visiblelink. Это касается только блока рекламы.
    [​IMG]
    [​IMG]
    [​IMG]

    Возможности(top)


    • Поддержка всех поисковых операторов Гугла(site:, inurl: и т.д.)
    • Парсит максимальное отдаваемое гуглом число результатов - 10 страниц по 100 элементов в выдачи
    • Может автоматически парсить больше 1000 результатов на запрос - подставляет дополнительные символы(опция Parse all results)
    • Возможность парсить в глубину по связанным ключевым словам (Parse related to level)
    • Возможность поиска связанных ключевых слов
    • Поддерживает выбор страны поиска, города, региона, домена, языка результатов
    • Поддерживает указание времени выдачи
    • Возможность парсить по новостям и блогам
    • Можно указать парсить ли выдачу если гугл сообщает о том что по указанному запросу ничего не найдено и предлагает результаты по схожему запросу
    • Поддерживает отключение фильтра гугла по скрытию похожих результатов(filter=)
    • Возможность выбора языка интерфейса Google, выдача результатов в парсере и в браузере, при идентичных настройках, максимально идентична

    Варианты использования(top)


    • Сбор баз ссылок - для A-Poster, XRumer, AllSubmitter и т.д.
    • Оценка конкуренции для кейвордов
    • Поиск беклинков(упоминаний) сайтов
    • Проверка индексации сайтов
    • Поиск уязвимых сайтов
    • Любые другие варианты подразумевающие парсинг гугла в том или ином виде

    Примеры(top)


    Запросы(top)


    • В качестве запросов необходимо указывать поисковые фразы, точно так же как если бы их вводили прямо в форму поиска Гугла, например:


    Результаты(top)


    • В результате отображен список ссылок по запросам:


    Возможные настройки(top)


    Общие настройки для всех парсеров
    ПараметрЗначение по умолчаниюОписание
    Links per page100Количество ссылок в выдачи на каждую страницу
    Pages count5Количество страниц для парсинга
    Google domainwww.google.comДомен Гугла для парсинга, поддерживаются все домены
    Results languageAuto (Based on IP)Выбор языка результатов(параметр lr=)
    Search from countryAuto (Based on IP)Выбор страны откуда осуществляется поиск(гео-зависимый поиск, параметр gl=)
    Location (city)-Поиск по городу, региону. Можно указывать города в виде novosibirsk, russia; полный список локаций можно найти по ссылке. Также необходимо выставлять корректный домен гугла
    Hide omitted resultsОпределяет скрывать ли опущенные результаты(параметр filter=)
    Serp timeAll timeВремя серпа(временно-зависимый поиск, параметр tbs=)
    Serp typeMainОпределяет парсить с главной страницы, по новостям или блогам
    Parse not foundОпределяет парсить ли выдачу если Гугл сообщил что по указанному запросу ничего не найдено и предложил выдачу по другому запросу
    Use AntiGateОпределяет использовать ли antigate для обхода каптч
    AntiGate presetdefaultПресет парсера Util:AntiGate. Необходимо предварительно настроить парсер Util::AntiGate - указать свой ключ доступа и другие параметры, после чего выбрать созданный пресет здесь
    Use digit captchaВключает принудительное использование цифровой каптчи
    DeviceModern desktop computer (Chrome 61)Выбор юзер агента для парсинга
    Util::ReCaptcha2 presetdefaultПресет парсера Util::ReCaptcha2 Необходимо предварительно настроить парсер Util::ReCaptcha2 - указать свой ключ доступа и другие параметры, после чего выбрать созданный пресет здесь
    Interface languageAuto (Based on IP)Возможность выбора языка интерфейса Google, для максимальной идентичности результатов в парсере и в браузере
    Use sessionsПозволяет включать/отключать использование сессий. По-умолчанию включена
    ReCaptcha2 retries3Повтор при неудачной отправке рекаптчи (парсер будет пытаться отправить ответ по рекаптче указанное количество раз, не меняя прокси)