Парсер MOZ с авторизацией

Парсер MOZ с авторизацией 1.0

Доступно владельцам лицензии
English Name
Parsing moz.com with authorization
Минимальная версия A-Parser
1.1.681
В А-Парсере есть парсер Rank::OpenSiteExplorer Rank::OpenSiteExplorer. Но он возвращает лишь некоторые параметры. Если смотреть на сайте, то их значительно больше, например Spam Score, Total Internal/External Links, MozRank, MozTrust и другие. Полный список параметров можно увидеть здесь.

Для того, чтобы все это парсить, существует запрос, который возвращает данные в JSON, а благодаря tools.parseJSON нам не составит труда извлечь нужные параметры.

Но на moz.com существует ограничение - 10 запросов с одного IP в сутки без авторизации. Данная проблема частично решается использованием прокси, но на большом кол-ве проверяемых сайтов это может вызвать проблемы. Поэтому логичным будет парсинг с авторизацией. Именно такую возможность демонстрирует данный пресет.

Задание состоит из 2-х пресетов.
1 пресет:
  • На вход нужно подать одну пару логин|пароль через разделитель |
    Например: [email protected]|your_password
  • На выходе получим ключ авторизации mozauth
  • Данный пресет достаточно запустить один раз перед запуском второго
2 пресет:
  • На вход подаем список сайтов (страниц)
  • В Cookies подставляем mozauth из предыдущего пресета
  • По-умолчанию на выходе получаем список сайтов (страниц) с PA, DA, Spam Score
  • Можно выводить любой набор параметров, изменив формат результата. Пример JSON с информацией для a-parser.com здесь
Данным методом вполне возможен парсинг без прокси. Но существует риск получить бан аккаунта или IP.
Автор
Support
Загрузок
22
Просмотры
136
Первый выпуск
Обновление

Рейтинги

0,00 звёзд Оценок: 0

Ещё ресурсы от Support

Назад
Верх