- English Name
- Parsing moz.com with authorization
- Минимальная версия A-Parser
- 1.1.681
В А-Парсере есть парсер
Rank::OpenSiteExplorer. Но он возвращает лишь некоторые параметры. Если смотреть на сайте, то их значительно больше, например Spam Score, Total Internal/External Links, MozRank, MozTrust и другие. Полный список параметров можно увидеть здесь.
Для того, чтобы все это парсить, существует запрос, который возвращает данные в JSON, а благодаря tools.parseJSON нам не составит труда извлечь нужные параметры.
Но на moz.com существует ограничение - 10 запросов с одного IP в сутки без авторизации. Данная проблема частично решается использованием прокси, но на большом кол-ве проверяемых сайтов это может вызвать проблемы. Поэтому логичным будет парсинг с авторизацией. Именно такую возможность демонстрирует данный пресет.
Задание состоит из 2-х пресетов.
1 пресет:
Rank::OpenSiteExplorer. Но он возвращает лишь некоторые параметры. Если смотреть на сайте, то их значительно больше, например Spam Score, Total Internal/External Links, MozRank, MozTrust и другие. Полный список параметров можно увидеть здесь.Для того, чтобы все это парсить, существует запрос, который возвращает данные в JSON, а благодаря tools.parseJSON нам не составит труда извлечь нужные параметры.
Но на moz.com существует ограничение - 10 запросов с одного IP в сутки без авторизации. Данная проблема частично решается использованием прокси, но на большом кол-ве проверяемых сайтов это может вызвать проблемы. Поэтому логичным будет парсинг с авторизацией. Именно такую возможность демонстрирует данный пресет.
Задание состоит из 2-х пресетов.
1 пресет:
- На вход нужно подать одну пару логин|пароль через разделитель |
Например: [email protected]|your_password - На выходе получим ключ авторизации mozauth
- Данный пресет достаточно запустить один раз перед запуском второго
- На вход подаем список сайтов (страниц)
- В Cookies подставляем mozauth из предыдущего пресета
- По-умолчанию на выходе получаем список сайтов (страниц) с PA, DA, Spam Score
- Можно выводить любой набор параметров, изменив формат результата. Пример JSON с информацией для a-parser.com здесь