SE::Yandex::SQI - Проверка Индекса качества сайта в Яндексе
Обзор парсера SE::Yandex::SQI
SE::Yandex::SQI – проверка индекса качества сайта в Яндексе. Невероятно быстрый парсер, скорость работы 3000-7000 запросов в минуту.Вы можете использовать автоматическое размножение запросов, подстановку подзапросов из файлов, перебор цифро-буквенных комбинаций и списков для получения максимально возможного количества результатов. Используя фильтрацию результатов вы можете сразу почистить результат, удалив весь не нужный мусор (использовав минус-слова).
Функционал A-Parser позволяет сохранять настройки парсинга парсера SE::Yandex::SQI для дальнейшего использования (пресеты), задавать расписание парсинга и многое другое.
Сохранение результатов возможно в том виде и структуре которая вам необходима, благодаря встроенному мощному шаблонизатору Template Toolkit который позволяет применять дополнительную логику к результатам и выводить данные в различных форматах, включая JSON, SQL и CSV.
Список собираемых данных
- Индекс качества сайта (Яндекс ИКС)
- Данные о наличии значков у сайта (1 - значек получен, 0 - значка нет):
- Выбор пользователей
- Популярный сайт
- Защищённое соединение
- Турбо-страницы
- Является ли сайт официальным
- Для значков "Выбор пользователей" и "Популярный сайт" можно получать степень готовности к получению значка в виде промежуточного значения от 0 до 1, например 0.4.
- Количество отзывов, оценка и рейтинг
В результате отображен начальный запрос и его ИКС. Пример:
facebook.com: 130000
yandex.ru: -1
https://a-parser.com: 110
google.com: 120000
vk.com: 340000
Если ИКС для домена недоступен, то в результате будет -1.
Варианты использования
- Оценка полезности сайта с точки зрения Яндекса
- Сбор тайтлов
Примеры запросов
В качестве запросов необходимо указывать домен искомого сайта. Можно указывать как с протоколом "http(s)://" так и без него, например:
yandex.ru
google.com
vk.com
facebook.com
https://a-parser.com
Варианты вывода результатов
A-Parser поддерживает гибкое форматирование результатов благодаря встроенному шаблонизатору Template Toolkit, что позволяет ему выводить результаты в произвольной форме, а также в структуированной, например CSV или JSON.
Вывод в таблицу CSV
Общий формат результата:
[% tools.CSVline(query, sqi, rating); %]
Имя файла:
$datefile.format().csv
Начальный текст:
Домен,Рейтинг,Автор,Цена
tip
В Общем формате результатов применяется шаблонизатор Template Toolkit.
Что такое общий формат результатов.
В имени файла результатов нужно просто изменить разрешение файла на csv.
Чтобы опция "Начальный текст" была доступна в Редакторе заданий, нужно активировать "Больше опций". В "Начальный текст" записываем названия столбцов через запятую и второй строку делаем пустой.
Сохранение в формате SQL
Формат результата:
[% "INSERT INTO sqi VALUES('" _ query _ "', '" _ p1.sqi _ "', '" _ p1.rating _ "')\n" %]
Пример результата:
INSERT INTO sqi VALUES('google.com', '122000', '87')
INSERT INTO sqi VALUES('yandex.ru', 'none', '92')
INSERT INTO sqi VALUES('https://a-parser.com', '200', '')
INSERT INTO sqi VALUES('vk.com', '326000', '73')
INSERT INTO sqi VALUES('facebook.com', '117000', '66')
Дамп результатов в JSON
Формат результата:
[% data = {};
data.query = query;
data.sqi = p1.sqi;
data.rating = p1.rating; %]$data.json\n
Пример результата:
{"query":"vk.com","rating":73,"sqi":326000}
{"query":"google.com","rating":87,"sqi":122000}
{"query":"https://a-parser.com","rating":"","sqi":200}
{"query":"yandex.ru","rating":92,"sqi":"none"}
{"query":"facebook.com","rating":66,"sqi":117000}