A-Parser - парсер для профессионалов SEO

Очередной, 4-й выпуск сборника рецептов. Поехали!

Анализ выдачи гугла на наличие ключа в тайтле и дескрипшене
Пользуемся возможностями шаблонизатора Template Toolkit. Используем циклы и поиск. А также сохраняем разные результаты в разные файлы.

В данном примере осуществляется поиск ключа в анкорах и сниппетах, и в зависимости от результата, сохраняет их в 1 из 3 соответствующих файлов. Все подробности, а также сохранение в 4-ре файла по ссылке выше.

Парсинг товаров с сайта
Парсим интернет-магазин и формируем свою HTML-страницу с результатами.

Суть задания заключается в том, чтобы спарсить названия и характеристики товара из интернет-магазина, сохранив привязку к категории и фото товара. Как все это сделать - по ссылке выше.

Скачиваем файлы
Сохраняем на жесткий диск...

Итак, продолжаем серию статей с рецептами применения A-parser: комплексные примеры с одновременным использованием различного функционала парсера.

Проверяем наличие мобильной версии для 1000000 сайтов

Работаем с большими объемами данных и учимся искать совпадения в raw data.

• за 8 часов работы данного задания мы узнали что почти 41% самых посещаемых сайтов не имеют мобильных версий. Кто знает, возможно обзаведясь мобильной версией, они стали бы еще более посещаемыми?

По списку запросов получаем страницы, CMS, PR, e-mail из whois

Комплексное задание, выполняемое в 2 этапа, в котором мы учимся работать с несколькими парсерами, регулярными выражениями, а также красиво выводим результаты во многоуровневые каталоги и несколько файлов.

• на первом этапе используется 1 парсер, на втором - 3
• в конструкторе...

С помощью данного софта задействованы основные возможности парсера A-Parser при генерации сайтов программой PandoraBox.

Обсуждение на форуме A-Parser'а и ссылка на сайт генератора

Применяет возможности А-Парсера для:

• Парсинга релевантного текста
• Парсинга релевантных картинок
• Парсинга релевантных видео роликов

Понимает какие ключи уже обработаны и не парсит одно и тоже дважды
С программой идут готовые пресеты, которые достаточно импортировать и можно запускать генерацию
Спаршенные данные программа структурировано раскладывает в файлы и папки
Спаршенный текст программа чистит от мусора по множеству признаков

В комплекте с программой идет набор дополнительных макросов:

• Макрос вывода релевантного текста с подмешанными ключами
• Макрос вывода релевантного текста без ключей
• Макрос вывода релевантной картинки
• Макрос вывода релевантной картинки как...

Улучшения

• В конструкторе результатов и фильтрах теперь возможно использовать произвольный шаблон в качестве аргумента для преобразования или фильтрации
• В парсер SE::Yandex добавлена возможность выбора домена yandex.com для парсинга
• Добавлен новый поисковик SE::Ask с американской выдачей Google
• Добавлен новый поисковик SE::Comcast с американской выдачей Google
• Добавлена статистика для завершенных заданий, а также отображение общего времени выполнения задания
• Добавлен объект $request, который доступен при форматировании результата и позволяет извлечь любую информацию о текущем запросе, а также о всех редиректах выполненных перед конечным запросом

Исправления

• Парсер мог заблокировать файл результата после завершения задания
• Исправлена некорректная обработка <base href= в некоторых случаях
• Парсер вылетал при использовании инструмента генерации произвольного User-Agent...

Все возможности новой версии можно протестировать в демо версии A-Parser'а

Улучшения

• Добавлена возможность уникализировать результаты созданные с помощью Конструктора результатов
• Добавлена возможность передавать дополнительные параметры на сервис распознавания каптчи(например специальные настройки для CapMonster)
• В парсер SE::Bing::Images добавлена возможность отключить безопасный поиск
• В парсер SE::YouTube добавлен фильтр по 4K видео
• Добавлена возможность применять Конструктор запросов после подстановок запросов
• В парсер SE::Bing добавлена возможность парсить связанные кейворды в глубину, автоматически подставляя новые кейворды в запросы(Parse to level)
• Переработан выбор файлов запросов, теперь вложенные директории отображаются только при клике по ним

Исправления в связи с изменениями в выдачи

• Исправлен парсер...