A-Parser - парсер для профессионалов SEO

Итак, продолжаем серию статей с рецептами применения A-parser: комплексные примеры с одновременным использованием различного функционала парсера.

Проверяем наличие мобильной версии для 1000000 сайтов

Работаем с большими объемами данных и учимся искать совпадения в raw data.

• за 8 часов работы данного задания мы узнали что почти 41% самых посещаемых сайтов не имеют мобильных версий. Кто знает, возможно обзаведясь мобильной версией, они стали бы еще более посещаемыми?

По списку запросов получаем страницы, CMS, PR, e-mail из whois

Комплексное задание, выполняемое в 2 этапа, в котором мы учимся работать с несколькими парсерами, регулярными выражениями, а также красиво выводим результаты во многоуровневые каталоги и несколько файлов.

• на первом этапе используется 1 парсер, на втором - 3
• в конструкторе...

С помощью данного софта задействованы основные возможности парсера A-Parser при генерации сайтов программой PandoraBox.

Обсуждение на форуме A-Parser'а и ссылка на сайт генератора

Применяет возможности А-Парсера для:

• Парсинга релевантного текста
• Парсинга релевантных картинок
• Парсинга релевантных видео роликов

Понимает какие ключи уже обработаны и не парсит одно и тоже дважды
С программой идут готовые пресеты, которые достаточно импортировать и можно запускать генерацию
Спаршенные данные программа структурировано раскладывает в файлы и папки
Спаршенный текст программа чистит от мусора по множеству признаков

В комплекте с программой идет набор дополнительных макросов:

• Макрос вывода релевантного текста с подмешанными ключами
• Макрос вывода релевантного текста без ключей
• Макрос вывода релевантной картинки
• Макрос вывода релевантной картинки как...

Улучшения

• В конструкторе результатов и фильтрах теперь возможно использовать произвольный шаблон в качестве аргумента для преобразования или фильтрации
• В парсер SE::Yandex добавлена возможность выбора домена yandex.com для парсинга
• Добавлен новый поисковик SE::Ask с американской выдачей Google
• Добавлен новый поисковик SE::Comcast с американской выдачей Google
• Добавлена статистика для завершенных заданий, а также отображение общего времени выполнения задания
• Добавлен объект $request, который доступен при форматировании результата и позволяет извлечь любую информацию о текущем запросе, а также о всех редиректах выполненных перед конечным запросом

Исправления

• Парсер мог заблокировать файл результата после завершения задания
• Исправлена некорректная обработка <base href= в некоторых случаях
• Парсер вылетал при использовании инструмента генерации произвольного User-Agent...

Все возможности новой версии можно протестировать в демо версии A-Parser'а

Улучшения

• Добавлена возможность уникализировать результаты созданные с помощью Конструктора результатов
• Добавлена возможность передавать дополнительные параметры на сервис распознавания каптчи(например специальные настройки для CapMonster)
• В парсер SE::Bing::Images добавлена возможность отключить безопасный поиск
• В парсер SE::YouTube добавлен фильтр по 4K видео
• Добавлена возможность применять Конструктор запросов после подстановок запросов
• В парсер SE::Bing добавлена возможность парсить связанные кейворды в глубину, автоматически подставляя новые кейворды в запросы(Parse to level)
• Переработан выбор файлов запросов, теперь вложенные директории отображаются только при клике по ним

Исправления в связи с изменениями в выдачи

• Исправлен парсер...

Рады представить онлайн демо версию A-Parser, в которой можно ознакомиться со всеми возможностями перед покупкой парсера или перед переходом на новую версию

Демо версия предоставляет доступ к A-Parser установленному на нашем сервере, период тестирования - 6 часов, по истечению этого времени все настройки автоматически будут сброшены

Ограничения демо версии:

• Результаты парсинга не доступны для загрузки
• Максимальное число потоков - 100
• Парсинг возможен только с использованием прокси