Сборник рецептов #14: используем XPath, анализируем сайты и создаем комбинированные пресеты

14-й выпуск Сборника рецептов. Сегодня мы научимся делать кастомные парсеры с помощью XPath, будем анализировать страницы сайта и попробуем делать комбинированные пресеты. Кроме этого ниже обновление 2-х самых популярных пресетов и небольшой сюрприз Поехали!

Быстрое создание кастомного парсера поисковой системы с помощью XPath
В A-Parser есть парсеры для большинства популярных поисковых систем. Но реализовать и поддерживать парсеры для абсолютно всех существующих поисковиков очень сложно, поэтому нам на помощь приходит Net::HTTP с его замечательной возможностью парсить практически все. В данной статье речь пойдет о том, как с помощью XPath и Net::HTTP довольно быстро и легко создать кастомный парсер почти любой поисковой системы. Подробности - по ссылке выше.


Анализ всех страниц сайта
Администраторы сайтов и SEO-специалисты довольно часто сталкиваются с задачей анализа и мониторинга всех страниц сайта. Ранее мы уже публиковали Универсальный чекер страниц, который позволяет проверить доступность страниц на сайте. Теперь мы предоставляем вашему вниманию пресет для анализа всех страниц, который выводит глубину, время ответа, код и статус ответа, размер страницы и, если есть редирект, то конечный адрес редиректа. Все детали и пресет - по ссылке выше.


Как сделать парсинг и скан сайтов в одном пресете
Возможность использовать несколько парсеров в одном задании - это одно из преимуществ А-Парсера. Простая демонстрация такого функционала показана по ссылке выше.


Кроме этого:

• Обновлен пресет парсинга Авито
• По многочисленным просьбам полностью переделан пресет парсинга 2GIS. Теперь он еще быстрее! А для тех, кто внимательно читает наши статьи - в посте есть небольшой подарок: полная база 2GIS.

Еще больше различных рецептов в нашем Каталоге примеров!

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Спойлер: Предыдущие сборники

• Сборник рецептов #1: Определяем CMS, оцениваем частотность ключевых слов и парсим Вконтакте
• Сборник рецептов #2: собираем форумы для XRumer, парсим email со страниц контактов
• Сборник рецептов #3: мобильные сайты, несколько парсеров, позиции ключевых слов
• Сборник рецептов #4: поиск в выдаче, парсинг интернет-магазина и скачиваем файлы
• Сборник рецептов #5: ссылки из JS, паблик прокси и карта сайта
• Сборник рецептов #6: парсим базу номеров телефонов и сохраняем результаты красиво
• Сборник рецептов #7: парсим RSS, качаем картинки и фильтруем результат по заголовкам
• Сборник рецептов #8: парсим 2GIS, Google translate и подсказки Youtube
• Сборник рецептов #9: проверяем сезонность ключевых слов и их полезность
• Сборник рецептов #10: пишем кастомный парсер поисковика и парсим дерево категорий
• Сборник рецептов #11: парсим Авито, работаем с JavaScript, анализируем тексты и участвуем в акции!
• Сборник рецептов #12: парсим Instagram, собираем статистику и делаем свои парсеры подсказок
• Сборник рецептов #13: сохраняем результат в файл дампа SQL и знакомимся с $tools.query