Сборник рецептов #29: язык ключевых слов, нормализация запросов и сбор тайтлов в глубину

29-й сборник рецептов, в котором опубликован JS парсер для определения языка ключевых слов, предложен вариант решения для нормализации запросов, а также показано, как парсить карту сайта и одновременно собирать тайтлы страниц. Поехали!

Определение языка ключевого слова через Яндекс Переводчик
В A-Parser есть несколько встроенных парсеров для определения языка страницы. Но иногда возникают задачи отфильтровать список ключевых слов по одному или нескольким языкам. Определять язык текстовой строки довольно неплохо умеют различные переводчики, поэтому для решения задачи был выбран Яндекс Переводчик, и по ссылке выше доступен JavaScript парсер, реализующий определение языка ключевого слова.


Нормализатор запросов
При сборе семантического ядра часто возникает вопрос - какая форма запроса является наиболее частотной, например: "купить диван" или "диван купить". Если запрос 3-х или 4-хсловный, то вариантов становится еще больше. Решение такой задачи на базе парсера WordStat доступно в нашем Каталоге по ссылке выше.


Карта сайта и заголовки
Сбор карты сайта - это довольно простая задача для А-Парсера, которая решается встроенным парсером ссылок. Но иногда, кроме простого сбора ссылок, нужно еще и собрать тайтлы. И это можно делать параллельно с проходом по ссылкам в глубину. Готовый пресет доступен по ссылке выше.


Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Спойлер: Предыдущие сборники

• Сборник рецептов #1: Определяем CMS, оцениваем частотность ключевых слов и парсим Вконтакте
• Сборник рецептов #2: собираем форумы для XRumer, парсим email со страниц контактов
• Сборник рецептов #3: мобильные сайты, несколько парсеров, позиции ключевых слов
• Сборник рецептов #4: поиск в выдаче, парсинг интернет-магазина и скачиваем файлы
• Сборник рецептов #5: ссылки из JS, паблик прокси и карта сайта
• Сборник рецептов #6: парсим базу номеров телефонов и сохраняем результаты красиво
• Сборник рецептов #7: парсим RSS, качаем картинки и фильтруем результат по заголовкам
• Сборник рецептов #8: парсим 2GIS, Google translate и подсказки Youtube
• Сборник рецептов #9: проверяем сезонность ключевых слов и их полезность
• Сборник рецептов #10: пишем кастомный парсер поисковика и парсим дерево категорий
• Сборник рецептов #11: парсим Авито, работаем с JavaScript, анализируем тексты и участвуем в акции!
• Сборник рецептов #12: парсим Instagram, собираем статистику и делаем свои парсеры подсказок
• Сборник рецептов #13: сохраняем результат в файл дампа SQL и знакомимся с $tools.query
• Сборник рецептов #14: используем XPath, анализируем сайты и создаем комбинированные пресеты
• Сборник рецептов #15: анализируем скорость и юзабилити сайтов, парсим Яндекс.Картинки и Baidu
• Сборник рецептов #16: парсинг OpenSiteExplorer с авторизацией, Яндекс.Каталога и Яндекс.Новостей
• Сборник рецептов #17: картинки из Flickr, язык ключевых слов, список лайков в ВК
• Сборник рецептов #18: скриншоты сайтов, lite выдача Яндекса и проверка сайтов
• Сборник рецептов #19: публикация сообщений в Wordpress, парсинг Chrome Webstore и AliExpress
• Сборник рецептов #20: автообновление цен в ИМ, анализ текстов и регистрация аккаунтов
• Сборник рецептов #21: уведомления в Telegram из A-Parser, мультифильтр и парсинг IMDb
• Сборник рецептов #22: проверка индексации в нескольких ПС, многоуровневый парсинг и поиск сабдоменов
• Сборник рецептов #23: категории сайтов, парсинг в YML и преобразование дат
• Сборник рецептов #24: уведомление в Telegram об экспайре доменов, чекер РКН и работа с SQLite
• Сборник рецептов #25: дозапись результатов в таблицу, парсинг без регулярок и китайские поисковики
• Сборник рецептов #26: мобильные версии сайтов, список регионов Яндекса и упоминания домена в индексе
• Сборник рецептов #27: сбор списка user-agent и парсинг Авито с записью в MySQL
• Сборник рецептов #28: скидки в Google Play, автоматизация парсинга WordStat и типы Яндекс подсказок