A-Parser - парсер для профессионалов SEO

Улучшения

• В SE::Yandex добавлен парсинг значков
• В SE::Google::Modern добавлена опция Disable autocorrect, которая позволяет отключить автоисправление Гугла и парсить выдачу именно по указанному запросу
• В SE::Yahoo добавлен выбор страны, языка и Safe Search, обновлен список доменов
• В Net::DNS добавлена возможность выводить записи любого типа
• В Rank::MajesticSEO добавлена проверка контента и поддержка сессий
• Значительно улучшен SE::Google::Suggest, добавлены новые возможности
• В SE::IxQuick добавлен параметр Family filter, позволяет выбрать уровень фильтрации
• В Shop::Amazon добавлена возможность парсить количество продавцов для каждого товара
• Теперь в SE::Yandex при получении 404 кода ответа парсер будет повторять попытку, также улучшена проверка контента
• Теперь в...

30-й сборник рецептов, в котором опубликован пресет для оценки сайтов с помощью open source инструмента Lighthouse, рассмотрен способ форматирования дат в парсере SE::Google::Trends, а также показан способ поиска удаленных доменов. Поехали!

Оценка страниц с использованием Lighthouse
Еще один сервис по оценке сайтов, на этот раз от Google. С его помощью можно оценить веб-страницу по 4-м критериям: Performance, Accessibility, Best Practices и SEO. Пресет доступен в нашем Каталоге по ссылке выше.

Форматирование даты в парсере SE::Google::Trends
В A-Parser есть парсер, который позволяет собирать данные из Google Trends. Но даты в этом парсере возвращаются в формате Unixtime, что немного усложняет анализ получаемых данных. По ссылке выше показан простой способ преобразования дат к более удобному виду....

29-й сборник рецептов, в котором опубликован JS парсер для определения языка ключевых слов, предложен вариант решения для нормализации запросов, а также показано, как парсить карту сайта и одновременно собирать тайтлы страниц. Поехали!

Определение языка ключевого слова через Яндекс Переводчик
В A-Parser есть несколько встроенных парсеров для определения языка страницы. Но иногда возникают задачи отфильтровать список ключевых слов по одному или нескольким языкам. Определять язык текстовой строки довольно неплохо умеют различные переводчики, поэтому для решения задачи был выбран Яндекс Переводчик, и по ссылке выше доступен JavaScript парсер, реализующий определение языка ключевого слова.

Нормализатор запросов
При сборе семантического ядра часто возникает вопрос - какая форма запроса является наиболее частотной, например: "купить диван" или "диван купить". Если запрос 3-х...

Улучшения

• Улучшение Просмотра логов:
  • Фильтр по неудачным/выполняющимся задачам
  • Сортировка по времени выполнения
  • Поддержка пагинации и поиска по логам
  • Отображение парсера и запроса
• Добавлен новый инструмент tools.memory - key/value хранилище в памяти
• Добавлен новый парсер SE::Yandex::SafeBrowsing, который позволяет проверить сайт в блэклисте Яндекса
• В SE::Google::Trends реализована возможность сравнивать данные по ключевым словам
• Улучшения в логике Shop::Amazon
• Улучшена стабильность JavaScript парсеров (движка v8)
• JS парсеры: добавлен метод .addElement, который позволяет заполнять массивы в results более удобным способом
• JS парсеры: добавлена опция resultArraysWithObjects для this.parser.request, которая позволяет возвращать массив объектов в результатах при вызове другого парсера
• JS парсеры: добавлено кэширование DNS ответов

...

28-й сборник рецептов. В нем будет показан способ автоматизации парсинга данных из Wordstat, пример парсинга информации о приложениях со скидками в Google Play, а также готовое решение для сбора подсказок из Яндекс вместе с их типами. Поехали!

Парсинг приложений со скидками в Google Play
Периодически в Google Play разработчики предлагают скидки на приложения, иногда на короткий срок платные становятся полностью бесплатными. С помощью A-Parser можно искать подобные предложения. Кроме этого, в этом парсере собирается множество дополнительных данных и используется сохранение в sqlite базу данных, поэтому его можно рассматривать как еще один пример работы с базами данных в А-Парсере. Готовое решение доступно в каталоге по ссылке выше.

Парсер поисковых подсказок Яндекс
В A-Parser есть стандартный парсер Яндекс подсказок, который по заданным ключевым словам собирает...