A-Parser - парсер для профессионалов SEO

7-й сборник статей. В нем мы научимся сохранять результаты в виде Excel файлов, продолжим изучение работы через API, а также ознакомимся с 5-ю способами автоматизации последовательного выполнения нескольких заданий. Поехали!

Сохранение результатов в формате Excel (.xlsx)
Вывод результатов в виде xlsx файлов (стандартный формат Excel) - это очень популярный вопрос среди пользователей A-Parser. Ранее такой возможности не было, но с добавлением поддержки Node.js модулей это стало возможным. Поэтому мы публикуем статью, в которой показан реальный пример парсинга с сохранением в Excel. Ознакомиться со всеми подробностями можно по ссылке выше.


Работаем с API, часть 2
Это вторая часть из цикла статей по работе с A-Parser через API. В ней на примере парсинга e-mail будет рассмотрен метод addTask. Все детали - по ссылке выше....

Улучшения

• В SE::Yandex добавлен парсинг значков
• В SE::Google::Modern добавлена опция Disable autocorrect, которая позволяет отключить автоисправление Гугла и парсить выдачу именно по указанному запросу
• В SE::Yahoo добавлен выбор страны, языка и Safe Search, обновлен список доменов
• В Net::DNS добавлена возможность выводить записи любого типа
• В Rank::MajesticSEO добавлена проверка контента и поддержка сессий
• Значительно улучшен SE::Google::Suggest, добавлены новые возможности
• В SE::IxQuick добавлен параметр Family filter, позволяет выбрать уровень фильтрации
• В Shop::Amazon добавлена возможность парсить количество продавцов для каждого товара
• Теперь в SE::Yandex при получении 404 кода ответа парсер будет повторять попытку, также улучшена проверка контента
• Теперь в...

30-й сборник рецептов, в котором опубликован пресет для оценки сайтов с помощью open source инструмента Lighthouse, рассмотрен способ форматирования дат в парсере SE::Google::Trends, а также показан способ поиска удаленных доменов. Поехали!

Оценка страниц с использованием Lighthouse
Еще один сервис по оценке сайтов, на этот раз от Google. С его помощью можно оценить веб-страницу по 4-м критериям: Performance, Accessibility, Best Practices и SEO. Пресет доступен в нашем Каталоге по ссылке выше.

Форматирование даты в парсере SE::Google::Trends
В A-Parser есть парсер, который позволяет собирать данные из Google Trends. Но даты в этом парсере возвращаются в формате Unixtime, что немного усложняет анализ получаемых данных. По ссылке выше показан простой способ преобразования дат к более удобному виду....

29-й сборник рецептов, в котором опубликован JS парсер для определения языка ключевых слов, предложен вариант решения для нормализации запросов, а также показано, как парсить карту сайта и одновременно собирать тайтлы страниц. Поехали!

Определение языка ключевого слова через Яндекс Переводчик
В A-Parser есть несколько встроенных парсеров для определения языка страницы. Но иногда возникают задачи отфильтровать список ключевых слов по одному или нескольким языкам. Определять язык текстовой строки довольно неплохо умеют различные переводчики, поэтому для решения задачи был выбран Яндекс Переводчик, и по ссылке выше доступен JavaScript парсер, реализующий определение языка ключевого слова.

Нормализатор запросов
При сборе семантического ядра часто возникает вопрос - какая форма запроса является наиболее частотной, например: "купить диван" или "диван купить". Если запрос 3-х...

Улучшения

• Улучшение Просмотра логов:
  • Фильтр по неудачным/выполняющимся задачам
  • Сортировка по времени выполнения
  • Поддержка пагинации и поиска по логам
  • Отображение парсера и запроса
• Добавлен новый инструмент tools.memory - key/value хранилище в памяти
• Добавлен новый парсер SE::Yandex::SafeBrowsing, который позволяет проверить сайт в блэклисте Яндекса
• В SE::Google::Trends реализована возможность сравнивать данные по ключевым словам
• Улучшения в логике Shop::Amazon
• Улучшена стабильность JavaScript парсеров (движка v8)
• JS парсеры: добавлен метод .addElement, который позволяет заполнять массивы в results более удобным способом
• JS парсеры: добавлена опция resultArraysWithObjects для this.parser.request, которая позволяет возвращать массив объектов в результатах при вызове другого парсера
• JS парсеры: добавлено кэширование DNS ответов

...