A-Parser - парсер для профессионалов SEO

Улучшения

• Добавлен новый парсер Rank::Curlie
• В HTML::LinkExtractor улучшена обработка портов по умолчанию, теперь ссылки с портом приводятся к каноническому виду
• Оптимизирована работа SE::Yandex::WordStat
• Улучшена работа с сессиями в SE::Yandex
• Улучшена обработка некорректных ответов в SE::Google::Suggest

Исправления в связи с изменениями в выдаче

• Исправлены SE::Bing, SE::DuckDuckGo и Rank::MajesticSEO

Исправления

• Исправлена проблема с запуском на некоторых linux дистрибутивах
• Исправлена загрузка node.js модулей в редких случаях на Windows
• JS парсеры: добавлена поддержка dns.lookup и улучшена совместимость с модулем mysql2
• JS парсеры: исправлен util.promisify
• Исправлена работа некоторых Node.js модулей
• В SE::Google::Modern и...

Продолжение цикла уроков по созданию JavaScript парсеров. В этом видео показано, как работать с базой данных SQLite в JS парсере.



В этом уроке рассмотрены:
- Знакомство с языком запросов SQL
- Создание простейшей базы данных SQLite при работе с JS-парсером
- Получение и запись данных в базу SQLite при работе с JS-парсером

Ссылки:
- http://www.sql-tutorial.ru/ru/content.html - учебник по SQL
- http://samoychiteli.ru/document29118.html - тоже учебник по SQL
- https://finance.i.ua/converter/ - сайт, который использовался в качестве примера
- https://a-parser.com/resources/276/ - статья и готовый парсер

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

В 4-м сборнике статей будет рассмотрено добавление товаров в OpenCart, а также описано создание универсального парсера JSON. В каждой статье приложены готовые JS парсеры, используя которые, можно на реальных примерах изучить описанные методы и поэксперементировать с ними. Поехали!

Работаем с OpenCart. Часть 1. Вступление.
Данная статья начинает цикл об одной из наиболее часто запрашиваемых возможностей - заливке товаров в интернет-магазин. A-Parser - это универсальный инструмент, который кроме прочего может решать и такие задачи. Для тестов выбран движок OpenCart, в 1-й статье будет рассмотрена авторизация, получение списка товаров и добавление товара. Подробности, а также пример парсера - по ссылке выше.


Парсинг JSON ответов и работа с их содержимым
JSON - это довольно популярный способ предоставления данных, который, например, часто используется при работе с API...

Улучшения

• В Rank::CMS обновлена база определяемых движков, теперь поддерживается одновременно старый и новый формат apps.json (при обновлении рекомендуется также обновить apps.json)
• SE::Baidu полностью переписан:
  • добавлен парсинг related keywords
  • убран $cachedate из $serp, т.к. его похоже больше нет в выдаче
  • добавлена опция Get full link, преобразующая обрезанные ссылки в полные
  • исправлены некоторые регулярные выражения и баг с двойным http в ссылках
• Изменения в Rank::MajesticSEO:
  • Добавлен параметр Check type, позволяет выбрать тип проверки: Root Domain/Subdomin/URL
  • Убран параметр Extract domain
  • Исправлена работа в некоторых случаях
• Улучшена отзывчивость в редакторе JavaScript парсеров
• Улучшена работа HTML::EmailExtractor, устранены зависания, которые возникали на определенных страницах
• Обновлен список регионов в парсерах...

24-й сборник рецептов. В нем мы научимся мониторить окончание срока регистрации доменов с уведомлением в Телеграм, сделаем альтернативный чекер сайтов в базе РКН, а также на простом примере парсера курсов валют изучим работу с базами данных. Поехали!

Получаем уведомления в Telegram об окончании срока регистрации доменов
Мониторинг сроков регистрации доменов - это довольно распространенная задача. A-Parser позволяет легко автоматизировать этот процесс. Более того, можно настроить получение прямо в Телеграм уведомлений о доменах, срок регистрации которых скоро закончится. Готовое решение для автоматической проверки с уведомлением - по ссылке выше.

Проверка блокировки РосКомНадзора через GitHub
В А-Парсере есть стандартный парсер Check::RosKomNadzor, который позволяет проверять наличие сайтов в базе РКН. Данные получаются напрямую из официального сервиса,...