A-Parser - парсер для профессионалов SEO

сен
13
by Support at 14:59
(135 Просмотров / 0 Симпатии)
0 Комментарии
В 5-м сборнике статей на реальном примере будет показано, как создать свой канал в Телеграме и полностью автоматизировать его наполнение контентом. Также мы продолжаем цикл статей по работе с OpenCart и во 2-й части будет рассмотрен вопрос массового добавления товаров. Как обычно, в каждой статье приложены готовые JS парсеры, используя которые, можно на реальных примерах изучить описанные методы и поэксперементировать с ними. Поехали!

Полноценный Telegram канал на базе A-Parser
В этой статье будет описан способ создания полноценного канала в Telegram c автоматизированным сбором контента и постингом сообщений через заданные интервалы. И конечно, все это на базе A-Parser. Все подробности, а также готовые пресеты - по ссылке выше.


Работаем с OpenCart. Часть 2. Массовое добавление товаров
Мы продолжаем цикл статей о заливке товаров в интернет-магазин на базе OpenCart. Во...
сен
03
by Support at 12:13
(378 Просмотров / 1 Симпатии)
0 Комментарии
Улучшения
  • Добавлен парсер SE::Yandex::SQI SE::Yandex::SQI - парсер Индекса качества сайта (Яндекс ИКС)
  • Оптимизирована работа Очереди заданий
  • Добавлена поддержка множества экзотических кодировок китайского языка
  • Добавлена опция Save as UTF-8 with BOM, которая решает проблему определения кодировки при открытии сформированного CSV в Excel
  • SE::Youtube SE::Youtube полностью переписан с использованием современного юзерагента
  • SE::AOL::Suggest SE::AOL::Suggest оптимизирован и переписан на JavaScript
  • Улучшена работа SE::Google SE::Google, SE::Google::Modern SE::Google::Modern, Rank::MajesticSEO Rank::MajesticSEO, SE::Bing SE::Bing и Shop::Amazon Shop::Amazon
Исправления в связи с изменениями в выдаче
  • Исправлен парсинг мобильной выдачи в SE::Google::Modern SE::Google::Modern
  • Исправлено определение опечаток в SE::Google SE::Google и SE::Google::Modern SE::Google::Modern
  • Исправлена ситуация, при...
авг
23
by Support at 10:42
(185 Просмотров / 0 Симпатии)
0 Комментарии
Продолжение цикла уроков по созданию JavaScript парсеров. В этом видео будет показано, как "на лету" добавлять запросы в задание и многопоточно их обрабатывать.


В одной из наших статей мы рассмотрели способ разработки парсера, который собирает ТОП 10 из выдачи поисковика, а затем по очереди парсит нужные данные по полученным ссылкам. Вроде все неплохо, но если у вас не 10 запросов, несколько тысяч? Задание будет выполняться очень долго, а время это самый драгоценный и не восполняемый ресурс.
К счастью в A-Parser есть такая замечательная вещь, как многоуровневый парсинг, который позволяет многократно увеличить скорость парсинга, и в этом видео мы рассмотрим как этой возможностью пользоваться.

В этом уроке рассмотрено:
- Реализация раздельных процедур парсинга в зависимости от внешних условий, а именно - уровня парсинга
- Подстановка запросов в задание "на лету"
- Использование стандартных...
авг
13
by Support at 11:31
(311 Просмотров / 4 Симпатии)
2 Комментарии
25-й сборник рецептов. В нем будет показан способ периодического парсинга с дозаписью результатов в таблицу, рассмотрен парсинг с помощью Node.js модуля Cheerio без использования регулярных выражений, а также показан парсер первой мобильной поисковой системы в Китае - Shenma. Поехали!

Периодическая проверка обратных ссылок с дозаписью результатов в таблицу
Пример решения одной из наиболее запрашиваемых задач - дозапись периодически получаемых результатов в одну и ту же таблицу. В качестве хранилища данных используется SQLite, при каждом запуске данные добавляются и выводятся в таблицу. Готовый пресет с комментариями - по ссылке выше.

Парсер поисковой системы Haosou
Как известно, в основе почти любого парсера используются регулярные выражения, реже - XPath. Работа с этими методами требует определенных знаний, что в свою очередь может вызывать некоторые сложности. Поэтому...
июл
30
by Support at 17:38
(869 Просмотров / 3 Симпатии)
0 Комментарии
Улучшения
  • Добавлен новый парсер Rank::Curlie Rank::Curlie
  • В HTML::LinkExtractor HTML::LinkExtractor улучшена обработка портов по умолчанию, теперь ссылки с портом приводятся к каноническому виду
  • Оптимизирована работа SE::Yandex::WordStat SE::Yandex::WordStat
  • Улучшена работа с сессиями в SE::Yandex SE::Yandex
  • Улучшена обработка некорректных ответов в SE::Google::Suggest SE::Google::Suggest
Исправления в связи с изменениями в выдаче
Исправления
  • Исправлена проблема с запуском на некоторых linux дистрибутивах
  • Исправлена загрузка node.js модулей в редких случаях на Windows
  • JS парсеры: добавлена поддержка dns.lookup и улучшена совместимость с модулем mysql2
  • JS парсеры: исправлен util.promisify
  • Исправлена работа некоторых Node.js модулей
  • В SE::Google::Modern SE::Google::Modern и...