A-Parser - парсер для профессионалов SEO

8-й сборник статей. В нем мы научимся парсить ссылки с GET параметрами, искать в поиске Google и скачивать документы, а также узнаем как очищать очередь заданий через API. Поехали!

Сбор ссылок с GET параметрами
В техническую поддержку часто задают вопрос, как собирать ссылки с GET параметрами для поиска SQL уязвимостей. Поэтому, по ссылке выше мы расскажем как это сделать, используя стандартный парсер Google.

Поиск и скачивание Google документов
За последнее время уже несколько раз появлялись новости о том, что Google индексирует пользовательские документы, размещенные в их одноименном сервисе и открытые для доступа по ссылке. Соответственно все эти файлы становятся доступны в поиске. И пока Google разбирается с этим, по ссылке выше мы рассказываем как можно искать и скачивать такие документы.
...

Улучшения

• Добавлено 4 новых парсера Instagram
  • Social::Instagram::Post - парсинг данных о постах, в т.ч. комментарии и пользователей, которые лайкнули пост
  • Social::Instagram::Profile - парсинг данных о профилях и списка постов
  • Social::Instagram::Tag - парсинг постов по тегах
  • Social::Instagram::Geo - парсинг постов в определенной локации
• Добавлено 2 новых парсера SerpStat
  • Rank::SerpStat::Keyword - парсинг данных по ключевому слову
  • Rank::SerpStat::Domain - парсинг данных по доменам/ссылкам
• Добавлена поддержка дробных чисел в макросе подстановок {num}
• Добавлена поддержка Node.js в tools.js, теперь можно использовать возможности Node.js (включая модули) в обычных пресетах во всех полях кроме Parse custom results, фильтров и Конструкторов результатов
• Шаблоны Template...

В этом видеоуроке мы изучим один из инструментов для работы с запросами - макросы подстановок. С их помощью можно значительно увеличивать количество запросов, листать страницы и многое другое.


В уроке рассмотрено:

• макрос {num} на примерах прохода по страницам и перебора координат в парсере Google maps
• макрос {az} на примере парсинга с inurl: для увеличения кол-ва запросов и соответственно результатов
• макрос {each} на примере парсинга подсказок для генерации словосочетаний

Полезные ссылки:

• https://a-parser.com/wiki/query-format/#Макросы-подстановок - документация по макросам подстановок
• https://a-parser.com/resources/336/ - пресет по перебору координат в Maps::Google
• https://a-parser.com/resources/340/ - пресет для прохода по страницам
• https://a-parser.com/resources/341/ - пресет для парсинга с inurl:...

33-й сборник рецептов, в котором мы будем собирать данные из Google maps в указанной местности, спарсим блок вопросов и ответов в поиске Гугла и научимся использовать файлы целиком в качестве запросов. Поехали!

Сбор всех организаций в определенной местности
Начиная с версии 1.2.482 в A-Parser появились парсеры карт Google и Яндекс. Принцип работы обоих одинаков - в настройках указываются координаты точки и зум, парсер собирает результаты поиска по ключевым словам в этой точке и области вокруг нее, ограниченной зумом. Но если стоит задача собрать данные, например, со всего города, то для ее решения нужно указывать диапазон координат и "заставить" парсер пройтись по ним. Как это сделать, а также пример пресета - все это показано по ссылке выше.

Парсер собирающий вопросы и ответы из выдачи Google
Google по некоторым запросам показывает в поисковой выдаче блок вопросов и...

Улучшения

• Движок v8 обновлен до версии 7.5, помимо увеличения скорости есть множество улучшений в поддержке новых возможностей языка JavaScript
• В SE::Yandex в массив $ads добавлена переменная $visiblelink, в которой содержится видимая ссылка
• В Rank::Bukvarix::Domain добавлена переменная $totalcount которая содержит количество результатов
• В SE::Yahoo добавлена опция Not found is error, указывающая, считать ли отсутствие результатов ошибкой

Исправления в связи с изменениями в выдаче

• Исправлен парсинг $title в Shop::Yandex::Market
• В SE::Google::Modern исправлен парсинг видео в мобильной выдаче
• В Maps::Yandex исправлен парсинг рейтингов
• Исправлена проверка получаемого контента в SE::Yahoo
• SE::DuckDuckGo, Shop::Amazon,...