В этом видео уроке рассмотрен способ сбора данных об организациях в указанной местности из Google Maps, используя встроенный парсер Гугл карт. Также показано как определить необходимые координаты на карте и задать их в парсере.
В уроке рассмотрено:
Парсинг карт Google с использованием Maps::Google
Пример получения координат для использования в макросах подстановок
Работа с макросами подстановок при наличии отрицательных чисел
Добавлен инструмент $tools.CSVline для простого создания CSV файлов
В связи с тестированием Гуглом новой верстки в поисковике, добавлена ее поддержка в SE::Google::Modern
В SE::Google::Modern в массив $serp добавлена переменная $amp, которая показывает, поддерживает ли страница AMP
В SE::Yandex в $serp.$i.label добавлена поддержка Турбо страниц, а также добавлен сбор типов меток сайтов
В Net::HTTP улучшена работа с редиректами, добавлена опция Follow common redirects
Теперь в Util::ReCaptcha2 можно указать хост для используемого сервиса разгадывания, а также в Provider url можно указывать адреса через запятую (актуально для XEvil и CapMonster), парсер будет использовать каждый из них в случайном порядке
35-й сборник результатов, где мы будем собирать комментарии из Youtube, искать контакты (телефоны и почты) на сайтах, а также парсить японскую выдачу Yahoo. Поехали!
Парсинг комментариев из Youtube
Представляем вашему вниманию JS парсер комментариев для видео на Youtube. С его помощью можно собирать тексты комментариев, а также информацию об авторах комментариев индивидуально для каждого видео. Также реализована возможность указывать количество страниц с комментарими, что позволяет при необходимости ограничить их сбор и тем самым увеличить скорость работы.
В этом видео уроке рассмотрен пример решения задачи по поиску страниц контактов у заданного списка сайтов. Также парсится тайтл и все это сохраняется в CSV файл.
В уроке рассмотрено:
парсинг поиска Google для получения ссылки на страницу контактов
парсинг главной страницы сайта для получения title
использование инструмента $tools.CSVline для форматирования файла результата