Детальный обзор Collect full region в Maps::Google

Maps::Google - встроенный парсер который собирает данные организаций на Google картах по ключевому запросу. Для его работы нужна лицензия A-Parser Pro или A-Parser Enterprise.


Описание опции "Collect full region"

Опция "Collect full region" по умолчанию не включена. Для использования нужно её выбрать:


Принимает на вход ID региона или список, где каждая строка это ID региона (или название локации). Тут также можно задавать код точки, например N64954483.
Далее можно указать шаг в километрах (Step in kilometers), для плотной застройки можно указывать например 0.5 или 0.2 километра.
И указать OSM Mode которая имеет два значения:

• Location code (по умолчанию) - указание кода локации, например R2804754.
• Location string - указание названия локации, например название города Canillo. В этом случае парсер сам сделает поиск локации по названию и выберет из поиска в OpenStreetMap первую найденную локацию, а если нет локации, то берёт точку.

При указании OSM Mode = Location string имеется приоритетность, которая сначала ищет локацию с полигоном и если такой нет, то берёт первую точку. Поэтому для более точного парсинга лучше использовать Location code.



Информацию о границах региона A-Parser получает на основе сервиса OpenStreetMap, в качестве регионов могут быть страны, города, районы и т.д.

Например, локация по коду R44915:
https://nominatim.openstreetmap.org/ui/details.html?osmtype=R&osmid=44915&class=boundary


Парсер получает из OpenStreetMap полигон (массив с координатами границ локации) и делит его на квадраты, которые далее подает как отдельные запросы и в многопоточном режиме парсит по точкам:



Алгоритм работы парсера Maps::Google




Рекомендации по парсингу очень больших территорий

• Не нужно парсить гигантские локации, например США, Китай или Россия, парсер будет очень долго собирать координаты и создастся впечатление что парсер завис (но это не так). Лучше соберите список городов и парсьте по нему.
• Если все же вы хотите парсить гигантские территории или же хотите собрать определенную местность которой нет на карте в OpenStreetMap, то ознакомьтесь с этим уроком (там есть пример): Парсинг Google Maps для сбора всех организаций в определенной местности.
• Используя опцию "Collect full region" для более точного парсинга лучше использовать Location code.
• Используя опцию "Collect full region" нельзя ставить на паузу задание.
• Используя опцию "Collect full region" опция Zoom будет выбрана автоматически и вам ее отдельно выставлять не нужно.

Как собрать максимум результатов

Чтобы собрать все возможные места в определенной локации нужно на вход парсеру указать все возможные запросы (указать ключевые слова, как если бы это делали в браузере) по которым будет происходить поиск в картах Google.

Для сбора ключевых слов можно использовать встроенные парсеры кейвордов.


Скорость работы

В качестве теста скорости работы рассмотрим локацию London и запрос pizza. Все остальные опции по умолчанию. И укажем Конфиг потоков на 100 потоков.

Для парсинга используются прокси от A-Parser. Детальная информация о прокси в Личном кабинете.

Обычные (Unlimited) прокси от A-Parser


Premium прокси от A-Parser


Как видно, скорость очень высокая как на обычных прокси, так и на премиум. По показателю общей скорости (среднее кол-во выполненных запросов в минуту за всё время работы задания) видно на обычных прокси было 1028 выполненных запросов в минуту, а на премиум прокси - 1573, т.е. в данном случае парсинг Гугл карт на премиум прокси быстрее на 50%.