Maps::Google - встроенный парсер который собирает данные организаций на Google картах по ключевому запросу. Для его работы нужна лицензия A-Parser Pro или A-Parser Enterprise.Описание опции "Collect full region"
Опция "Collect full region" по умолчанию не включена. Для использования нужно её выбрать:
Принимает на вход ID региона или список, где каждая строка это ID региона (или название локации). Тут также можно задавать код точки, например N64954483.
Далее можно указать шаг в километрах (Step in kilometers), для плотной застройки можно указывать например 0.5 или 0.2 километра.
И указать OSM Mode которая имеет два значения:
- Location code (по умолчанию) - указание кода локации, например R2804754.
- Location string - указание названия локации, например название города Canillo. В этом случае парсер сам сделает поиск локации по названию и выберет из поиска в OpenStreetMap первую найденную локацию, а если нет локации, то берёт точку.
Информацию о границах региона A-Parser получает на основе сервиса OpenStreetMap, в качестве регионов могут быть страны, города, районы и т.д.
Например, локация по коду R44915:
https://nominatim.openstreetmap.org/ui/details.html?osmtype=R&osmid=44915&class=boundary
Парсер получает из OpenStreetMap полигон (массив с координатами границ локации) и делит его на квадраты, которые далее подает как отдельные запросы и в многопоточном режиме парсит по точкам:
Алгоритм работы парсера Maps::Google
Рекомендации по парсингу очень больших территорий
- Не нужно парсить гигантские локации, например США, Китай или Россия, парсер будет очень долго собирать координаты и создастся впечатление что парсер завис (но это не так). Лучше соберите список городов и парсьте по нему.
- Если все же вы хотите парсить гигантские территории или же хотите собрать определенную местность которой нет на карте в OpenStreetMap, то ознакомьтесь с этим уроком (там есть пример): Парсинг Google Maps для сбора всех организаций в определенной местности.
- Используя опцию "Collect full region" для более точного парсинга лучше использовать Location code.
- Используя опцию "Collect full region" нельзя ставить на паузу задание.
- Используя опцию "Collect full region" опция Zoom будет выбрана автоматически и вам ее отдельно выставлять не нужно.
Как собрать максимум результатов
Чтобы собрать все возможные места в определенной локации нужно на вход парсеру указать все возможные запросы (указать ключевые слова, как если бы это делали в браузере) по которым будет происходить поиск в картах Google.
Для сбора ключевых слов можно использовать встроенные парсеры кейвордов.
Скорость работы
В качестве теста скорости работы рассмотрим локацию London и запрос pizza. Все остальные опции по умолчанию. И укажем Конфиг потоков на 100 потоков.
Для парсинга используются прокси от A-Parser. Детальная информация о прокси в Личном кабинете.
Обычные (Unlimited) прокси от A-Parser
Premium прокси от A-Parser
Как видно, скорость очень высокая как на обычных прокси, так и на премиум. По показателю общей скорости (среднее кол-во выполненных запросов в минуту за всё время работы задания) видно на обычных прокси было 1028 выполненных запросов в минуту, а на премиум прокси - 1573, т.е. в данном случае парсинг Гугл карт на премиум прокси быстрее на 50%.
