Продолжение цикла уроков по созданию JavaScript парсеров. В этом видео будет показано, как "на лету" добавлять запросы в задание и многопоточно их обрабатывать.
В одной из наших статей мы рассмотрели способ разработки парсера, который собирает ТОП 10 из выдачи поисковика, а затем по очереди парсит нужные данные по полученным ссылкам. Вроде все неплохо, но если у вас не 10 запросов, несколько тысяч? Задание будет выполняться очень долго, а время это самый драгоценный и не восполняемый ресурс.
К счастью в A-Parser есть такая замечательная вещь, как многоуровневый парсинг, который позволяет многократно увеличить скорость парсинга, и в этом видео мы рассмотрим как этой возможностью пользоваться.
В этом уроке рассмотрено:
- Реализация раздельных процедур парсинга в зависимости от внешних условий, а именно - уровня парсинга
- Подстановка запросов в задание "на лету"
- Использование стандартных парсеров в кастомных JavaScript парсерах
Ссылки:
- Документация по JS парсерам
- Описание метода для подстановки запросов
- Статья и готовый парсер
-
Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!Скрыть объявление
Создание JS парсеров. Реализация подстановки запросов и их многопоточной обработки.
Видеоурок по многоуровневому парсингу
Метки: