1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Создание JS парсеров. Реализация подстановки запросов и их многопоточной обработки.

Видеоурок по многоуровневому парсингу

  1. Denis.b


    Продолжение цикла уроков по созданию JavaScript парсеров. В этом видео будет показано, как "на лету" добавлять запросы в задание и многопоточно их обрабатывать.

    В одной из наших статей мы рассмотрели способ разработки парсера, который собирает ТОП 10 из выдачи поисковика, а затем по очереди парсит нужные данные по полученным ссылкам. Вроде все неплохо, но если у вас не 10 запросов, несколько тысяч? Задание будет выполняться очень долго, а время это самый драгоценный и не восполняемый ресурс.
    К счастью в A-Parser есть такая замечательная вещь, как многоуровневый парсинг, который позволяет многократно увеличить скорость парсинга, и в этом видео мы рассмотрим как этой возможностью пользоваться.

    В этом уроке рассмотрено:
    - Реализация раздельных процедур парсинга в зависимости от внешних условий, а именно - уровня парсинга
    - Подстановка запросов в задание "на лету"
    - Использование стандартных парсеров в кастомных JavaScript парсерах

    Ссылки:
    - Документация по JS парсерам
    - Описание метода для подстановки запросов
    - Статья и готовый парсер