Видео урок: Создание JS парсеров. Реализация подстановки запросов и их многопоточной обработки.

Видеоурок по многоуровневому парсингу

  1. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    2.028
    Симпатии:
    1.414
    Продолжение цикла уроков по созданию JavaScript парсеров. В этом видео будет показано, как "на лету" добавлять запросы в задание и многопоточно их обрабатывать.


    В одной из наших статей мы рассмотрели способ разработки парсера, который собирает ТОП 10 из выдачи поисковика, а затем по очереди парсит нужные данные по полученным ссылкам. Вроде все неплохо, но если у вас не 10 запросов, несколько тысяч? Задание будет выполняться очень долго, а время это самый драгоценный и не восполняемый ресурс.
    К счастью в A-Parser есть такая замечательная вещь, как многоуровневый парсинг, который позволяет многократно увеличить скорость парсинга, и в этом видео мы рассмотрим как этой возможностью пользоваться.

    В этом уроке рассмотрено:
    - Реализация раздельных процедур парсинга в зависимости от внешних условий, а именно - уровня парсинга
    - Подстановка запросов в задание "на лету"
    - Использование стандартных парсеров в кастомных JavaScript парсерах

    Ссылки:
    - Документация по JS парсерам
    - Описание метода для подстановки запросов
    - Статья и готовый парсер

    Оставляйте комментарии и подписывайтесь на наш канал на YouTube!
     

Поделиться этой страницей