1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Улучшение Ожидание одинаковых парсеров

Тема в разделе "Задачи", создана пользователем denver, 9 июн 2022.

  1. denver

    denver A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    6 янв 2013
    Сообщения:
    192
    Симпатии:
    43
    Предлагаю сделать такую штуку
    на своем примере, у меня апарсер стоит на одном центральном сервере, работает с одним пулом проксей, на него поступают задачи из разных моих скриптов и например может так получиться, что поступит например парсинг гугла скажем 2-3 задания (из разных моих скриптов), но т.к. пул проксей один, могут быть проблемы с парсингом (баны), может быть добавить какую-то опцию, что бы одинаковые парсеры могли ждать, пока один работает? как только первый закончил работу, второй запускается и т.д. по очереди (но это нужно выбирать, т.е. не всегда такое нужно, что бы работали по очереди, поэтому предлагаю вариант с тегами - ниже)

    можно это реализовать например добавлять заданиям некие теги (ну или какие-то метки), типа если у заданий один и тот же тег (метка) (например tag_google) то такие задания выполняются по одному (по очереди)

    спасибо
     

Поделиться этой страницей