1. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Можно ли автоматизировать переключение между парсерами по триггеру?

Тема в разделе "Техническая поддержка", создана пользователем vaulroon, 22 мар 2018.

  1. vaulroon

    vaulroon A-Parser Pro License
    A-Parser Pro

    Регистрация:
    11 фев 2018
    Сообщения:
    67
    Симпатии:
    4
    Собственно, сабж.
    Например, в поисковике гугл падает скорость ниже 1500 - парсер переключается на следующий поисковик, например, яндекс. На яндексе падает ниже 1500 - переключается на рамблер и так по кругу.
     
  2. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.547
    Симпатии:
    2.164
    Переключается в рамках одного задания или останавливает одно задание с гуглом и запускает с яндексом?
     
  3. vaulroon

    vaulroon A-Parser Pro License
    A-Parser Pro

    Регистрация:
    11 фев 2018
    Сообщения:
    67
    Симпатии:
    4
    Пример: гугл обработал 1000 поисковых запросов и скорость упала ниже 1000, переключается на яндекс, яндекс парсит следующие 3000 запросов, скорость падает ниже 1000, включается рамблер. В рамках одного задания.
     
  4. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.547
    Симпатии:
    2.164
    В рамках одного задания такое нельзя сделать.
    Как вариант, подобное можно попробовать реализовать через API: написать некий балансировщик, который будет порционно подавать запросы, смотреть на скорость и следующую порцию запускать с нужным парсером.
     
    Vvtex нравится это.

Поделиться этой страницей