1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление
Файлы cookie Telegram чат

Оптимальное использование API

Тема в разделе "Техническая поддержка", создана пользователем John, 13 дек 2013.

  1. John

    John A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    25 ноя 2013
    Сообщения:
    48
    Симпатии:
    8
    Есть потребность через API запускать одиночные парсеры (не таск пресеты) с большим количеством входных запросов (сотни тысяч).
    Вопросы:
    1) Как с точки зрения производительности парсера лучше запускать парсер? Через addTask или bulkRequest? Я так понял, что при использовании bulkRequest запросы хранятся в памяти парсера, что не всегда хорошо.
    2) В UI при добавлении таска есть ограничение на длину строки с запросами. Есть ли аналогичное ограничение при работе с bulkRequest?
    3) Парсер сохраняет успешные сессии работы с сайтами (например, вордстатом) между вызовами нескольких bulkRequest? А в рамках работы одного bulkRequest? А при использовании addTask?
     
    #1 John, 13 дек 2013
  2. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    1) через Add task и запросы из файлы
    2) как такого ограничения нету, но запросы действительно хранятся в памяти, поэтому лучше ограничиваться разумным числом(1к запросов)
    3) сессии хранятся в рамках запуска апарсера, т.е. пока он запущен он хранит все хорошие сессии в памяти
     
    #2 Forbidden, 13 дек 2013
(Вы должны войти или зарегистрироваться, чтобы разместить сообщение.)

Поделиться этой страницей