Оптимальное использование API

  • Автор темы Автор темы John
  • Дата начала Дата начала

John

A-Parser Enterprise License
A-Parser Enterprise
Есть потребность через API запускать одиночные парсеры (не таск пресеты) с большим количеством входных запросов (сотни тысяч).
Вопросы:
1) Как с точки зрения производительности парсера лучше запускать парсер? Через addTask или bulkRequest? Я так понял, что при использовании bulkRequest запросы хранятся в памяти парсера, что не всегда хорошо.
2) В UI при добавлении таска есть ограничение на длину строки с запросами. Есть ли аналогичное ограничение при работе с bulkRequest?
3) Парсер сохраняет успешные сессии работы с сайтами (например, вордстатом) между вызовами нескольких bulkRequest? А в рамках работы одного bulkRequest? А при использовании addTask?
 
1) через Add task и запросы из файлы
2) как такого ограничения нету, но запросы действительно хранятся в памяти, поэтому лучше ограничиваться разумным числом(1к запросов)
3) сессии хранятся в рамках запуска апарсера, т.е. пока он запущен он хранит все хорошие сессии в памяти
 
Назад
Верх