Есть потребность через API запускать одиночные парсеры (не таск пресеты) с большим количеством входных запросов (сотни тысяч).
Вопросы:
1) Как с точки зрения производительности парсера лучше запускать парсер? Через addTask или bulkRequest? Я так понял, что при использовании bulkRequest запросы хранятся в памяти парсера, что не всегда хорошо.
2) В UI при добавлении таска есть ограничение на длину строки с запросами. Есть ли аналогичное ограничение при работе с bulkRequest?
3) Парсер сохраняет успешные сессии работы с сайтами (например, вордстатом) между вызовами нескольких bulkRequest? А в рамках работы одного bulkRequest? А при использовании addTask?
Вопросы:
1) Как с точки зрения производительности парсера лучше запускать парсер? Через addTask или bulkRequest? Я так понял, что при использовании bulkRequest запросы хранятся в памяти парсера, что не всегда хорошо.
2) В UI при добавлении таска есть ограничение на длину строки с запросами. Есть ли аналогичное ограничение при работе с bulkRequest?
3) Парсер сохраняет успешные сессии работы с сайтами (например, вордстатом) между вызовами нескольких bulkRequest? А в рамках работы одного bulkRequest? А при использовании addTask?