Есть большой сайт и 2 пресета. 1) Старый пресет Net::Http ( старая задача) - собрал-обработал за 3 недели огромный (более 10 млн) список УРЛ (и еще очень много осталось). 2) Сделал для этого сайта НОВЫЙ скоростной пресет (на JS). Хочу ПРОДОЛЖИТЬ сбор данных с этого же сайта НОВЫМ пресетом, желательно начинать не с начала, а ПРОДОЛЖИТЬ работы с места остановки первой задачи, чтобы учитывался список "Уникальные запросы" от старой задачи. То есть хочу запустить новую задачу с новым пресетом, при этом уже не надо добавлять в обработку собранные ранее страницы. ОПРОС: как добавить в новую задачу старый список "Уникальные запросы" - УРЛ из старой задачи, чтобы повторно по ним не ходить? Там на сайте еще остались не собранные миллионы УРЛ, поэтому экономия времени (если не ходить по старым УРЛ) будет существенная - неделю и больше!
Такой возможности нету. Если у вас в качестве начальных запросов подается список ссылок, то просто не подавайте на вход новому пресету те 10 млн, которые уже обработаны. А если запросы подставляются в очередь через tools.query.add и если бы такая возможность была, то нету смысла использовать уникализацию запросов из старого задания, т.к. в этом случае все ранее пройденные урлы будут исключены из запросов и не сформируется тот список запросов, который был сформирован в старом задании (ведь парсер не будет посещать ранее пройденные страницы и не будет брать из них новые ссылки).
