Пример работы через быстрое задание

Быстрое задание - упрощённый редактор для быстрого добавления заданий.

Сбор ссылок с поисковых систем(top)

В редакторе для быстрого добавления задания предусмотрено ограниченное количество настроек. Для сбора ссылок с поисковых систем созданы: Google - Links и Bing - Links.

Задание по сбору ссылок с Google:

Запросы(top)

Результаты(top)

Подробное описание задания(top)

• Для начала выберем в поле "Что парсим?" - Google - Links
• Опция Спарсить все результаты (Parse all result) по запросу - При выборе этой опции к запросу будут подставляться дополнительные символы для получения большего количества результатов
• Выбор откуда загружать запросы из файла или из поля запросов. Чтобы воспользоваться загрузкой запросов из файла, необходимо сохранять файл в папку queries/. Дополнительно доступен выбор в качестве запросов файлов из папки с результатами results/ и из папки с неудачными запросами failed/. Поддержка всех поисковых операторов Гугла(site:, inurl: и т.д.)
  
• Уникальные результаты - Определяет делать ли результаты уникальными. После формирования конечного результата, он разбивается построчно и происходит отсеивание повторных строк
• Число потоков - Парсер работает в многопоточном режиме, что позволяет параллельно обрабатывать множество запросов в одно время. Число потоков регулирует количество одновременно обрабатываемых запросов
  
• Использовать прокси - Определяет использовать ли прокси для выполнения задания. Для использования опции нужно предварительно настроить проверку проксей

После того как все настроено, можно переходить к Добавлению задания.
Посмотреть статус выполнения задания можно перейдя во вкладку Очередь заданий.

Сбор сниппетов с поисковых систем(top)

Сниппет – небольшая текстовая информация, относящаяся к сайту, который выводится в результатах поиска.



Последовательность составления задания, такая же как для Google - Link.