Пример работы через быстрое задание

25 дек 2015
  • Быстрое задание - упрощённый редактор для быстрого добавления заданий.

    [​IMG]


    Сбор ссылок с поисковых систем(top)

    В редакторе для быстрого добавления задания предусмотрено ограниченное количество настроек. Для сбора ссылок с поисковых систем созданы: Google - Links и Bing - Links.

    Задание по сбору ссылок с Google:

    Запросы(top)

    Результаты(top)

    [​IMG]

    Подробное описание задания(top)

    • Для начала выберем в поле "Что парсим?" - Google - Links
    • Опция Спарсить все результаты (Parse all result) по запросу - При выборе этой опции к запросу будут подставляться дополнительные символы для получения большего количества результатов
    • Выбор откуда загружать запросы из файла или из поля запросов. Чтобы воспользоваться загрузкой запросов из файла, необходимо сохранять файл в папку queries/. Дополнительно доступен выбор в качестве запросов файлов из папки с результатами results/ и из папки с неудачными запросами failed/. Поддержка всех поисковых операторов Гугла(site:, inurl: и т.д.)
    • Уникальные результаты - Определяет делать ли результаты уникальными. После формирования конечного результата, он разбивается построчно и происходит отсеивание повторных строк
    • Число потоков - Парсер работает в многопоточном режиме, что позволяет параллельно обрабатывать множество запросов в одно время. Число потоков регулирует количество одновременно обрабатываемых запросов
    • Использовать прокси - Определяет использовать ли прокси для выполнения задания. Для использования опции нужно предварительно настроить проверку проксей
    После того как все настроено, можно переходить к Добавлению задания.
    Посмотреть статус выполнения задания можно перейдя во вкладку Очередь заданий.

    Сбор сниппетов с поисковых систем(top)

    Сниппет – небольшая текстовая информация, относящаяся к сайту, который выводится в результатах поиска.

    [​IMG]

    Последовательность составления задания, такая же как для Google - Link.