1. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Сборник рецептов #3: мобильные сайты, несколько парсеров, позиции ключевых слов

Тема в разделе "Новости", создана пользователем Support, 25 май 2015.

  1. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.547
    Симпатии:
    2.164
    Итак, продолжаем серию статей с рецептами применения A-parser: комплексные примеры с одновременным использованием различного функционала парсера.

    Проверяем наличие мобильной версии для 1000000 сайтов

    Работаем с большими объемами данных и учимся искать совпадения в raw data.
    [​IMG]
    • за 8 часов работы данного задания мы узнали что почти 41% самых посещаемых сайтов не имеют мобильных версий. Кто знает, возможно обзаведясь мобильной версией, они стали бы еще более посещаемыми?

    По списку запросов получаем страницы, CMS, PR, e-mail из whois

    Комплексное задание, выполняемое в 2 этапа, в котором мы учимся работать с несколькими парсерами, регулярными выражениями, а также красиво выводим результаты во многоуровневые каталоги и несколько файлов.
    [​IMG]
    • на первом этапе используется 1 парсер, на втором - 3
    • в конструкторе результатов используется регулярное выражения для извлечения необходимой информации
    • результаты выводятся в виде вложенных папок и текстовых файлов по следующей схеме:
    Код:
    PR_1
         \Joomla
               \domain.com
                       contacts.txt
                       cache.txt
          \Drupal
          \WordPress
         \no CMS
    PR_2
    PR_3
    Узнать позиции по кеям, как?

    Знакомимся с парсером SE::Google::Position SE::Google::Position и проверяем на каком месте в поисковой выдачи находится ключевое слово.
    [​IMG]

    Детальнее о самом парсере здесь.

    Предыдущие сборники:
     
    List, Metroid, limoshkaa и ещё 1-му нравится это.

Поделиться этой страницей