1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2200+ и мы растем!
    Скрыть объявление

Пресет Проверяем наличие мобильной версии для 1000000 сайтов 1.0

Пример проверки наличия мобильной версии у сайтов

  1. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    3.531
    Симпатии:
    1.880
    За основу взят ТОП 1М доменов по Алексе: http://s3.amazonaws.com/alexa-static/top-1m.csv.zip

    Тестовая машина:
    • Виртуальная машина Intel(R) Core(TM) i7 CPU @ 3.4 GHz с 2-мя выделенными ядрама, 3 Гб памяти и каналом 100мбит\с. ОС Windows 7 x64.
    Задание:
    [​IMG]
    Код:
    eyJwcmVzZXQiOiJcdTA0MWZcdTA0NDBcdTA0M2VcdTA0MzJcdTA0MzVcdTA0NDBc
    dTA0M2FcdTA0MzAgXHUwNDIyXHUwNDFlXHUwNDFmIDFcdTA0MWMgXHUwNDEwXHUw
    NDNiXHUwNDM1XHUwNDNhXHUwNDQxXHUwNDRiIFx1MDQzZFx1MDQzMCBcdTA0M2Rc
    dTA0MzBcdTA0M2JcdTA0MzhcdTA0NDdcdTA0MzhcdTA0MzUgXHUwNDNjXHUwNDNl
    XHUwNDMxXHUwNDM4XHUwNDNiXHUwNDRjXHUwNDNkXHUwNDNlXHUwNDM5IFx1MDQz
    Mlx1MDQzNVx1MDQ0MFx1MDQ0MVx1MDQzOFx1MDQzOCIsInZhbHVlIjp7InByZXNl
    dCI6Ilx1MDQxZlx1MDQ0MFx1MDQzZVx1MDQzMlx1MDQzNVx1MDQ0MFx1MDQzYVx1
    MDQzMCBcdTA0MjJcdTA0MWVcdTA0MWYgMVx1MDQxYyBcdTA0MTBcdTA0M2JcdTA0
    MzVcdTA0M2FcdTA0NDFcdTA0NGIgXHUwNDNkXHUwNDMwIFx1MDQzZFx1MDQzMFx1
    MDQzYlx1MDQzOFx1MDQ0N1x1MDQzOFx1MDQzNSBcdTA0M2NcdTA0M2VcdTA0MzFc
    dTA0MzhcdTA0M2JcdTA0NGNcdTA0M2RcdTA0M2VcdTA0MzkgXHUwNDMyXHUwNDM1
    XHUwNDQwXHUwNDQxXHUwNDM4XHUwNDM4IiwicGFyc2VycyI6W1siTmV0OjpIVFRQ
    IiwiZGVmYXVsdCIseyJ0eXBlIjoib3ZlcnJpZGUiLCJpZCI6InF1ZXJ5Zm9ybWF0
    IiwidmFsdWUiOiJodHRwczovL3d3dy5nb29nbGVhcGlzLmNvbS9wYWdlc3BlZWRv
    bmxpbmUvdjNiZXRhMS9tb2JpbGVSZWFkeT9rZXk9QUl6YVN5RGtFWC1mMUpOTFFM
    QzE2NFNaYW9iQUxxRnY0UEhWLWtBJnNjcmVlbnNob3Q9ZmFsc2Umc25hcHNob3Rz
    PWZhbHNlJmxvY2FsZT1lbl9VUyZ1cmw9aHR0cCUzQSUyRiUyRiRxdWVyeS5kb21h
    aW4lMkYmc3RyYXRlZ3k9bW9iaWxlJmZpbHRlcl90aGlyZF9wYXJ0eV9yZXNvdXJj
    ZXM9ZmFsc2UmY2FsbGJhY2s9X2NhbGxiYWNrc18uX2RjdXZiQnZuSVhWQiJ9LHsi
    dHlwZSI6ImZpbHRlciIsInJlc3VsdCI6ImRhdGEiLCJmaWx0ZXJUeXBlIjoiY29u
    dGFpbiIsInZhbHVlIjoiXCJwYXNzXCI6IGZhbHNlIiwib3B0aW9uIjoic2VucyJ9
    XV0sInJlc3VsdHNGb3JtYXQiOiIkcXVlcnkuZG9tYWluXFxuIiwicmVzdWx0c1Nh
    dmVUbyI6ImZpbGUiLCJyZXN1bHRzRmlsZU5hbWUiOiJ0b3AtMW0td2l0aG91dC1t
    b2JpbGUtdmVyLnR4dCIsImFkZGl0aW9uYWxGb3JtYXRzIjpbXSwicmVzdWx0c1Vu
    aXF1ZSI6Im5vIiwicXVlcnlGb3JtYXQiOlsiJHF1ZXJ5Il0sInVuaXF1ZVF1ZXJp
    ZXMiOmZhbHNlLCJzYXZlRmFpbGVkUXVlcmllcyI6ZmFsc2UsIml0ZXJhdG9yT3B0
    aW9ucyI6eyJvbkFsbExldmVscyI6ZmFsc2UsInF1ZXJ5QnVpbGRlcnNBZnRlckl0
    ZXJhdG9yIjpmYWxzZX0sInJlc3VsdHNPcHRpb25zIjp7Im92ZXJ3cml0ZSI6ZmFs
    c2V9LCJkb0xvZyI6Im5vIiwia2VlcFVuaXF1ZSI6Ik5vIiwibW9yZU9wdGlvbnMi
    OmZhbHNlLCJyZXN1bHRzUHJlcGVuZCI6IiIsInJlc3VsdHNBcHBlbmQiOiIiLCJx
    dWVyeUJ1aWxkZXJzIjpbeyJzb3VyY2UiOiJxdWVyeSIsInR5cGUiOiJzdHJpbmdT
    cGxpdCIsInNlcGFyYXRvciI6IiwiLCJ0byI6WyJyYW5rIiwiZG9tYWluIl19XSwi
    cmVzdWx0c0J1aWxkZXJzIjpbXSwiY29uZmlnT3ZlcnJpZGVzIjpbXX19
    • Исходный файл с запросами содержит данные в формате <alexa-rank>,<domain>, миллион записей, каждый домен с новой строки. С помощью конструктора запросов разделяем домен и его ранк.
    • Используется парсер Net::HTTP, которому на вход подается ссылка со вставленным доменом на проверку наличия мобильной версии. Мобильная версия проверяется здесь: https://www.google.com/webmasters/tools/mobile-friendly/
    • Использование прокси включено.
    • Результат, а это в данном случае все домены, не имеющие мобильной версии, сохраняем в файл top-1m-without-mobile-ver.txt
    Работающее задание:
    [​IMG]

    Статистика:
    • Скорость парсинга составила ~2000 доменов в минуту
    • Неудачных запросов всего 26 из 1000000
    • Парсинг происходил в 1000 потоков
    • Затраченное время: 8 часов 7 минут
    [​IMG]
    Результат:
    • 40.98% из миллиона самых посещаемых сайтов не имеют мобильных версий!
    Файл со списком сайтов без мобильных версий: http://files.a-parser.com/top-1m-without-mobile-ver.txt
     
    #1 Support, 22 май 2015
    Последнее редактирование: 23 май 2015
    7make, Forbidden и LmPopo нравится это.
  2. Vvtex

    Vvtex A-Parser Pro License
    A-Parser Pro

    Регистрация:
    9 окт 2017
    Сообщения:
    124
    Симпатии:
    24
    этот ресурс тоже не актуален? Замена ему в планах есть?
     
  3. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    3.531
    Симпатии:
    1.880
    Да, там уже все поменялось, поэтому данный способ больше не работает.
    Насчет планов по замене - пока не в приоритете, но если есть варианты или предложения, мы всегда открыты для новых идей)
     
  4. fri-lancer

    fri-lancer A-Parser Pro License
    A-Parser Pro

    Регистрация:
    7 апр 2014
    Сообщения:
    85
    Симпатии:
    7
    Support нравится это.
  5. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    3.531
    Симпатии:
    1.880
    relay и fri-lancer нравится это.

Поделиться этой страницей