Пресет Проверяем наличие мобильной версии для 1000000 сайтов 1.0

За основу взят ТОП 1М доменов по Алексе: http://s3.amazonaws.com/alexa-static/top-1m.csv.zip

Тестовая машина:

• Виртуальная машина Intel(R) Core(TM) i7 CPU @ 3.4 GHz с 2-мя выделенными ядрама, 3 Гб памяти и каналом 100мбит\с. ОС Windows 7 x64.

Задание:

Спойлер: Пресет

Код:

eyJwcmVzZXQiOiJcdTA0MWZcdTA0NDBcdTA0M2VcdTA0MzJcdTA0MzVcdTA0NDBc
dTA0M2FcdTA0MzAgXHUwNDIyXHUwNDFlXHUwNDFmIDFcdTA0MWMgXHUwNDEwXHUw
NDNiXHUwNDM1XHUwNDNhXHUwNDQxXHUwNDRiIFx1MDQzZFx1MDQzMCBcdTA0M2Rc
dTA0MzBcdTA0M2JcdTA0MzhcdTA0NDdcdTA0MzhcdTA0MzUgXHUwNDNjXHUwNDNl
XHUwNDMxXHUwNDM4XHUwNDNiXHUwNDRjXHUwNDNkXHUwNDNlXHUwNDM5IFx1MDQz
Mlx1MDQzNVx1MDQ0MFx1MDQ0MVx1MDQzOFx1MDQzOCIsInZhbHVlIjp7InByZXNl
dCI6Ilx1MDQxZlx1MDQ0MFx1MDQzZVx1MDQzMlx1MDQzNVx1MDQ0MFx1MDQzYVx1
MDQzMCBcdTA0MjJcdTA0MWVcdTA0MWYgMVx1MDQxYyBcdTA0MTBcdTA0M2JcdTA0
MzVcdTA0M2FcdTA0NDFcdTA0NGIgXHUwNDNkXHUwNDMwIFx1MDQzZFx1MDQzMFx1
MDQzYlx1MDQzOFx1MDQ0N1x1MDQzOFx1MDQzNSBcdTA0M2NcdTA0M2VcdTA0MzFc
dTA0MzhcdTA0M2JcdTA0NGNcdTA0M2RcdTA0M2VcdTA0MzkgXHUwNDMyXHUwNDM1
XHUwNDQwXHUwNDQxXHUwNDM4XHUwNDM4IiwicGFyc2VycyI6W1siTmV0OjpIVFRQ
IiwiZGVmYXVsdCIseyJ0eXBlIjoib3ZlcnJpZGUiLCJpZCI6InF1ZXJ5Zm9ybWF0
IiwidmFsdWUiOiJodHRwczovL3d3dy5nb29nbGVhcGlzLmNvbS9wYWdlc3BlZWRv
bmxpbmUvdjNiZXRhMS9tb2JpbGVSZWFkeT9rZXk9QUl6YVN5RGtFWC1mMUpOTFFM
QzE2NFNaYW9iQUxxRnY0UEhWLWtBJnNjcmVlbnNob3Q9ZmFsc2Umc25hcHNob3Rz
PWZhbHNlJmxvY2FsZT1lbl9VUyZ1cmw9aHR0cCUzQSUyRiUyRiRxdWVyeS5kb21h
aW4lMkYmc3RyYXRlZ3k9bW9iaWxlJmZpbHRlcl90aGlyZF9wYXJ0eV9yZXNvdXJj
ZXM9ZmFsc2UmY2FsbGJhY2s9X2NhbGxiYWNrc18uX2RjdXZiQnZuSVhWQiJ9LHsi
dHlwZSI6ImZpbHRlciIsInJlc3VsdCI6ImRhdGEiLCJmaWx0ZXJUeXBlIjoiY29u
dGFpbiIsInZhbHVlIjoiXCJwYXNzXCI6IGZhbHNlIiwib3B0aW9uIjoic2VucyJ9
XV0sInJlc3VsdHNGb3JtYXQiOiIkcXVlcnkuZG9tYWluXFxuIiwicmVzdWx0c1Nh
dmVUbyI6ImZpbGUiLCJyZXN1bHRzRmlsZU5hbWUiOiJ0b3AtMW0td2l0aG91dC1t
b2JpbGUtdmVyLnR4dCIsImFkZGl0aW9uYWxGb3JtYXRzIjpbXSwicmVzdWx0c1Vu
aXF1ZSI6Im5vIiwicXVlcnlGb3JtYXQiOlsiJHF1ZXJ5Il0sInVuaXF1ZVF1ZXJp
ZXMiOmZhbHNlLCJzYXZlRmFpbGVkUXVlcmllcyI6ZmFsc2UsIml0ZXJhdG9yT3B0
aW9ucyI6eyJvbkFsbExldmVscyI6ZmFsc2UsInF1ZXJ5QnVpbGRlcnNBZnRlckl0
ZXJhdG9yIjpmYWxzZX0sInJlc3VsdHNPcHRpb25zIjp7Im92ZXJ3cml0ZSI6ZmFs
c2V9LCJkb0xvZyI6Im5vIiwia2VlcFVuaXF1ZSI6Ik5vIiwibW9yZU9wdGlvbnMi
OmZhbHNlLCJyZXN1bHRzUHJlcGVuZCI6IiIsInJlc3VsdHNBcHBlbmQiOiIiLCJx
dWVyeUJ1aWxkZXJzIjpbeyJzb3VyY2UiOiJxdWVyeSIsInR5cGUiOiJzdHJpbmdT
cGxpdCIsInNlcGFyYXRvciI6IiwiLCJ0byI6WyJyYW5rIiwiZG9tYWluIl19XSwi
cmVzdWx0c0J1aWxkZXJzIjpbXSwiY29uZmlnT3ZlcnJpZGVzIjpbXX19

• Исходный файл с запросами содержит данные в формате <alexa-rank>,<domain>, миллион записей, каждый домен с новой строки. С помощью конструктора запросов разделяем домен и его ранк.
• Используется парсер Net::HTTP, которому на вход подается ссылка со вставленным доменом на проверку наличия мобильной версии. Мобильная версия проверяется здесь: https://www.google.com/webmasters/tools/mobile-friendly/
• Использование прокси включено.
• Результат, а это в данном случае все домены, не имеющие мобильной версии, сохраняем в файл top-1m-without-mobile-ver.txt

Работающее задание:


Статистика:

• Скорость парсинга составила ~2000 доменов в минуту
• Неудачных запросов всего 26 из 1000000
• Парсинг происходил в 1000 потоков
• Затраченное время: 8 часов 7 минут

Результат:

• 40.98% из миллиона самых посещаемых сайтов не имеют мобильных версий!

Файл со списком сайтов без мобильных версий: http://files.a-parser.com/top-1m-without-mobile-ver.txt

 

Да, там уже все поменялось, поэтому данный способ больше не работает.
Насчет планов по замене - пока не в приоритете, но если есть варианты или предложения, мы всегда открыты для новых идей)

 

Готово: https://a-parser.com/resources/306/