Пресет Оценка частотности по Вордстату, словарь Даля, 115000 слов за 40 минут 1.0

[Forbidden]

Скриншот настроек задания:

• Используем для парсинга 1000 потоков, предварительно было зарегистрировано 10000 аккаунтов Яндекса с помощью SE::Yandex::Register
• Выбираем парсер SE::Yandex::WordStat с настройками по умолчанию(без использования антикаптчи)
• Меняем настройки: парсим только первую страницу, выставляем количество попыток 20
• Добавляем уникализацию для списка ключевых слов из левой и правой колонки(списки "Что искали со словом" и "Что еще искали люди, искавшие")
• Результат будет сохраняться в 2 разных файла: в words-dal-stat.txt будет собираться конкуренция по исходным запросам, в words-dal-newkeys.txt будут записываться все новые ключевые слова

Средняя скорость парсинга составила 3000 запросов в минуту:

Немного статистики:

• Парсинг 115390 ключевых слов занял всего 40 минут
• 80208 слов из 115390 имеют ненулевую статистику в Вордстате
• Общее число показов всех слов составляет 20001443927, ~20 миллиардов в месяц
• Дополнительно спаршено 1143045 новых ключевых слов с общим числом показов ~36 миллиардов в месяц

Спойлер: Код задания для импорта

eyJwcmVzZXQiOiJXb3JkU3RhdCBEYWwiLCJ2YWx1ZSI6eyJwYXJzZXJzIjpbWyJT
RTo6WWFuZGV4OjpXb3JkU3RhdCIsImRlZmF1bHQiLHsidHlwZSI6Im92ZXJyaWRl
IiwiaWQiOiJwYWdlY291bnQiLCJ2YWx1ZSI6MX0seyJ0eXBlIjoib3ZlcnJpZGUi
LCJpZCI6InByb3h5cmV0cmllcyIsInZhbHVlIjoiMjAifSx7InR5cGUiOiJ1bmlx
dWUiLCJyZXN1bHQiOlsia2V5cyIsImtleSJdLCJ1bmlxdWVUeXBlIjoic3RyaW5n
IiwidW5pcXVlR2xvYmFsIjp0cnVlfSx7InR5cGUiOiJ1bmlxdWUiLCJyZXN1bHQi
Olsic2VhcmNoIiwia2V5Il0sInVuaXF1ZVR5cGUiOiJzdHJpbmciLCJ1bmlxdWVH
bG9iYWwiOnRydWV9XV0sInJlc3VsdHNGb3JtYXQiOiIkcXVlcnk7JHAxLnRvdGFs
Y291bnRcXG4iLCJyZXN1bHRzU2F2ZVRvIjoiZmlsZSIsInJlc3VsdHNGaWxlTmFt
ZSI6IndvcmRzLWRhbC1zdGF0LnR4dCIsImFkZGl0aW9uYWxGb3JtYXRzIjpbWyJ3
b3Jkcy1kYWwtbmV3a2V5cy50eHQiLCIkcDEua2V5cy5mb3JtYXQoJyRrZXk7JGNv
dW50XFxuJykkcDEuc2VhcmNoLmZvcm1hdCgnJGtleTskY291bnRcXG4nKSJdXSwi
cmVzdWx0c1VuaXF1ZSI6Im5vIiwicXVlcnlGb3JtYXQiOiIkcXVlcnkiLCJ1bmlx
dWVRdWVyaWVzIjpmYWxzZSwic2F2ZUZhaWxlZFF1ZXJpZXMiOmZhbHNlLCJkb0xv
ZyI6Im5vIiwia2VlcFVuaXF1ZSI6Ik5vIiwibW9yZU9wdGlvbnMiOmZhbHNlLCJy
ZXN1bHRzUHJlcGVuZCI6IiIsInJlc3VsdHNBcHBlbmQiOiIiLCJxdWVyeUJ1aWxk
ZXJzIjpbXSwicmVzdWx0c0J1aWxkZXJzIjpbXSwiY29uZmlnT3ZlcnJpZGVzIjpb
XX19

Файлы результатов:

• Статистика по исходным запросам, words-dal-stat.txt 2.5Мб
• Статистика по дополнительным ключевым словам, wordstat-dal-newkeys.txt 46Мб

 

[Malchishka]

Почты Я мы закидываем в \files\SE-Yandex\accounts.txt ?

Дефолтные настройки SE::Yandex::WordStat предполагают использование прокси, получается под прокси подразумевается аккаунты почт и парсер сам понимает откуда их тянуть?

У меня просто стоит ожидающих потоков 100 штук и всё, я так понимаю он ждёт прокси, но вроде же как должен парсить без прокси?

 

[Forbidden]

Почты Я мы закидываем в \files\SE-Yandex\accounts.txt ?

да

Дефолтные настройки SE::Yandex::WordStat предполагают использование прокси, получается под прокси подразумевается аккаунты почт и парсер сам понимает откуда их тянуть?

прокси это прокси, аккаунты это аккаунты аккаунты никак не могут подразумеваться под проксями

 

[Malchishka]

Извиняюсь, я помню, что вроде где-то видел, что можно парсить без прокси, а оказалось там было написано без каптчи.

 

[ДенисЕрофеев]

А как быстро пропарсить частотность по списку запросов ? Без капчи и смс и регистрации (с)

 

[Support]

В первом посте показано как. Но без регистрации никак, обязательно нужны аккаунты. Аккаунты можно зарегистрировать с помощью SE::Yandex::Register