1. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 1500+ и мы растем!
    Скрыть объявление

Пресет Оценка частотности по Вордстату, словарь Даля, 115000 слов за 40 минут 1.0

Оценка частотности ключевых слов по Вордстату на примере словаря Даля: 115000 слов за 40 минут

  1. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.262
    Симпатии:
    1.748
    Скриншот настроек задания:
    [​IMG]
    • Используем для парсинга 1000 потоков, предварительно было зарегистрировано 10000 аккаунтов Яндекса с помощью SE::Yandex::Register SE::Yandex::Register
    • Выбираем парсер SE::Yandex::WordStat SE::Yandex::WordStat с настройками по умолчанию(без использования антикаптчи)
    • Меняем настройки: парсим только первую страницу, выставляем количество попыток 20
    • Добавляем уникализацию для списка ключевых слов из левой и правой колонки(списки "Что искали со словом" и "Что еще искали люди, искавшие")
    • Результат будет сохраняться в 2 разных файла: в words-dal-stat.txt будет собираться конкуренция по исходным запросам, в words-dal-newkeys.txt будут записываться все новые ключевые слова
    Средняя скорость парсинга составила 3000 запросов в минуту:
    [​IMG]

    Немного статистики:
    • Парсинг 115390 ключевых слов занял всего 40 минут
    • 80208 слов из 115390 имеют ненулевую статистику в Вордстате
    • Общее число показов всех слов составляет 20001443927, ~20 миллиардов в месяц
    • Дополнительно спаршено 1143045 новых ключевых слов с общим числом показов ~36 миллиардов в месяц
    Код:
    eyJwcmVzZXQiOiJXb3JkU3RhdCBEYWwiLCJ2YWx1ZSI6eyJwYXJzZXJzIjpbWyJT
    RTo6WWFuZGV4OjpXb3JkU3RhdCIsImRlZmF1bHQiLHsidHlwZSI6Im92ZXJyaWRl
    IiwiaWQiOiJwYWdlY291bnQiLCJ2YWx1ZSI6MX0seyJ0eXBlIjoib3ZlcnJpZGUi
    LCJpZCI6InByb3h5cmV0cmllcyIsInZhbHVlIjoiMjAifSx7InR5cGUiOiJ1bmlx
    dWUiLCJyZXN1bHQiOlsia2V5cyIsImtleSJdLCJ1bmlxdWVUeXBlIjoic3RyaW5n
    IiwidW5pcXVlR2xvYmFsIjp0cnVlfSx7InR5cGUiOiJ1bmlxdWUiLCJyZXN1bHQi
    Olsic2VhcmNoIiwia2V5Il0sInVuaXF1ZVR5cGUiOiJzdHJpbmciLCJ1bmlxdWVH
    bG9iYWwiOnRydWV9XV0sInJlc3VsdHNGb3JtYXQiOiIkcXVlcnk7JHAxLnRvdGFs
    Y291bnRcXG4iLCJyZXN1bHRzU2F2ZVRvIjoiZmlsZSIsInJlc3VsdHNGaWxlTmFt
    ZSI6IndvcmRzLWRhbC1zdGF0LnR4dCIsImFkZGl0aW9uYWxGb3JtYXRzIjpbWyJ3
    b3Jkcy1kYWwtbmV3a2V5cy50eHQiLCIkcDEua2V5cy5mb3JtYXQoJyRrZXk7JGNv
    dW50XFxuJykkcDEuc2VhcmNoLmZvcm1hdCgnJGtleTskY291bnRcXG4nKSJdXSwi
    cmVzdWx0c1VuaXF1ZSI6Im5vIiwicXVlcnlGb3JtYXQiOiIkcXVlcnkiLCJ1bmlx
    dWVRdWVyaWVzIjpmYWxzZSwic2F2ZUZhaWxlZFF1ZXJpZXMiOmZhbHNlLCJkb0xv
    ZyI6Im5vIiwia2VlcFVuaXF1ZSI6Ik5vIiwibW9yZU9wdGlvbnMiOmZhbHNlLCJy
    ZXN1bHRzUHJlcGVuZCI6IiIsInJlc3VsdHNBcHBlbmQiOiIiLCJxdWVyeUJ1aWxk
    ZXJzIjpbXSwicmVzdWx0c0J1aWxkZXJzIjpbXSwiY29uZmlnT3ZlcnJpZGVzIjpb
    XX19

    Файлы результатов:
     
    List, Malchishka, mountainmaster и 6 другим нравится это.
  2. Malchishka

    Malchishka A-Parser Pro License
    A-Parser Pro

    Регистрация:
    13 сен 2013
    Сообщения:
    42
    Симпатии:
    0
    Почты Я мы закидываем в \files\SE-Yandex\accounts.txt ?

    Дефолтные настройки SE::Yandex::WordStat предполагают использование прокси, получается под прокси подразумевается аккаунты почт и парсер сам понимает откуда их тянуть?

    У меня просто стоит ожидающих потоков 100 штук и всё, я так понимаю он ждёт прокси, но вроде же как должен парсить без прокси?
     
  3. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.262
    Симпатии:
    1.748
    да

    прокси это прокси, аккаунты это аккаунты :) аккаунты никак не могут подразумеваться под проксями
     
  4. Malchishka

    Malchishka A-Parser Pro License
    A-Parser Pro

    Регистрация:
    13 сен 2013
    Сообщения:
    42
    Симпатии:
    0
    Извиняюсь, я помню, что вроде где-то видел, что можно парсить без прокси, а оказалось там было написано без каптчи.
     
  5. ДенисЕрофеев

    ДенисЕрофеев A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    29 фев 2016
    Сообщения:
    13
    Симпатии:
    1
    А как быстро пропарсить частотность по списку запросов ? Без капчи и смс и регистрации (с)
     
  6. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    3.222
    Симпатии:
    1.786
    В первом посте показано как. Но без регистрации никак, обязательно нужны аккаунты. Аккаунты можно зарегистрировать с помощью SE::Yandex::Register SE::Yandex::Register
     

Поделиться этой страницей