1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2200+ и мы растем!
    Скрыть объявление
Файлы cookie Telegram чат

Улучшение [1.1.697] Получить по АПИ колличество активных аккаунтов

Тема в разделе "1.1.712", создана пользователем scp, 30 ноя 2016.

  1. scp

    scp A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    6 июн 2014
    Сообщения:
    20
    Симпатии:
    3
    Очень хотелось бы иметь возможность получить по АПИ кол-во оставшихся активных аккаунтов яндекса.
    Так как яндекс сейчас их банит пачками, то при проставленной настройке "Удалять Плохие Аккаунты" они начинают быстро кончаться и в итоге по сборам в том же вордстате получаем дофига пустых результатов с "none".
    Сейчам можно по апи отследить кол-во фейлов по таску, но это уже информация постфактум, когда аккаунты кончились и Апарсер пытается собрать на последних 10 аккаунтах 10к запросов и некоторая часть запросов ушла в никуда.
    А, при наличии возможности это проверить програмно, можно автоматом, при достижении какой-то критической отметки, добавлять таску на дорегистрацию аккаунтов либо поставить таски на паузу и уведомить администратора и т.д..

    ЗЫ: оччень не хочется городить рядом с Апарсером ещё одно приложение , которое будет отдавать по своему апи банальное "cat files/SE-Yandex/accounts.txt | wc -l"
     
    #1 scp, 30 ноя 2016
  2. malexoid

    malexoid A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    7 сен 2015
    Сообщения:
    251
    Симпатии:
    60
    А вы отключите опцию "Удалять Плохие Аккаунты", она слишком агрессивная и удаляет много лишнего. А для "освежения" аккаунтов сделать 2 задания в планировщике.
    1-е задание парсит ворстат, например по запросам {num:1:500} с включенной опцией "Удалять Плохие Аккаунты" раз в 6 часов.
    2-е задание регистрирует яндекс акканунты, {num:1:500} раз в 3 часа
    Я так вышел из положения.
     
    #2 malexoid, 1 дек 2016
  3. scp

    scp A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    6 июн 2014
    Сообщения:
    20
    Симпатии:
    3
    Спасибо, неплохой воркераунд, надо будет попробовать.
    Ещё, как вариант, настроить мониторящий скрипт, проверяющий файл аккаунтов и, при кол-ве < 500, курлом постящий addTask{Yandex::Register {num:1:500} } .

    зы: по поводу агрессивности - мне кажется, что это Яндекс стал более агрессивно банить аккаунты. Сейчас они живут в разы меньше, по сравнению даже с летом.
    зы2: Плюс, при выключеном удалении, каждый новый поток тупит, пока перебирает фейлящие аккаунты и добирается до нормальных, попутно дискредитируя прокси всплесками фейлящихся логинов.
     
    #3 scp, 1 дек 2016
  4. malexoid

    malexoid A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    7 сен 2015
    Сообщения:
    251
    Симпатии:
    60
    Да, методом проб и ошибок пришел к такому. Сейчас минимальная скорость парсинга 432 в минуту это на 300 потоках, главное что всё стабильно и не приходится каждый раз лазить и что-то подкручивать.
    100% 432 1d 1h 26m 659483 SE::Yandex::WordStat::ByRegion
    100% 652 0d 1h 30m 58789 SE::Yandex::WordStat::ByRegion
    100% 423 0d 5h 23m 136856 SE::Yandex::WordStat::ByRegion
    100% 573 0d 1h 39m 56856 SE::Yandex::WordStat::ByRegion
     
    #4 malexoid, 2 дек 2016
  5. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.335
    Симпатии:
    1.786
    Добавлен метод getAccountsCount:
    Код:
    Request:
{
   "action" : "getAccountsCount",
   "data" : {},
   "password" : "123"
}

Response:
{
   "success" : 1,
   "data" : {
      "SE::Yandex" : 3
   }
}
     
    #5 Forbidden, 6 дек 2016
    scp нравится это.
  6. scp

    scp A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    6 июн 2014
    Сообщения:
    20
    Симпатии:
    3
    Спасибо. Работает.
    Время выпиливать костыли %)
     
    #6 scp, 6 дек 2016
    Forbidden нравится это.
(Вы должны войти или зарегистрироваться, чтобы разместить сообщение.)

Поделиться этой страницей