1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Улучшение парсинг вордстат

Тема в разделе "Отклоненные задачи", создана пользователем malexoid, 3 дек 2016.

  1. malexoid

    malexoid A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    7 сен 2015
    Сообщения:
    254
    Симпатии:
    60
    мысли.
    со вчерашнего дня и до сих пор поломался вордстат регионы, возвращает 500ку. парсинг соответственно не работает, но узнал я об этом только сегодня и то не сразу, думал с аккаунтами проблема.
    Так вот возникла мысль, что если сохранять статусы парсингов и где нибудь в какой-нибудь таблице выводить?
    Настройки такие к примеру по-умолчанию, больше 1000 пятисоток за 1 час или не удачных парсингов (тот же контент мичмант) ставим статус парсеру "поломался", шлем алерт на мыло или в вотсап., ну и чтобы через api доступ был, чтобы можно было заглушить глобальный парсинг и почем зря не долбиться в вордстат не портить аккаунты и прокси.
    На основе этого можно сделать умную работу парсера, если получили статус "поломался", то глобально станавливаем все задачи связанные с этим парсером, ждем пока статус парсинга не изменится на "работает". Через какое то время tineout статус парсера сам меняется на "работает", снова запускаются все задачи и до тех пор пока снова не получим статус "поломался".
     
    #1 malexoid, 3 дек 2016
    Последнее редактирование: 3 дек 2016
  2. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    много сумбурных идей, для всего этого есть API - на основе его и можно построить такую логику
     

Поделиться этой страницей