1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Алгоритм парсинга баз для A-poster

Тема в разделе "Делимся опытом", создана пользователем Nikolay, 20 дек 2014.

  1. Nikolay

    Nikolay A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    7 ноя 2014
    Сообщения:
    30
    Симпатии:
    15
    Здравствуйте, скажите пожалуйста, как правильно выполнить сабж ?
     
  2. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    Т.к. парсить через inurl слишком медленно, то для меня наиболее эффективный метод заключался в следующем, отбирались популярные фразы для отправки комментариев:
    Код:
    Post comment
    Leave reply
    ...
    и данные признаки прогонялись с большим числом подстановок {az:a:zzzz} - порядка 450к запросов на каждый признак, признаки лучше заключать в кавычки, т.е. формат запроса выглядит следующим образом:
    Код:
    "$query" {az:a:zzzz}
     
  3. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    P.S. тем самым мы собираем огромную базу разношерстных ресурсов которую в дальнейшем можно проверить с помощью A-Poster: check post/check active link
     
  4. Nikolay

    Nikolay A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    7 ноя 2014
    Сообщения:
    30
    Симпатии:
    15
    А можно исключить из результатов, forum ? Я так понимаю форумы это для хрума и зенопостера все-равно.
     
  5. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791

Поделиться этой страницей