Кто как отделяет ботов от пользователей?

Тема в разделе "Автоматизация создания сайтов", создана пользователем DeLaKroiX, 9 авг 2017.

  1. DeLaKroiX

    DeLaKroiX A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    25 дек 2015
    Сообщения:
    200
    Симпатии:
    76
    Странно, почему в этом разделе нету тем. Давно пришло то время, когда дорвейщикам стоило бы объединится в борьбе с поисковиками :)
    Я бы хотел в этой теме поделиться способами определения ботов поисковиков и услышать, кто может ещё какими способами борется за живучесть своих доров.
    Методы, которые использую я:
    1. Простая проверка по юзерагенту.
    2. Куки (если не установились - нафиг, всё равно на партнёрке для совершения действий куки должны быть включены).
    3. Проверка по рефереру (если реферер совпадает с доменом дора, тогда считается что это бот, также если пустой, тогда тоже считается что бот, т.к. гугл и прочие ПС, использующие https ставят реферером себя же, только с https.).
    4. По обратному хосту
    5. Апи кейтаро
    Ну и в заключение все айпишки, заподозренные в связи с ботами, пишутся в базу. Также в базу добавил все айпишки, которые так или иначе связаны с такими компаниями как гугл, яху, майкрософт и т.д.
    Редирект идёт через обычный яваскрипт.

    Данную тему меня сподвигла написать разница между количеством уников у меня в доргене и на партнёрке educashion. Почему-то у них засчитывается примерно в 2 с копейками раза меньше уников, чем насчитывает дорген, хотя народ говорит, что обычно "теряется" где-то треть.
     
  2. apollo47

    apollo47 A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    28 май 2016
    Сообщения:
    27
    Симпатии:
    4
    на стороне клиента отлавливать - как вариант https://browserleaks.com/social
    ну или движение мыши - делать редирект. Спасет если обычный get/post запрос, если DOM поддерживает бот - 50/50
     
  3. DeLaKroiX

    DeLaKroiX A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    25 дек 2015
    Сообщения:
    200
    Симпатии:
    76
    угу, вчера наткнулся на эту фигню с логином в социалках, но как-то оно неверно работает, у меня половину социалок не обнаружило.
    по движению мыши это уже пройденный и устаревший этап, боты гугла давно не дураки ))
    по поводу гет/пост запроса и дома не уловил связи слов друг с другом :)
     
  4. Boomerc

    Boomerc A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    15 мар 2017
    Сообщения:
    36
    Симпатии:
    16
    90% ботов спуфят юзер агент. В том числе и Гугл.
     
  5. DeLaKroiX

    DeLaKroiX A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    25 дек 2015
    Сообщения:
    200
    Симпатии:
    76
    ну ясен день ) они ещё и ходят с ипов обычных провайдеров
     
  6. Boomerc

    Boomerc A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    15 мар 2017
    Сообщения:
    36
    Симпатии:
    16
    Ходят, но список провайдеров ограниченный и по России 90% с ипов МСК. И крайне редко ( и хз почему) есть некоторое кол-во обычных людей, которые тоже по каким то причинам спуфят юзер агент.
     
  7. DeLaKroiX

    DeLaKroiX A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    25 дек 2015
    Сообщения:
    200
    Симпатии:
    76
    я по буржу работаю, там гугл походу имеет доступ ко всем подряд провайдерам.
    а некоторое кол-во обычных людей ходят с юзерагентом гугла потому что так гораздо удобнее парсить сайты(обычно они не банят, если видят googlebot'а, тогда как сделать сотку запросов на сайт с обычным юзерагентом часто оборачивается баном), а также таким образом удобнее чекать форумы на активлинк.
     
    List и apollo47 нравится это.

Поделиться этой страницей