Странно, почему в этом разделе нету тем. Давно пришло то время, когда дорвейщикам стоило бы объединится в борьбе с поисковиками Я бы хотел в этой теме поделиться способами определения ботов поисковиков и услышать, кто может ещё какими способами борется за живучесть своих доров. Методы, которые использую я: 1. Простая проверка по юзерагенту. 2. Куки (если не установились - нафиг, всё равно на партнёрке для совершения действий куки должны быть включены). 3. Проверка по рефереру (если реферер совпадает с доменом дора, тогда считается что это бот, также если пустой, тогда тоже считается что бот, т.к. гугл и прочие ПС, использующие https ставят реферером себя же, только с https.). 4. По обратному хосту 5. Апи кейтаро Ну и в заключение все айпишки, заподозренные в связи с ботами, пишутся в базу. Также в базу добавил все айпишки, которые так или иначе связаны с такими компаниями как гугл, яху, майкрософт и т.д. Редирект идёт через обычный яваскрипт. Данную тему меня сподвигла написать разница между количеством уников у меня в доргене и на партнёрке educashion. Почему-то у них засчитывается примерно в 2 с копейками раза меньше уников, чем насчитывает дорген, хотя народ говорит, что обычно "теряется" где-то треть.
на стороне клиента отлавливать - как вариант https://browserleaks.com/social ну или движение мыши - делать редирект. Спасет если обычный get/post запрос, если DOM поддерживает бот - 50/50
угу, вчера наткнулся на эту фигню с логином в социалках, но как-то оно неверно работает, у меня половину социалок не обнаружило. по движению мыши это уже пройденный и устаревший этап, боты гугла давно не дураки )) по поводу гет/пост запроса и дома не уловил связи слов друг с другом
Ходят, но список провайдеров ограниченный и по России 90% с ипов МСК. И крайне редко ( и хз почему) есть некоторое кол-во обычных людей, которые тоже по каким то причинам спуфят юзер агент.
я по буржу работаю, там гугл походу имеет доступ ко всем подряд провайдерам. а некоторое кол-во обычных людей ходят с юзерагентом гугла потому что так гораздо удобнее парсить сайты(обычно они не банят, если видят googlebot'а, тогда как сделать сотку запросов на сайт с обычным юзерагентом часто оборачивается баном), а также таким образом удобнее чекать форумы на активлинк.
