Видео урок: Сбор WordPress сайтов

Показанный метод работает через Ж
сайт рассмотренный в видео находится не потому, что в исходном коде есть wp-content
а потому что по запросу - находится вот такая страница https://schaller-automation.com/en/contact/
а ней внезапно есть такое


А так как спарсенный результат приводится к домену, то и потом на главной странице естественно этого нету.

пруф - https://www.google.com/search?q=int...text:/wp-content+site:schaller-automation.com

 

Не работает intext по исходному коду.

 

Всё верно, я поэтому и сказал что это только "ОДИН ИЗ" методов сбора. Практически любую базу нужно после сбора ещё проверять по различным параметрам прежде чем по ней работать. Естественно если на сайте встречается wp-content (не только в коде но и внутри текста самого сайта) то он попадает в базу. (даже текущий топик попадёт, хотя тут не wp -))) )

Если знаете другой более качественный метод сбора - покажите, обсудим!

 

только по гуглу работать будет!

 

если только в коде - не попадает
https://www.google.com/search?q=intext:wp-content+site:forms.byu.edu&sca_esv=571840155&sxsrf=AM9HkKmpNHU1JGJPtQds-rQG-rH6ZoOrwg:1696842844383&ei=XMQjZff8Ft6-wPAPqNiUsAE&ved=0ahUKEwj3muqX0OiBAxVeHxAIHSgsBRYQ4dUDCBA&oq=intext:wp-content+site:forms.byu.edu

Метод знаю, потом напишу

 

Добрый день!
Можно ли этим пресетом парсить сайты на других CMS?
Интересует https://horoshop.ua/

 

если знаете футпринты нужной CMS то конечно можно, просто вместо wp-content подставляйте ваш футпринт и, как писал выше, это ОДИН ИЗ способов!!!

 

для вашего магазина это будет к примеру: var file = '/frontend/themes/
хотя не факт

 

Спасибо, жду!

 

Спасибо за ответ. Будем тестить.

Еще есть вопрос по Xevil - можно ли запустить этот пресет с его демо-версией?
У меня не получилось, потому уточняю

 

ксевил разгадывает капчи которые выдаёт гугл.... вы можете вообще ксевил не юзать но тогда кол-во успешных запросов будет стремиться к нулю со временем... не обязательно ксевил, попробуйте другие сервисы разгадывания. Но я рекомендую ксевил. В соседней моей ветке есть скидка на покупку в 55% по купонам.