Видео урок: Сбор WordPress сайтов

[Support]

Новый видео урок по работе с A-Parser от DIM STUDIO в котором показан один из вариантов сбора сайтов на движке Wordpress.

Плейлист со всеми видео уроками от DIM STUDIO

Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!

​

 

[Reset]

Показанный метод работает через Ж
сайт рассмотренный в видео находится не потому, что в исходном коде есть wp-content
а потому что по запросу - находится вот такая страница https://schaller-automation.com/en/contact/
а ней внезапно есть такое


А так как спарсенный результат приводится к домену, то и потом на главной странице естественно этого нету.

пруф - https://www.google.com/search?q=int...text:/wp-content+site:schaller-automation.com

 

[Twist6]

Не работает intext по исходному коду.

 

[DimkaG]

Показанный метод работает через Ж
сайт рассмотренный в видео находится не потому, что в исходном коде есть wp-content
а потому что по запросу - находится вот такая страница https://schaller-automation.com/en/contact/
а ней внезапно есть такое

Посмотреть вложение 3023
А так как спарсенный результат приводится к домену, то и потом на главной странице естественно этого нету.

пруф - https://www.google.com/search?q=intext:/wp-content+site:schaller-automation.com&oq=intext:/wp-content+site:schaller-automation.com

Всё верно, я поэтому и сказал что это только "ОДИН ИЗ" методов сбора. Практически любую базу нужно после сбора ещё проверять по различным параметрам прежде чем по ней работать. Естественно если на сайте встречается wp-content (не только в коде но и внутри текста самого сайта) то он попадает в базу. (даже текущий топик попадёт, хотя тут не wp -))) )

Если знаете другой более качественный метод сбора - покажите, обсудим!

 

[DimkaG]

Не работает intext по исходному коду.

только по гуглу работать будет!

 

[Reset]

Естественно если на сайте встречается wp-content (не только в коде но и внутри текста самого сайта) то он попадает в базу. (даже текущий топик попадёт, хотя тут не wp -))) )

Если знаете другой более качественный метод сбора - покажите, обсудим!

если только в коде - не попадает
https://www.google.com/search?q=intext:wp-content+site:forms.byu.edu&sca_esv=571840155&sxsrf=AM9HkKmpNHU1JGJPtQds-rQG-rH6ZoOrwg:1696842844383&ei=XMQjZff8Ft6-wPAPqNiUsAE&ved=0ahUKEwj3muqX0OiBAxVeHxAIHSgsBRYQ4dUDCBA&oq=intext:wp-content+site:forms.byu.edu

Метод знаю, потом напишу

 

[Adelir]

Добрый день!
Можно ли этим пресетом парсить сайты на других CMS?
Интересует https://horoshop.ua/

 

[DimkaG]

Добрый день!
Можно ли этим пресетом парсить сайты на других CMS?
Интересует https://horoshop.ua/

если знаете футпринты нужной CMS то конечно можно, просто вместо wp-content подставляйте ваш футпринт и, как писал выше, это ОДИН ИЗ способов!!!

 

[DimkaG]

Добрый день!
Можно ли этим пресетом парсить сайты на других CMS?
Интересует https://horoshop.ua/

для вашего магазина это будет к примеру: var file = '/frontend/themes/
хотя не факт

 

[DimkaG]

если только в коде - не попадает
https://www.google.com/search?q=intext:wp-content+site:forms.byu.edu&sca_esv=571840155&sxsrf=AM9HkKmpNHU1JGJPtQds-rQG-rH6ZoOrwg:1696842844383&ei=XMQjZff8Ft6-wPAPqNiUsAE&ved=0ahUKEwj3muqX0OiBAxVeHxAIHSgsBRYQ4dUDCBA&oq=intext:wp-content+site:forms.byu.edu

Метод знаю, потом напишу

Спасибо, жду!

 

[Adelir]

для вашего магазина это будет к примеру: var file = '/frontend/themes/
хотя не факт

Спасибо за ответ. Будем тестить.

Еще есть вопрос по Xevil - можно ли запустить этот пресет с его демо-версией?
У меня не получилось, потому уточняю

 

[DimkaG]

ксевил разгадывает капчи которые выдаёт гугл.... вы можете вообще ксевил не юзать но тогда кол-во успешных запросов будет стремиться к нулю со временем... не обязательно ксевил, попробуйте другие сервисы разгадывания. Но я рекомендую ксевил. В соседней моей ветке есть скидка на покупку в 55% по купонам.