Улучшение Прокси чекер

[aquatell]

Здравствуйте, хочу предложить по прокси чеккеру две весьма дельные и полезные идеи.

1) Добавить опцию в aparser "Собирать прокси с URL первого уровня".
Что это значит. Вот к примеру мы зашли на главную страницу _https://proxylistdaily4you.blogspot.com/
Видим здесь 2 ссылки которые ведут на внутренние страницы. При включенной этой опции чтобы aparser умел зайти на эти внутренние странички и собрать прокси.

2) Чтобы aparser понимал макросы даты если таковы будут присутствовать в файле "список сайтов для парсинга проксей" часть будет с макросами, а другая без.

Приведу пример с двумя ссылками:

_https://proxylistdaily4you.blogspot.com/2018/07/10-07-18-free-socks-server-list-954.html
_https://proxylistdaily4you.blogspot.com/2018/07/10-07-18-free-proxy-list-2218.html

В файле sites.txt это выглядит так:

_https://proxylistdaily4you.blogspot...nth]-[year-2]-free-socks-server-list-954.html
_https://proxylistdaily4you.blogspot...y]-[month]-[year-2]-free-proxy-list-2218.html

Описание макросов:

[year] - подставит на свое место полный текущий год. Прим. 2018
[year-2] то же самое что макрос [year] только параметр с цифрой 2 говорит что надо вывести год в двухзначном формате т.е. если сейчас 2018, то макрос [year-2] соответственно выводит нам 18
[dateday] - Выводит текущую дату к примеру
[month] - выводит номер текущего месяца, пример если сейчас июль то будет 07
[month-1] - выводит текущий месяц без нуля в начале. Если это июль то будет 7

Это позволит в разы собирать большее количество проксей и не надо каждый день в файле редактировать даты особенно если таких сайтов тысячи.

 

[vipuncle]

а не проще купить прокси, хотя бы даже дешевые!?

 

[Support]

Вся вышеописанная задача решается написанием JS парсера, который будет собирать прокси из указанных сайтов с проходом в глубину и записывать их прямо в файл proxy.txt нужного проксичекера. Также можно реализовать поддержку любых макросов в начальных запросах.

 

[Vvtex]

В файле sites.txt это выглядит так:
https://proxylistdaily4you.blogspot...nth]-[year-2]-free-socks-server-list-954.html
_https://proxylistdaily4you.blogspot...y]-[month]-[year-2]-free-proxy-list-2218.html

Получается каждый день обновляется список прокси, заготовки если сделать?

 

[aquatell]

Получается каждый день обновляется список прокси, заготовки если сделать?

Все верно.

а не проще купить прокси, хотя бы даже дешевые!?

Зачем? Если и так все устраивает. Xevil + Public proxy