Улучшение Прокси чекер

Тема в разделе "Отклоненные задачи", создана пользователем aquatell, 11 июл 2018.

Метки:
  1. aquatell

    aquatell A-Parser Pro License
    A-Parser Pro

    Регистрация:
    8 ноя 2012
    Сообщения:
    98
    Симпатии:
    23
    Здравствуйте, хочу предложить по прокси чеккеру две весьма дельные и полезные идеи.

    1) Добавить опцию в aparser "Собирать прокси с URL первого уровня".
    Что это значит. Вот к примеру мы зашли на главную страницу _https://proxylistdaily4you.blogspot.com/
    Видим здесь 2 ссылки которые ведут на внутренние страницы. При включенной этой опции чтобы aparser умел зайти на эти внутренние странички и собрать прокси.

    2) Чтобы aparser понимал макросы даты если таковы будут присутствовать в файле "список сайтов для парсинга проксей" часть будет с макросами, а другая без.

    Приведу пример с двумя ссылками:
    В файле sites.txt это выглядит так:
    Описание макросов:
    Это позволит в разы собирать большее количество проксей и не надо каждый день в файле редактировать даты особенно если таких сайтов тысячи.
     
    #1 aquatell, 11 июл 2018
    Последнее редактирование: 11 июл 2018
    Vvtex нравится это.
  2. vipuncle

    vipuncle A-Parser Pro License
    A-Parser Pro

    Регистрация:
    7 апр 2015
    Сообщения:
    122
    Симпатии:
    43
    а не проще купить прокси, хотя бы даже дешевые!?
     
  3. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    1.921
    Симпатии:
    1.352
    Вся вышеописанная задача решается написанием JS парсера, который будет собирать прокси из указанных сайтов с проходом в глубину и записывать их прямо в файл proxy.txt нужного проксичекера. Также можно реализовать поддержку любых макросов в начальных запросах.
     
  4. Vvtex

    Vvtex A-Parser Pro License
    A-Parser Pro

    Регистрация:
    9 окт 2017
    Сообщения:
    74
    Симпатии:
    11

Поделиться этой страницей