Инженерный гид по типам прокси: от физики IP до выбора архитектуры под задачи парсинга, арбитража, рекламы и автоматизации
Представьте знакомый сценарий: вы разработали новый модуль сбора данных для интернет-магазина или защищенного сервиса. Запускаете тест локально — всё работает. Разворачиваете сбор на сервере через пул датацентровых прокси (ведь они дешевые и быстрые) — и уже через две минуты парсер получает ошибки «403 Forbidden», «429 Too Many Requests» или сталкивается с проверкой Cloudflare Turnstile и DataDome.
Переход на резидентский пул часто снижает долю блокировок и капч, но не решает задачу сам по себе: результат зависит от репутации IP, частоты запросов, TLS-фингерпринта, куки и поведения клиента.
На этом этапе нередко ограничиваются практическим решением и возвращаются к коду, следуя принципу: «Работает — не трогай». Но в промышленной автоматизации понимание того, почему это работает, помогает сократить расходы на инфраструктуру и время отладки. Резидентские прокси — не набор случайных приёмов, а понятная сетевая архитектура.
В этом руководстве разберем инженерное устройство прокси-сетей: как целевые сайты классифицируют трафик, почему разные протоколы ведут себя по-разному, как устроена внутренняя маршрутизация и какую модель — таргетированную (Premium), оптовую (Premium Mix) или потоковую безлимитную (Unlimited) — выбрать под конкретную задачу.
1. КАК ЦЕЛЕВОЙ СЕРВЕР ВИДИТ ВАШ ЗАПРОС: ASN, WHOIS И КЛАССИФИКАЦИЯ IP
Каждый раз, когда ваш скрипт или браузер устанавливает TCP-соединение с сайтом, удаленный сервер получает IP-адрес источника. Но IP-адрес — это не просто случайный набор цифр. За каждым адресом стоит строгая публичная иерархия.
Глобальный регулятор IANA выделяет крупные блоки адресов региональным регистраторам (RIR: RIPE NCC, ARIN, APNIC и др.), которые, в свою очередь, распределяют подсети между конечными организациями: хостинг-провайдерами, операторами связи и корпоративными сетями.
Эта цепочка полностью документирована и доступна через базы WHOIS и сервисы IP-Intelligence (MaxMind, IP2Location, DB-IP). При анализе входящего запроса антифрод-системы могут учитывать ASN (Autonomous System Number) наряду с репутацией IP, частотой запросов, отпечатком TLS и поведением сессии:
- Датацентровые IP: принадлежат серверным стойкам и облачным платформам. Их ASN проще распознать как серверный, поэтому при высоком темпе автоматизированных запросов риск проверки или блокировки может быть выше.
- Резидентские IP: выданы домашними провайдерами реальным абонентам — квартирам, частным домам и офисам. Такой IP делает трафик похожим на домашний по сетевой классификации, но сам по себе не отменяет другие сигналы антибота.
2. ПРОТОКОЛЫ ПОД КАПОТОМ: HTTP/HTTPS, SOCKS5 И УТЕЧКИ DNS
При отправке трафика через прокси протокол определяет, как именно данные упаковываются на транспортном и прикладном уровнях сетевой модели OSI.
HTTP / HTTPS (OSI Layer 7 — прикладной уровень)
Для обычного незашифрованного HTTP-трафика прокси полностью считывает запрос и отправляет его от своего имени.
Но при работе с HTTPS клиент отправляет прокси специальный HTTP-метод CONNECT target-domain.com:443. Прокси-сервер открывает сырой TCP-туннель к целевому серверу. После этого прямо внутри туннеля происходит TLS-рукопожатие между вашим клиентом и сайтом.
SOCKS5: универсальный прокси-протокол
SOCKS5 работает между прикладным и транспортным уровнями и не привязан к конкретному протоколу приложения. Через него можно передавать веб-страницы, WebSocket-сообщения и сырые бинарные потоки. После короткого стартового рукопожатия SOCKS5 пересылает байты между клиентом и адресатом.
Защита от утечек DNS
Один из частых источников деанонимизации парсеров — утечка DNS. Если скрипт сначала запрашивает IP-адрес целевого домена у локального DNS-сервера, этот запрос проходит вне прокси-маршрута: используемый DNS-резолвер видит, к каким доменам обращается клиент, и может связать запрос с его сетью.
SOCKS5 позволяет передать доменное имя прокси и выполнить резолв на стороне прокси-ноды. Но это работает только если клиент настроен на удаленный DNS: при локальном резолве до подключения SOCKS5 не устраняет DNS-утечку.
3. АРХИТЕКТУРА РЕЗИДЕНТСКОЙ СЕТИ: ОТ ВАШЕГО СКРИПТА ДО ЦЕЛЕВОГО САЙТА
Резидентская прокси-сеть состоит из трех фундаментальных звеньев:
1. Входной шлюз: серверная точка входа в дата-центре. Принимает подключение от вашего парсера, проверяет авторизацию и держит высокоскоростную сессию с вашим клиентом.
2. Маршрутизатор: интеллектуальное ядро. Анализирует параметры вашего подключения — нужны ли определённые страна или город, удерживать ли текущий IP или выдать новый случайный — и выбирает оптимальную выходную ноду.
3. Выходная нода: устройство с реальным домашним подключением — роутер или ПК, через которое запрос физически выходит в публичную сеть к целевому сайту.
Откуда берутся выходные IP
Пул резидентских прокси — не набор адресов, созданных провайдером. Его составляют IP, которые обычные интернет-провайдеры выдают домашним и мобильным подключениям. В типичной сети устройство с клиентским ПО поддерживает исходящее соединение с инфраструктурой прокси-провайдера и становится выходной нодой.
Из этого следуют практические ограничения: домашняя нода может сменить IP или уйти офлайн, поэтому закреплённая сессия не бывает вечной — оркестратор выдаёт замену. Для клиента это прозрачно: он подключается к единому шлюзу, а не к конкретному домашнему устройству.
4. ТРИ АРХИТЕКТУРНЫХ ОТВЕТА A-PARSER ПОД РАЗНЫЕ ТИПЫ ЗАДАЧ
В зависимости от задачи — точная привязка к городу, сбор миллионов страниц с контролем стоимости или круглосуточный парсинг в сотни потоков — требуются принципиально разные подходы к тарификации, авторизации и маршрутизации.
Архитектура 1. Резидентские Premium-прокси: страна и город
Назначение: точная геолокация, чистота IP и длительное удержание сессий.
Если вы работаете с рекламными кабинетами (Google Ads, Facebook Ads, TikTok), ведете профили в антидетект-браузерах (Dolphin Anty, AdsPower, Octo Browser, GoLogin) или собираете региональную поисковую выдачу с точностью до города, обычно важны контроль над геопозицией и стабильность сессии.
Пример: запрос с параметрами «страна=DE», «город=Берлин», «session_id=abc123» оркестратор Premium-пула направит к резидентскому IP в Берлине. IP удерживается для этой сессии до 60 минут.
Ключевые возможности
- Глобальный охват: база из более чем 10 000 000 резидентных IP с возможностью фильтрации по 200+ странам и 5000+ городам.
- Режимы ротации:
- случайный IP на каждый запрос;
- ротация по интервалу — от 1 до 60 минут;
- режим закрепления IP: прокси удерживает исходный IP максимально возможное время; это важно для логина, сохранения кук и прогрева аккаунтов.
- Генерация списков: в Личном кабинете можно генерировать неограниченное количество списков до 10 000 IP-адресов в каждом под разные сочетания страны, города и тайм-аутов.
- Экстренный сброс доступа: сброс пароля в кабинете мгновенно делает все ранее сгенерированные списки недействительными.
- Тарификация: оплата за фактически израсходованный трафик — от $0.9 до $1.7 за GB. Количество потоков и одновременных соединений к каждой прокси не ограничено.
Архитектура 2. Резидентские Premium Mix
Назначение: низкая стоимость гигабайта для масштабного сбора данных.
Когда перед вами стоит задача спарсить 500 000 карточек товаров из интернет-магазина, собрать цены конкурентов или собрать терабайты текстов для обучения LLM и наполнения RAG-баз данных, но результат не требует фиксированных страны или города, можно использовать общий глобальный пул. Перед массовым запуском проверьте выборкой, меняются ли цены, наличие и контент между нужными странами и городами.
Как это работает: Premium Mix не фильтрует ноды по стране и городу и использует общий пул из 10 млн IP в 200+ странах. При ротации на каждый запрос подключение получает новый случайный IP; цена трафика — от $0.3 за GB.
Почему Premium Mix может стоить дешевле
Premium Mix использует общий глобальный пул без привязки к определенному городу или почтовому индексу: 10 млн IP в 200+ странах.
- Оптовая цена: от $0.3 до $0.8 за GB. Например, пакет 500 GB по $0.50/GB обойдется в $250, а 3000 GB по $0.30/GB — в $900.
- Свобода параллелизма: неограниченное количество потоков и одновременных подключений.
- Авторизация: по логину и паролю.
- Режимы работы: поддерживает как ротацию на каждый запрос, так и закреплённые сессии до 60 минут.
Архитектура 3. Безлимитные Unlimited-прокси
Назначение: круглосуточный высоконагруженный парсинг 24/7 с предсказуемой стоимостью трафика.
При использовании браузеров без графического интерфейса (Playwright, Puppeteer, Selenium), рендеринге тяжёлых одностраничных приложений (SPA) с множественными асинхронными запросами или глубоком обходе сайтов объем сетевого трафика может быстро расти. При оплате за гигабайты бюджет становится сложнее прогнозировать: ошибка в скрипте или непреднамеренный цикл загрузки фонового видео способны израсходовать значительный объём трафика.
Для таких задач применяется потоковая модель оплаты.
Например, для 500 потоков 24/7 вы выбираете потоковый пакет с фиксированной абонентской платой. Трафик включён в тариф, а доступ настраивается через привязку IP-адреса сервера.
Как устроена выдача и авторизация Unlimited
В отличие от гигабайтных тарифов, здесь доступ организуется через привязку по IP-адресу клиента в Личном кабинете. Вы один раз указываете IP-адрес рабочего сервера или ПК, после чего используете прокси в формате «ip-шлюза:порт» без необходимости передавать логин и пароль в каждом запросе.
В личном кабинете пользователю доступны два готовых списка:
- Список с закреплённым IP на порту — perm_socks.txt: на каждом порту находится своя прокси со своим выходным IP. Прокси зафиксирована за своим портом, пока находится онлайн. Список автоматически обновляется на сервере каждые 30 секунд, чтобы отражать доступные на момент обновления адреса. При следующем обращении к URL клиент получает текущую версию списка. Этот список подходит для задач, где важно удерживать IP в рамках сессии.
- Список со случайным IP — rand_socks.txt: выходной IP меняется для каждого нового подключения к прокси, выбираясь случайным образом из всех живых прокси пула 100 000+ адресов. Список фиксированный и не требует перезагрузки.
Экономика Unlimited
- Вы платите фиксированную абонентскую плату за количество параллельных потоков на неделю или месяц — от 20 потоков за $10/нед или $29/мес до 2000 потоков за $379/нед или $999/мес.
- Весь проходящий трафик включен в абонентскую плату и не тарифицируется по гигабайтам.
5. ЧТО ЕЩЕ ЕСТЬ НА РЫНКЕ: КРАТКИЙ ОБЗОР АЛЬТЕРНАТИВ
Чтобы ориентироваться в индустрии, важно понимать место других категорий прокси:
- Датацентровые прокси: обычно быстрые и недорогие, а их ASN легко распознаётся как серверный. Они удобны для открытых API и ресурсов с умеренной защитой, но для чувствительных к автоматизации задач требуют аккуратного темпа запросов и проверки результата.
- Статические резидентские прокси: прокси, физически расположенные на серверах в ЦОД, но зарегистрированные на потребительских провайдеров. Они стабильны и быстры, но стоят дорого за каждый выделенный IP и со временем попадают в черные списки антифродов.
- Мобильные 4G/5G-прокси: трафик идет через сотовые сети с технологией CGNAT, где один публичный IP может разделяться многими абонентами. Поэтому блокировка такого адреса несёт для сайта риск затронуть обычных пользователей. Мобильные прокси обычно дороже и медленнее резидентских; их стоит выбирать, когда требования конкретного сайта или сценария оправдывают эту стоимость.
6. СВОДНАЯ МАТРИЦА ВЫБОРА: КАКУЮ АРХИТЕКТУРУ ВЫБРАТЬ?
| Сценарий использования | Рекомендуемый тип | Авторизация | Режим работы | Почему именно этот выбор |
|---|---|---|---|---|
| Арбитраж трафика, Google / FB Ads | Premium (страна и город) | Логин / Пароль | Закреплённый IP (15–60 мин) | Требуется строгая привязка к целевой стране/городу и неизменный IP на время сессии. |
| Антидетект-браузеры (Dolphin, AdsPower) | Premium (страна и город) | Логин / Пароль | Закреплённый IP (30–60 мин) | Подходит, когда для сессии важны стабильный IP и конкретная локация. |
| Сбор цен интернет-магазинов и маркетплейсов | Premium Mix | Логин / Пароль | Ротация на запрос | Низкая себестоимость от $0.3/GB, если не нужны точные страна и город. |
| Сбор датасетов для LLM / RAG / AI | Premium Mix | Логин / Пароль | Ротация на запрос | Цена Premium Mix начинается от $0.8/GB и снижается при увеличении объёма — до $0.3/GB для крупных пакетов. |
| Круглосуточный краулинг 24/7 в A-Parser | Unlimited | Привязка по IP | Закреплённый IP на портах | Трафик включён в стоимость тарифа, бюджет фиксирован, доступно масштабирование до 2000 потоков. |
| Регулярный SEO-мониторинг позиций | Unlimited (20–100 потоков) | Привязка по IP | Случайный IP при новом подключении | Фиксированная плата за неделю или месяц без тарификации тяжёлых отчётов по гигабайтам. |
7. ПРАКТИЧЕСКИЕ НЮАНСЫ НАСТРОЙКИ И ФОРМАТЫ ПОДКЛЮЧЕНИЯ
В зависимости от выбранного тарифа доступ к прокси строится по двум разным моделям.
1. Настройка Premium и Premium Mix: авторизация и передача параметров
Для доступа используется протокол SOCKS5 (или HTTP) с авторизацией по логину и паролю.
Ключевая особенность архитектуры: все параметры таргетинга и ротации передаются прямо внутри логина через суффиксы. Вам не нужно менять порты или адреса шлюзов — шлюз парсит параметры на лету и направляет запрос на нужную ноду.
Структура адреса подключения:
Код:
[логин]_[параметры]:[пароль]@[домен-шлюза]:[порт]Параметры таргетинга (страна, город) и режим ротации (интервал смены IP, режим закрепления IP) передаются непосредственно в строке подключения. В Личном кабинете генератор автоматически формирует готовый список с нужными параметрами.
Ссылка для авто-генерации списков из Личного кабинета:
Код:
https://[домен-генератора-списков]/proxyList?login=[логин]&password=[пароль]&[параметры]&format=login:password:host:portВид сгенерированного списка (до 10 000 IP):
Код:
[логин]_[параметры]:[пароль]@[домен-шлюза]:10000
[логин]_[параметры]:[пароль]@[домен-шлюза]:10001
[логин]_[параметры]:[пароль]@[домен-шлюза]:10002
...
[логин]_[параметры]:[пароль]@[домен-шлюза]:19999Важные инженерные рекомендации для A-Parser
- В настройках проксичекера выберите тип SOCKS5 и включите опцию «Использовать авторизацию прокси» (Use proxy authorization).
- Для готовых списков Premium и Premium Mix от A-Parser рекомендуется включить опцию «Не проверять прокси» (No check proxy): регулярные проверки расходуют предоплаченный трафик. Если вы добавляете собственные или сторонние прокси, сначала проверьте их обычным способом.
2. Настройка Unlimited (привязка по IP)
Для доступа к Unlimited прокси не требуется логин и пароль. В Личном кабинете достаточно указать внешний IP-адрес вашего сервера или компьютера.
Вам доступны две готовые ссылки на списки:
- http://сервер-раздачи-списков/prx/perm_socks.txt — закреплённый IP на порту, обновляется каждые 30 секунд.
- http://сервер-раздачи-списков/prx/rand_socks.txt — случайный IP при новом подключении.
Вид строк в списке (чистый IP : PORT):
Код:
198.51.100.10:21000
198.51.100.10:21001
198.51.100.10:21002
...
198.51.100.10:21047Важные инженерные рекомендации для A-Parser
- Для задач, требующих закреплённого IP, используйте список perm_socks.txt: укажите URL-ссылку на него в настройках чекера с автообновлением.
- Расчет потокового бюджета: сумма потоков чекера «Check threads» и потоков всех активных заданий «Threads count» не должна превышать лимит вашего тарифа — например, 100, 500 или 2000 потоков. Превышение приведет к замедлению скорости и ошибкам таймаута на шлюзе.
- В проксичекере для perm_socks.txt также рекомендуется включить «No check proxy», поскольку список уже фильтруется на бэкенде.
РЕЗЮМЕ
Эффективный сбор данных строится не на поиске «одной универсальной прокси для всего», а на точном подборе инструмента под характер нагрузки:
- Нужен точный контроль над страной, городом и сессией для рекламы и антидетектов? → Резидентские Premium с авторизацией по логину/паролю и оплатой за GB.
- Нужна сниженная стоимость при парсинге миллионов страниц контента? → Резидентские Premium Mix с общим международным пулом и ценой от $0.3 за гигабайт.
- Нужен непрерывный сбор данных в десятки и сотни потоков круглые сутки? → Безлимитные Unlimited с авторизацией по привязке IP, оплатой за потоки и включённым в тариф трафиком.
Главный вывод: не существует одной универсальной прокси для любой нагрузки. Сначала определите, что для задачи важнее — точная геолокация, стоимость объёма или постоянная потоковая нагрузка — и только затем выбирайте архитектуру.
Полезные ссылки
Последнее редактирование: