Прокси ферма своими руками, подбор качественных комплектующих для больших ферм:

https://youtu.be/1-CfeTcQgRE

Обновление системы MyProxyFarm, версия 1.5f

Ядро:
1. Исправлена проблема определения модемов после отключения / подключения к системе, в списке и при попытке смены IP адреса могли возникать ошибки.

Для обновления необходимо перезагрузить прокси ферму.

О "байках из склепа" про ограничение в 64 модема на один сервер...

После публикации видео, понеслось обсуждение того, что 1 сервер физически не потянет больше 64 модемов. Я не знаю, как некоторые индивидуумы смотрят мои видео или может я невнятно объясняю, но напишу еще текстом, чтобы было понятней.

Ограничение может быть по двум параметрам (один из них или комбинация нескольких):
1. Ограничение по процессору и памяти и/или ограничение операционной системы;
2. Аппаратное ограничение USB чипа.

Теперь о каждом из параметров, про первый:
Это ограничение связано с нагрузкой на процессор и память в процессе работы прокси, т.к. каждый прокси требует поддержку соединений и их обработку, соответственно, нагружая процессор и память. В данном случае, всё зависит от того, как операционная система и программные комплексы обрабатывают запросы. Если операционная система плохо оптимизирована (Windows к примеру), то там точно буду проблемы. Если система Linux-подобная, то уже лучше, но всё равно, зависит от того, как настроена системная среда для работы. Часто программы, в случае внезапного отключения модемов, оставляют кучу мусора в памяти, таким образом засоряя систему и притормаживая её. Это не единственная причина и сценариев может быть много, в MyProxyFarm я стараюсь учитывать все эти моменты, таким образом, система может работать месяцами без перезагрузки и ручного вмешательства человека.

Второй:
Здесь ограничение задается чипом USB контроллера (как правило, оно находится в районе 32 устройств на 1 чип), решается просто добавлением отдельного контроллера с нормальной обвязкой и отдельными чипами. Такие контроллеры можно купить на том же Aliexpress:

PCIe USB 3.0 контроллер на 4 чипа (теоретически, можно подключить 8 хабов по 16 устройств каждый) — https://alii.pub/6mypa2
PCIe USB 3.0 контроллер на 6 чипов (теоретически, можно подключить 12 хабов по 16 устройств каждый) — https://alii.pub/6mypb1
Бекплейт на 4 USB для контроллера — https://alii.pub/6mypfb

Но на модемах Huawei x372 ограничение всё равно существует, оно находится в районе 254 устройств на 1 сервер (связано с настройками DHCP в меню модема и ограничено подсетью 192.168.0.0/16).
На модемах mPCIe (Quectel EP06-E, MEIGLink SLM750, MEIGLink SLM828), гипотетически, этого ограничения нет.
Но, как бы там ни было, еще не удалось проверить это ограничение, т.к. пока ферм с таким количеством модемов не встречал (на сейчас, система MyProxyFarm используется в ферме только с 93 модемами и нет каких либо предпосылок к ограничению её дальнейшего расширения).

Надо не забывать, что помимо мощности сервера и количества модемов, возникает вопрос канала интернет к этому серверу и скорости мобильных сетей, при росте числа модемов, нужно позаботится о том, чтобы к ним был обеспечен канал доступа с соответствующей скоростью.

Резюмирую.
Разработчикам платных систем и программ выгодно, чтобы вы купили их продукт много раз и поставили как можно больше серверов с модемами, поэтому они лукавят и кормят вас "байками" про то, что 1 сервер не потянет больше 64 модемов, при этом им всё равно, сколько ресурсов будет потреблять их система или программа и как она работает, т.к. сервер у вас всё равно работает "с запасом".

Система с 93 модемами

Интересная сборка на Quectel EP06-E 🤘

Иногда спрашивают хороший вариант мини компьютера для небольшой прокси фермы (около 20-30 модемов), оптимальным считаю вот такой интересный T8 Pro:
https://alii.pub/6nkxn1

Покупал себе и уже пользуюсь более двух месяцев, из плюсов:
4 полноценных ядра на 2.9 ГГц
8 ГБ ОЗУ DDR4 2933 (можно выбрать вариант на 16 ГБ ОЗУ)
очень компактные размеры (как две пачки сигарет)
2 гигабитных сетевых интерфейса
3 разъема USB 3.1
крайне тихая работа системы охлаждения (зависит от нагрузки)

Минусов — не замечено.

По ссылке действует промокод AN9 на -9$ (24 часа), окончательная стоимость со всеми скидками и с SSD диском на 128 GB ~ 100$.

QUIC — так ли страшен?

Наткнулся сегодня на вот такое видео:
https://www.youtube.com/watch?v=eBi6lVT9Vvk

Для тех, кому лень смотреть видео — в нем автор рассказывает о том, что прокси должно поддерживать UDP, иначе весь антидетект, в каком-то "скором" времени, будет сводится на нет (напоминаю, что MyProxyFarm в SOCKS5 поддерживает UDP протокол). Да, если ваши клиенты используют http(s) прокси — то у них действительно могут возникнуть проблемы, т.к. http(s) прокси не поддерживают UDP, используйте SOCKS5 порт.

Если же по каким-то причинам клиенты не могут использовать SOCKS5, могу порекомендовать им заблокировать UDP в Firewall системы или роутере, ничего страшного в этом нет, QUIC имеет failover в TCP (h2) если UDP не доступен.

Доступ к веб интерфейсам модемов HiLink удаленно с ПК или телефона/планшета в один клик!

Поскольку открывать веб интерфейсы модемов в клиентские прокси не безопасно по ряду причин, чтобы попасть в веб интерфейс модема для проверки баланса, SMS и т.д., приходилось подключаться к модемам через прокси с локальной сети (локальная сеть находилась в белом списке и допускала подключение к веб интерфейсу модема) или нужно было отключать модем и подключать к ПК, затем — обратно в ферму (прокси такого модема, соответственно, отключалось).

Теперь добавлена новая, опциональная, функция доступа к веб интерфейсам модемов. После подключения "в один клик" к серверу с любой точки мира и любого ПК/Android/Mac (ферма должна иметь статический WAN адрес или VPS сервер с ретрансляцией прокси), все модемы становятся доступны с одного ПК так, как будто они все одновременно подключены к нему локально. Таким образом, можно подключаться к любому модему моментально — без подключения к прокси и без отключения модема от фермы!

Для подключения этой, крайне удобной, опции необходимо обратиться в личку.

В видео:

● технические требования к мощности компьютера для прокси фермы;
● подключение и настройка модемов Quectel EP06-E в ферме;
● смена паролей доступа к прокси;
● автоматическая смена IP адреса по таймеру;
● настройка и демонстрация режима ретрансляции прокси на VPS;
● режим виртуального подключения модемов по VPN для доступа к веб интерфейсу модемов Huawei через браузер.

https://youtu.be/ad3N4_B-uiw

Обновление системы MyProxyFarm, версия 1.5g

Ядро:
1. Исправлен баг — при смене IP слетала фиксация бендов в GUI модемов Huawei 3372/8372 серии, теперь выбранные бенды, после смены IP, остаются нетронутыми.

Система:
1. В списке модемов добавлена http ссылка для смены IP адреса (актуально для браузеров, которые строго проверяют валидность SSL сертификатов).

Для обновления необходимо перезагрузить прокси ферму.

Крупное обновление системы MyProxyFarm, версия 1.6

Ядро:
1. Оптимизации сетевого стека под большое количество потоков в прокси;
2. Исправление багов смены IP, повторная смена IP если модем не сменил или подвис во время смены IP адреса;
3. Много мелких багфиксов и прочих оптимизаций кода.

Система:
1. Значительно изменения в удобстве пользования интерфейсом;
2. Добавлено по 4 аккаунта на каждый модем;
3. Теперь можно менять / генерировать пароли прямо со списка модемов;
4. Добавлены кнопки установки пре-сетов таймера, смены айпи, перезагрузки модемов;
5. Добавлена статистика трафика и количество подключений на каждый модем (пока только до перезагрузки системы / модема);
6. Добавлена информация о сетевом интерфейсе прокси фермы;
7. Модемы отображаются по порядку нумерации;
8. Прочие изменения в дизайне, которые не вошли в список.

Для обновления необходимо перезагрузить прокси ферму. В некоторых случаях (для очень старых версий) понадобится обновление платформы.

Видео обзор обновленной версии MyProxyFarm 1.6:
https://youtu.be/8QvenBZtNKA

Обновлен список совместимых модемов, добавлены 5G модемы:
Quectel RM500Q-GL, RM520N-GL (за счет модуляции и агрегации вышек — до 1.6 гбит/с в 4G сетях и до 3.4 гбит/с в 5G сетях)
https://alii.pub/6oeoa0

Добавлена совместимость с модемом EM06-E (аналог EP06-E, только в форм-факторе m2), основное отличие от EP06-E — размеры и потребление питания чуть меньше.

Плохие новости по модемам MEIGLink SLM750 (SLM828), завод изменил элементную базу модемов, теперь китайцы продают модемы на новой базе, прошивки от старых не подходят, поэтому работа в ферме новых модемов не возможна. Рекомендую пока не приобретать модемы этого бренда.