Для тех, у кого не определяются хабы и/или все модемы в системе

В последнее время всё чаще и чаще прилетают жалобы, что не определяются модемы или определяются, но не все в USB 3.0->3.2 Gen 1 (5 gbit/s) / 3.1->3.2 Gen 2 (10 gbit/s) хабах (далее — 3.х).
При этом всём, для сервера берется какой-то i5 (еще и ноутбук) почти 10-ти летней давности или около того.

Надо запомнить тезисы, написанные простым языком:
1. Не имеет смысла брать 3.х хабы на старые материнские платы и процессоры, скорее всего у вас будет вот такое:

[   10.198175] usb 3-5.2.2: Not enough host controller resources for new device state.
[   10.205957] usb 3-5.2.2: Not enough bandwidth for altsetting 0
[   10.211911] cdc_ether: probe of 3-5.2.2:1.0 failed with error -12

Ключевое — Not enough host controller resources for new device state.

Это говорит о том, что в USB чипе закончились ресурсы. Варианты:
a. Отключить в BIOS XHCI (гугл с моделью вашей материнской платы в помощь) или использовать USB 2.0 разъем;
б. Если ПК позволяет технически, доставить отдельно USB 3.x контроллер с 4-6 чипами (в этой группе я публиковал варианты);
в. Использовать 2.0 хабы (но с ними тоже всё равно будет лимит как по ресурсам, хоть и не такой маленький как с 3.x, так еще в добавок и по скорости — около 300 мбит/с в точке подключения хаба к USB корневого хаба / чипа, т.е. может быть и 2,4,6 разъемов на материнской плате, но лимит скорости у всех будет один).

2. Для того, чтобы получить большое количество модемов на 3.x хабах, придется брать много контроллеров, т.к., в среднем, на один чип контроллера можно будет подключить около 16-32 модемов в хабе 3.x.

Вывод — если нужна небольшая ферма, берите современное железо, есть б/у миниПК стоимостью около 150-200 долларов на современных I5-8400T или I5-8500T и т.п.:
Dell OptiPlex 3060 I5-8500T
Dell OptiPlex 5060 i5-8500T
HP ProDesk 400 G4 i5-8500T
ThinkCentre M920q i5-8500T
и т.д.

У них более или менее нормальный USB контроллер, 20 (3.х) - 50 (2.0) модемов тянет.

Или собирайте кастомный ПК на материнских платах с большим количеством PCIe для возможности расширения USB 3.х контроллерами в случае нехватки ресурсов встроенного USB чипа.

Для тех, кому нужна "ну, просто, очень большая скорость" на ферме.

Установив 100 модемов на 1 ферму и используя одного и того же оператора, вы не получите 100х увеличенную скорость на любых хабах и модемах. Есть несколько ограничений (в порядке приоритета):
1. БС оператора и их количество в месте, где работает ферма;
2. тарифа или техническое ограничение оператора на количество подключений от 1 устройства;
3. ширина канала провайдера, подведенного к ферме;
4. скорость USB 2.0 хаба (или его "узкого горлышка" в месте подключения);
5. производительность сервера (маловероятное, обычно все упирается в 1-4).

В итоге — если 1 модем х372 на 1 БС/частоте дает вам 100 мбит/с, то 100 одновременно скачивающих модемов в сумме дадут около тех же 100 мбит/с с одной вышки.

Как показал опыт, если нужна большая скорость и:
а. рядом много вышек, работающих на разных частотах — разделять модемы вручную по частотам (бендам) и операторам;
б. рядом много вышек и работают на одинаковых частотах — брать модемы 6 и более высокой категории (Quectel EP06-E / EM06-E);
в. рядом одна вышка — делать небольшие фермы на 10-20 модемов с 1 хабом USB 3.x и расставлять их в разных локациях под разными вышками.

Я бы рекомендовал комбинировать вариант б+в как наиболее универсальный и, на мой взгляд, самый правильный с технической точки зрения.

Бета-версия MyProxyFarmV2

Основное обновление — система стала универсальной с точки зрения совместимости с проксируемыми устройствами, теперь это может быть практически любое сетевое устройство, которое раздает интернет (совместимое с Linux при наличии драйверов в самой системе). Теперь можно к MyProxyFarm подключать роутеры TP-Link TL-MR3020 с подключеннымы к ним модемами или другие роутеры с проводным подключением, поддержка смены IP адреса будет зависит от типа сетевого подключения и настраивается отдельно (если система не поддерживает смену IP на ваших устройствах, можно попробовать реализовать, предоставляется в виде дополнительной платной поддержки).

Самое интересное — теперь система совместима с модемами Sierra Wireless EM7455, модем 6 категории с агрегацией на 300 мбит/с и стоимостью около 20 долларов, смена IP адреса ~4 секунд.

Более детальный changelog второй версии будет опубликован позже, точные сроки выхода релиза 2.0 пока не известны.

Обзор MyProxyFarmV2 beta

Подключение Android телефона в качестве модема к MyProxyFarmV2 beta в несколько кликов...

MyProxyFarmV2 beta
Добавлена поддержка модемов:
Fibocom L850-GL
Fibocom L860-GL

Ферма на базе MyProxyFarm одного из клиентов — 115 работающих модемов.

Обновление системы MyProxyFarm, версия 1.6i

1. Модифицирована прокси-панель, адрес сервера для доступов теперь берется исходя из того, как выполнен вход на саму панель;
2. Добавлена возможность копирования по 1 клику всех данных (SOCKS5 / HTTP / Change IP URL) для каждого пользователя по отдельности;
3. При успешном копировании данных в буфер обмена появляется соответствующее уведомление;
4. При обновлении платформы на последнюю появляется возможность включить доступ к прокси без пароля для 4-го пользователя;
5. Добавлены ссылки для быстрого перехода с панели в настройки фермы и обратно;
6. Инструкция вынесена за пределы основной прокси панели;
7. Оптимизации кода и верстки, прочие исправления, в т.ч. багфиксы.

Для обновления необходимо перезагрузить прокси ферму, для получения функционала по п.4-5 требуется полное обновление системы (бесплатно).

Как сделать доступ к прокси по клиентскому IP без логина/пароля

Данная функция доступна начиная с версии 1.6i и полного обновления платформы в рамках версии 1.6 (или новее), в настройках фермы появляется соответствующий пункт, при включении которого, для пользователя 4 на портах:
13001-13999 в версии 1.6
14001-14999 в версии 2.0 (пока только в закрытом тестировании)
доступ к SOCKS5 и HTTP прокси становится без логина и пароля (ссылка смены остается как и ранее — с паролем).

Если ферма находится за роутером (к примеру — на базе pfSense/OPNSense), в котором можно привязывать / ограничивать доступ по IP к Port Forwarding, то можно сделать соответствующие alias'ы для каждого порта и в него помещать IP адреса клиентов для доступа к прокси портам сервера.

Остальные порты при этом (пользователей 1-3), будут работать как обычно — с парольным доступом.

P.S.
В режиме ретрансляции или если сервер имеет выделенный канал интернет и подключен напрямую — такой возможности пока нет.

MyProxyFarmV2 beta
Протестированы модемы Sierra Wireless EM7455 (6 категория с агрегацией 2-х частот), смена IP в течении 5-7 секунд.
Данный модем продается под разными маркировками (версиями):
Sierra Wireless EM7455 (Generic)
Dell Wireless DW5811E (Dell)
Lenovo ThinkPad EM7455 (Lenovo)

Модемы с маркировкой "Dell" и "Lenovo" могут использоваться в MyProxyFarm при определенной модификации прошивки, "Generic" работают без модификаций.

Стоимость модема с 2 антеннами на AliExpress ~20$ (модемы — б/у, демонтированные с нетбуков, ноутбуков, планшетов и т.д.). К цене модема необходимо добавить стоимость USB переходника (~5$).

Очень низкая цена и поддержка агрегации делает этот модем довольно интересным для использования в MyProxyFarm.

Почему ферма на Windows с большим количеством модемов - плохая идея?

Вся суть в этом ролике (на английском):
https://youtu.be/hiwaxlttWow

После подключения 110 устройств, как оказалось, больше уже подключить невозможно, вдобавок система стала себя неадекватно вести - нагружая процессор до 40%.

Напомню, максимальное количество подключённых и работающих модемов, которое было зафиксировано у одного из клиентов MyProxyFarm, - 115.

Для случаев, когда используются довольно мощные сервера с большим количеством ОЗУ.

Как показал опыт, в виду очень хорошей оптимизации кода системы MyProxyFarm, ресурсы мощных серверов задействованы далеко не на все 100%, по моим наблюдениям средняя нагрузка обычной прокси фермы составляет всего 10-30%. Специально для таких случаев была реализована возможность добавления гостевых систем в MyProxyFarm (Debian/Ubuntu/Windows). Систем может быть добавлено несколько.
Для того, чтобы добавить гостевую систему в MyProxyFarm, необходимо написать мне в личку (данная услуга платная, т.к. требует времени для настройки).

Часто спрашивают, чем MyProxyFarm лучше других систем для прокси?

Если коротко - стабильность, скорость, быстрота работы и поддержка большого количества модемов без потери производительности.

Все модемы отображаются в ВЕБ панели одним списком, который открывается мгновенно.

Возможность использования ретрансляции на другой сервер без привязки к статическому IP в месте расположения фермы.

Главное - система работает с вашего сервера, а не облака, это значительное преимущество и залог быстрой работы системы.

Обновление системы MyProxyFarm, версии 1.7a/2.0beta

1. Добавлена возможность предоставлять клиентам доступ по аналогии как с SOCKS5/HTTP — через OpenVPN. Для предоставление или сброса доступа не нужно разбираться и настраивать — все параметры OpenVPN уже оптимально настроены, а выдача доступа осуществляется "в 1 клик" с помощью файла конфигурации, который импортируется в OpenVPN клиента в течении нескольких секунд.
Основное преимущество такого способа — полноценная поддержка UDP/QUIC и предотвращение утечек DNS в системе при запуске VPN подключения. Коротко говоря, такое подключение практически равноценно подключения модема напрямую к компьютеру.
Стоит отметить, что трафик, проходящий через VPN от клиента до сервера, в отличии от SOCKS5/HTTP прокси, шифруется с помощью TLS сертификатов с использованием алгоритма AES-128-GCM, а за счет использования в MyProxyFarm дополнительного модуля ядра, работа OpenVPN сервера осуществляется через ядро системы, что значительно снижает нагрузку на процессор и допускает использование достаточно слабых процессоров для построения VPN прокси сервера.
2. Теперь доступно логирование SOCKS5/HTTP прокси на диск системы. Прежде чем включать данную опцию, необходимо убедится, что питание к серверу будет бесперебойным, иначе, в случае непредвиденной потери питания, возможна потеря данных на файловой системе.
3. В самой верхней части прокси панели появилось отображение доступных функций на вашей платформе MyProxyFarm:
Possible features: gui, prx-http, prx-socks5, retrans, multiacc, timer, vm, noauth, openvpn, logs
gui — доступ администратора в параметры системы
prx-http, prx-socks5 — HTTP/SOCKS5 прокси
retrans — режим ретрансляции
multiacc — 4 аккаунта прокси на каждый модем/сетевое подключение
timer — таймер автоматической смены IP
vm — возможность настройки виртуальной машины на системе
noauth — 4 доступ прокси без авторизации
openvpn — работа OpenVPN сервера и возможность выдачи VPN доступа
logs — возможность включения логирования прокси

Обновление системы MyProxyFarm, версии 2.0beta

1. Добавлена возможность в один клик отключить или выставить по заданному шаблону на всех прокси заданный таймер смены IP;
2. Адаптация скрипта смены IP на роутерах с PPPoE подключением (Padavan, OpenWRT).

P.S.
В ввиду серьёзного обновления функционала и ядра системы, а так же системных файлов — для активации п.1-2 в MyProxyFarm 1.7 необходимо ручное обновление системы. Обновление выполняется по запросу и, в случае, если настройки системы/доступов не нужно сохранять и обновление будет происходить с 10:00 до 18:00 по пн-пт в порядке живой очереди — обновление будет бесплатным, в остальных случаях — от 25$/система. Обновление опциональное и на работу систем никак не сказывается, просто в системе и списке "Activated features" будут отсутствовать данные функции.

Очередное искусство ручной сборки ферм на Quectel EP06-E от одного из клиентов MyProxyFarm. Что примечательно — используется качественный хаб и переходники для модемов ADT-Link (считаю их одними из лучших на рынке).

В релиз вышла MyProxyFarmV2, видео обзор:
https://youtu.be/sroytjxTsIY

Основные отличия от 1.x версий:
1. Поддержка любых модемов (QMI, MBIM, NCM, ECM ...), роутеров (DHCP/STATIC подключение), OpenVPN/Wireguard (можно проксировать VPN подключение) и т.п.;
2. Смена TCP отпечатка операционной системы p0f v3 (с возможностью использования своих пресетов отпечатков);
3. Функции блеклиста (блокировка по IP, домену, зоне);

Что добавлено в обе версии:
1. OpenVPN доступ к устройству через конфиг файл;
2. Логирование прокси (в т.ч. DNS запросов);
3. Прочие обновления, смотрите в видео...

В связи с тем, что почти все Quectel EP06-E в последнее время идут на "кривой" прошивке EP06ELAR04A20M4G без возможности смены DHCP и способов откатится на старую версию нет — я не рекомендую покупку таких модемов для MyProxyFarm 1.x версий.

О проблеме с модемами на этой прошивке производителю было сообщено более 3-х месяцев назад и до сих пор никаких исправлений не было (новых прошивок за это время не выходило).

В MyProxyFarmV2 такие модемы работают в QMI режиме без каких либо проблем.

В MyProxyFarmV2 был обнаружен баг, который присутствует в системе с самого начала разработки второй версии. При некоторых сценариях (смена пароля, таймера смены IP и т.п.) — происходило падение HTTP портов на конкретном прокси. Данный баг очень трудно было отловить в виду того, что он носил непостоянных характер и HTTP прокси используются далеко не всем клиентами.
Баг исправлен, для пользователей MyProxyFarmV2, которым критично использование HTTP прокси, рекомендуется перезагрузить систему для применения обновления.

MyProxyFarmV2 версия 2.0b

Добавлена возможность запуска Speedtest OOKLA на главном интерфейсе фермы и на каждом устройстве прокси в отдельности.

Для возможности использования данного функционала необходимо перезагрузить систему.