QUIC — так ли страшен?

Наткнулся сегодня на вот такое видео:
https://www.youtube.com/watch?v=eBi6lVT9Vvk

Для тех, кому лень смотреть видео — в нем автор рассказывает о том, что прокси должно поддерживать UDP, иначе весь антидетект, в каком-то "скором" времени, будет сводится на нет (напоминаю, что MyProxyFarm в SOCKS5 поддерживает UDP протокол). Да, если ваши клиенты используют http(s) прокси — то у них действительно могут возникнуть проблемы, т.к. http(s) прокси не поддерживают UDP, используйте SOCKS5 порт.

Если же по каким-то причинам клиенты не могут использовать SOCKS5, могу порекомендовать им заблокировать UDP в Firewall системы или роутере, ничего страшного в этом нет, QUIC имеет failover в TCP (h2) если UDP не доступен.

Доступ к веб интерфейсам модемов HiLink удаленно с ПК или телефона/планшета в один клик!

Поскольку открывать веб интерфейсы модемов в клиентские прокси не безопасно по ряду причин, чтобы попасть в веб интерфейс модема для проверки баланса, SMS и т.д., приходилось подключаться к модемам через прокси с локальной сети (локальная сеть находилась в белом списке и допускала подключение к веб интерфейсу модема) или нужно было отключать модем и подключать к ПК, затем — обратно в ферму (прокси такого модема, соответственно, отключалось).

Теперь добавлена новая, опциональная, функция доступа к веб интерфейсам модемов. После подключения "в один клик" к серверу с любой точки мира и любого ПК/Android/Mac (ферма должна иметь статический WAN адрес или VPS сервер с ретрансляцией прокси), все модемы становятся доступны с одного ПК так, как будто они все одновременно подключены к нему локально. Таким образом, можно подключаться к любому модему моментально — без подключения к прокси и без отключения модема от фермы!

Для подключения этой, крайне удобной, опции необходимо обратиться в личку.

В видео:

● технические требования к мощности компьютера для прокси фермы;
● подключение и настройка модемов Quectel EP06-E в ферме;
● смена паролей доступа к прокси;
● автоматическая смена IP адреса по таймеру;
● настройка и демонстрация режима ретрансляции прокси на VPS;
● режим виртуального подключения модемов по VPN для доступа к веб интерфейсу модемов Huawei через браузер.

https://youtu.be/ad3N4_B-uiw

Обновление системы MyProxyFarm, версия 1.5g

Ядро:
1. Исправлен баг — при смене IP слетала фиксация бендов в GUI модемов Huawei 3372/8372 серии, теперь выбранные бенды, после смены IP, остаются нетронутыми.

Система:
1. В списке модемов добавлена http ссылка для смены IP адреса (актуально для браузеров, которые строго проверяют валидность SSL сертификатов).

Для обновления необходимо перезагрузить прокси ферму.

Крупное обновление системы MyProxyFarm, версия 1.6

Ядро:
1. Оптимизации сетевого стека под большое количество потоков в прокси;
2. Исправление багов смены IP, повторная смена IP если модем не сменил или подвис во время смены IP адреса;
3. Много мелких багфиксов и прочих оптимизаций кода.

Система:
1. Значительно изменения в удобстве пользования интерфейсом;
2. Добавлено по 4 аккаунта на каждый модем;
3. Теперь можно менять / генерировать пароли прямо со списка модемов;
4. Добавлены кнопки установки пре-сетов таймера, смены айпи, перезагрузки модемов;
5. Добавлена статистика трафика и количество подключений на каждый модем (пока только до перезагрузки системы / модема);
6. Добавлена информация о сетевом интерфейсе прокси фермы;
7. Модемы отображаются по порядку нумерации;
8. Прочие изменения в дизайне, которые не вошли в список.

Для обновления необходимо перезагрузить прокси ферму. В некоторых случаях (для очень старых версий) понадобится обновление платформы.

Видео обзор обновленной версии MyProxyFarm 1.6:
https://youtu.be/8QvenBZtNKA

Обновлен список совместимых модемов, добавлены 5G модемы:
Quectel RM500Q-GL, RM520N-GL (за счет модуляции и агрегации вышек — до 1.6 гбит/с в 4G сетях и до 3.4 гбит/с в 5G сетях)
https://alii.pub/6oeoa0

Добавлена совместимость с модемом EM06-E (аналог EP06-E, только в форм-факторе m2), основное отличие от EP06-E — размеры и потребление питания чуть меньше.

Плохие новости по модемам MEIGLink SLM750 (SLM828), завод изменил элементную базу модемов, теперь китайцы продают модемы на новой базе, прошивки от старых не подходят, поэтому работа в ферме новых модемов не возможна. Рекомендую пока не приобретать модемы этого бренда.

Обновление системы MyProxyFarm, версия 1.6d

Обновление ядра (оптимизации и исправления ретрансляции):
1. Пара прокси SOCKS5/HTTP для каждого пользователя теперь ретранслируется отдельно, увеличен буфер для каждого пользователя (должно положительно сказаться на производительности);
2. Оптимизирован режим "через модем (2)" в случае, если в системе всего 1 модем, — при смене айпи значительно ускорено переподключение интерфейса;
3. Обнаружен баг на стороне сервера при котором, в некоторых ситуациях, зависал порт прокси пользователя. Если замечены подобное поведение системы, необходимо обновить бинарный файл на стороне сервера (пишите в личку, файл предоставлю).

Для обновления необходимо перезагрузить прокси ферму.

Обновление системы MyProxyFarm, версия 1.6e

Добавлено:
1. инструменты для отладки проблем по USB шине;
2. команда сброса USB (Reset USB) в системе (все USB устройства заново инициализируются системой);
3. кнопка перезагрузки фермы (Reboot system) прямо с панели прокси.

Для обновления необходимо перезагрузить прокси ферму.

Для тех, у кого не определяются хабы и/или все модемы в системе

В последнее время всё чаще и чаще прилетают жалобы, что не определяются модемы или определяются, но не все в USB 3.0->3.2 Gen 1 (5 gbit/s) / 3.1->3.2 Gen 2 (10 gbit/s) хабах (далее — 3.х).
При этом всём, для сервера берется какой-то i5 (еще и ноутбук) почти 10-ти летней давности или около того.

Надо запомнить тезисы, написанные простым языком:
1. Не имеет смысла брать 3.х хабы на старые материнские платы и процессоры, скорее всего у вас будет вот такое:

[   10.198175] usb 3-5.2.2: Not enough host controller resources for new device state.
[   10.205957] usb 3-5.2.2: Not enough bandwidth for altsetting 0
[   10.211911] cdc_ether: probe of 3-5.2.2:1.0 failed with error -12

Ключевое — Not enough host controller resources for new device state.

Это говорит о том, что в USB чипе закончились ресурсы. Варианты:
a. Отключить в BIOS XHCI (гугл с моделью вашей материнской платы в помощь) или использовать USB 2.0 разъем;
б. Если ПК позволяет технически, доставить отдельно USB 3.x контроллер с 4-6 чипами (в этой группе я публиковал варианты);
в. Использовать 2.0 хабы (но с ними тоже всё равно будет лимит как по ресурсам, хоть и не такой маленький как с 3.x, так еще в добавок и по скорости — около 300 мбит/с в точке подключения хаба к USB корневого хаба / чипа, т.е. может быть и 2,4,6 разъемов на материнской плате, но лимит скорости у всех будет один).

2. Для того, чтобы получить большое количество модемов на 3.x хабах, придется брать много контроллеров, т.к., в среднем, на один чип контроллера можно будет подключить около 16-32 модемов в хабе 3.x.

Вывод — если нужна небольшая ферма, берите современное железо, есть б/у миниПК стоимостью около 150-200 долларов на современных I5-8400T или I5-8500T и т.п.:
Dell OptiPlex 3060 I5-8500T
Dell OptiPlex 5060 i5-8500T
HP ProDesk 400 G4 i5-8500T
ThinkCentre M920q i5-8500T
и т.д.

У них более или менее нормальный USB контроллер, 20 (3.х) - 50 (2.0) модемов тянет.

Или собирайте кастомный ПК на материнских платах с большим количеством PCIe для возможности расширения USB 3.х контроллерами в случае нехватки ресурсов встроенного USB чипа.

Для тех, кому нужна "ну, просто, очень большая скорость" на ферме.

Установив 100 модемов на 1 ферму и используя одного и того же оператора, вы не получите 100х увеличенную скорость на любых хабах и модемах. Есть несколько ограничений (в порядке приоритета):
1. БС оператора и их количество в месте, где работает ферма;
2. тарифа или техническое ограничение оператора на количество подключений от 1 устройства;
3. ширина канала провайдера, подведенного к ферме;
4. скорость USB 2.0 хаба (или его "узкого горлышка" в месте подключения);
5. производительность сервера (маловероятное, обычно все упирается в 1-4).

В итоге — если 1 модем х372 на 1 БС/частоте дает вам 100 мбит/с, то 100 одновременно скачивающих модемов в сумме дадут около тех же 100 мбит/с с одной вышки.

Как показал опыт, если нужна большая скорость и:
а. рядом много вышек, работающих на разных частотах — разделять модемы вручную по частотам (бендам) и операторам;
б. рядом много вышек и работают на одинаковых частотах — брать модемы 6 и более высокой категории (Quectel EP06-E / EM06-E);
в. рядом одна вышка — делать небольшие фермы на 10-20 модемов с 1 хабом USB 3.x и расставлять их в разных локациях под разными вышками.

Я бы рекомендовал комбинировать вариант б+в как наиболее универсальный и, на мой взгляд, самый правильный с технической точки зрения.

Бета-версия MyProxyFarmV2

Основное обновление — система стала универсальной с точки зрения совместимости с проксируемыми устройствами, теперь это может быть практически любое сетевое устройство, которое раздает интернет (совместимое с Linux при наличии драйверов в самой системе). Теперь можно к MyProxyFarm подключать роутеры TP-Link TL-MR3020 с подключеннымы к ним модемами или другие роутеры с проводным подключением, поддержка смены IP адреса будет зависит от типа сетевого подключения и настраивается отдельно (если система не поддерживает смену IP на ваших устройствах, можно попробовать реализовать, предоставляется в виде дополнительной платной поддержки).

Самое интересное — теперь система совместима с модемами Sierra Wireless EM7455, модем 6 категории с агрегацией на 300 мбит/с и стоимостью около 20 долларов, смена IP адреса ~4 секунд.

Более детальный changelog второй версии будет опубликован позже, точные сроки выхода релиза 2.0 пока не известны.

Обзор MyProxyFarmV2 beta

Подключение Android телефона в качестве модема к MyProxyFarmV2 beta в несколько кликов...

MyProxyFarmV2 beta
Добавлена поддержка модемов:
Fibocom L850-GL
Fibocom L860-GL