Крупное обновление системы MyProxyFarm, версия 1.5
Ядро:
1. Оптимизирован стек подключения модемов, значительно ускорено время подключения при количестве модемов > 80;
2. Добавлено логирование ошибок модемов (по шине, перезагрузки модемов и т.п.) и состояние смены IP адреса и отображение публичного IP адреса модема;
3. Добавлена полная поддержка модемов Quectel EP06-E LA (преимущество над Ex372 — выше скорость, мгновенная и гарантированная смена IP). Перед подключением модема в ферму необходимо проверить версию прошивки, она должна быть не менее EP06ELAR04A04M4G, если старее — прошить обновленной версией. Затем модем настроить AT командами с фермы, чуть позже будет видео инструкция. После настройки модем можно отключать / подключать "на горячую" без дополнительных настроек так же, как и Ex372;
4. Одновременная работа двух типов прокси (порты 8001-8499 SOCKS5, 8500-8999 HTTP), теперь при смене пароля доступа для пользователя не нужно задавать тип прокси, работают одновременно оба;
5. Исправлена ошибка с UDP протоколом в SOCKS5 (если ферма находится за роутером —для работы необходимо пробрасывать UDP порты с 9000 по 20000);
Система:
1. Упрощена ссылка смены IP, теперь не нужно указывать модель модема в ссылке. Для модемов E8372 необходимо задавать пароль веб интерфейса, который указывает система в инструкции.
2. Добавлена смена IP по времени (циклическая смена IP адреса с заданным промежутком времени от 1 раза в 30 секунд с шагом в 1 секунду);
3. Добавлены средства мониторинга сервера (температуры системы, загрузка процессора, памяти, трафик на интерфейсах и т.д.);
4. Добавлен интерфейс для отправки AT команд на модемы с COM портами (Quectel EP06-E и т.п.);
5. Прочие исправления ошибок, которые не вошли в список.
Для полноценного обновления функционала, в некоторых случаях, требуется полное обновление всей системы. Уточнить, нужно ли обновление для вашей системы, можно в личной переписке.
Ядро:
1. Оптимизирован стек подключения модемов, значительно ускорено время подключения при количестве модемов > 80;
2. Добавлено логирование ошибок модемов (по шине, перезагрузки модемов и т.п.) и состояние смены IP адреса и отображение публичного IP адреса модема;
3. Добавлена полная поддержка модемов Quectel EP06-E LA (преимущество над Ex372 — выше скорость, мгновенная и гарантированная смена IP). Перед подключением модема в ферму необходимо проверить версию прошивки, она должна быть не менее EP06ELAR04A04M4G, если старее — прошить обновленной версией. Затем модем настроить AT командами с фермы, чуть позже будет видео инструкция. После настройки модем можно отключать / подключать "на горячую" без дополнительных настроек так же, как и Ex372;
4. Одновременная работа двух типов прокси (порты 8001-8499 SOCKS5, 8500-8999 HTTP), теперь при смене пароля доступа для пользователя не нужно задавать тип прокси, работают одновременно оба;
5. Исправлена ошибка с UDP протоколом в SOCKS5 (если ферма находится за роутером —для работы необходимо пробрасывать UDP порты с 9000 по 20000);
Система:
1. Упрощена ссылка смены IP, теперь не нужно указывать модель модема в ссылке. Для модемов E8372 необходимо задавать пароль веб интерфейса, который указывает система в инструкции.
2. Добавлена смена IP по времени (циклическая смена IP адреса с заданным промежутком времени от 1 раза в 30 секунд с шагом в 1 секунду);
3. Добавлены средства мониторинга сервера (температуры системы, загрузка процессора, памяти, трафик на интерфейсах и т.д.);
4. Добавлен интерфейс для отправки AT команд на модемы с COM портами (Quectel EP06-E и т.п.);
5. Прочие исправления ошибок, которые не вошли в список.
Для полноценного обновления функционала, в некоторых случаях, требуется полное обновление всей системы. Уточнить, нужно ли обновление для вашей системы, можно в личной переписке.
❤2
Уточнение для тех, кому нужен веб интерфейс с детальным мониторингом работы модемов (про "шашечки" или "чем себя занять в свободное время")
По поводу стабильности работы системы — системе MyProxyFarm всё равно, какой модем работает НЕ стабильно или отключается / сбоит / перегревается. Неисправный модем просто перезагружается, затем подключается в систему по новой автоматически (такой event логируется системой) и никак не влияет на работу остальных модемов, другие пользователи на других модемах этого не замечают. Каждый модем — это своя система, свои прокси, своя среда работы, которая никак не связана с работой других модемов, прокси и системы в целом.
Это ключевая и уникальная особенность MyProxyFarm перед всеми остальными решениями на рынке! Поэтому, ничего НЕ нужно мониторить, сидеть круглые сутки над фермой, перезагружая её по несколько раз в неделю, при этом еще и вручную перенастраивая модемы.
В MyProxFarm версии 1.5 максимум, что нужно — зайти посмотреть на предмет event ошибок USB шины и заменить дефектный модем или переставить в другой USB порт, если давно не обновлялся IP адрес — проверить баланс модема или сам модем.
Поэтому — детальный мониторинг модемов при количестве от 50 штук в 1 системе это просто бесполезная трата вашего личного времени (считайте — денег) и потеря производительности самого сервера.
Цель и задачи системы MyProxyFarm — простота, стабильность и скорость.
По поводу стабильности работы системы — системе MyProxyFarm всё равно, какой модем работает НЕ стабильно или отключается / сбоит / перегревается. Неисправный модем просто перезагружается, затем подключается в систему по новой автоматически (такой event логируется системой) и никак не влияет на работу остальных модемов, другие пользователи на других модемах этого не замечают. Каждый модем — это своя система, свои прокси, своя среда работы, которая никак не связана с работой других модемов, прокси и системы в целом.
Это ключевая и уникальная особенность MyProxyFarm перед всеми остальными решениями на рынке! Поэтому, ничего НЕ нужно мониторить, сидеть круглые сутки над фермой, перезагружая её по несколько раз в неделю, при этом еще и вручную перенастраивая модемы.
В MyProxFarm версии 1.5 максимум, что нужно — зайти посмотреть на предмет event ошибок USB шины и заменить дефектный модем или переставить в другой USB порт, если давно не обновлялся IP адрес — проверить баланс модема или сам модем.
Поэтому — детальный мониторинг модемов при количестве от 50 штук в 1 системе это просто бесполезная трата вашего личного времени (считайте — денег) и потеря производительности самого сервера.
Цель и задачи системы MyProxyFarm — простота, стабильность и скорость.
👍4❤1
Обновление системы MyProxyFarm, версия 1.5b
Ядро:
1. Исправлено некорректное автоматическое определение модемов Huawei E8372.
Система:
1. Добавлено отображение уровня сигнала для модемов и название операторов сотовой связи;
2. Оптимизация кода.
Для отображения уровней сигналов требуется ручное обновление системы.
Ядро:
1. Исправлено некорректное автоматическое определение модемов Huawei E8372.
Система:
1. Добавлено отображение уровня сигнала для модемов и название операторов сотовой связи;
2. Оптимизация кода.
Для отображения уровней сигналов требуется ручное обновление системы.
👍3❤1
Обновление системы MyProxyFarm, версия 1.5d
Ядро:
1. Реализована полностью автоматическая настройка новых модемов Quectel EP06-E с прошивкой EP06ELAR04A04M4G и новее. При подключении модема, система сама настроит его и присвоит уникальный номер в течении нескольких секунд после подключения. Никаких дополнительных настроек, кроме смены APN в случае необходимости, делать не нужно, модем будет сразу готов к работе с прокси;
2. Теперь в режиме ретрансляции на сервер ретранслируется и GUI интерфейс с API (балансируется по методу "next alive" по всем существующим подключениям на ферме);
Система:
1. Переделан интерфейс для удобства использования. Данные прокси и ссылки для смены IP сделаны кликабельными (при нажатии — копируются в буфер обмена);
2. Прочие оптимизации.
Ядро:
1. Реализована полностью автоматическая настройка новых модемов Quectel EP06-E с прошивкой EP06ELAR04A04M4G и новее. При подключении модема, система сама настроит его и присвоит уникальный номер в течении нескольких секунд после подключения. Никаких дополнительных настроек, кроме смены APN в случае необходимости, делать не нужно, модем будет сразу готов к работе с прокси;
2. Теперь в режиме ретрансляции на сервер ретранслируется и GUI интерфейс с API (балансируется по методу "next alive" по всем существующим подключениям на ферме);
Система:
1. Переделан интерфейс для удобства использования. Данные прокси и ссылки для смены IP сделаны кликабельными (при нажатии — копируются в буфер обмена);
2. Прочие оптимизации.
❤1
Обновление системы MyProxyFarm, версия 1.5e
Ядро:
1. Добавлена поддержка mPCIe модемов (работают в т.ч.через USB переходники):
MEIGLink SLM750 ( https://alii.pub/6mpt6p )
MEIGLink SLM828 ( https://alii.pub/6mpt82 )
Настраиваются автоматически — как и Quectel EP06-E. Смена IP в 1-2 секунды.
SLM750 дешевый и довольно стабильный модем, по скорости чуть быстрее Huawei Ex372.
SLM828 пока сыроват, жду обновленную прошивку, по скорости — на уровне Quectel EP06-E.
Система:
1. Исправлено некорректное отображение IP адреса при смене IP (вместо нового адреса, отображался старый и наоборот);
2. Мелкие изменения в графическом интерфейсе и оптимизация производительности в режиме ретрансляции.
Ядро:
1. Добавлена поддержка mPCIe модемов (работают в т.ч.через USB переходники):
MEIGLink SLM750 ( https://alii.pub/6mpt6p )
MEIGLink SLM828 ( https://alii.pub/6mpt82 )
Настраиваются автоматически — как и Quectel EP06-E. Смена IP в 1-2 секунды.
SLM750 дешевый и довольно стабильный модем, по скорости чуть быстрее Huawei Ex372.
SLM828 пока сыроват, жду обновленную прошивку, по скорости — на уровне Quectel EP06-E.
Система:
1. Исправлено некорректное отображение IP адреса при смене IP (вместо нового адреса, отображался старый и наоборот);
2. Мелкие изменения в графическом интерфейсе и оптимизация производительности в режиме ретрансляции.
❤1
Channel name was changed to «MyProxyFarm — система для прокси ферм»
Прокси ферма своими руками, подбор качественных комплектующих для больших ферм:
https://youtu.be/1-CfeTcQgRE
https://youtu.be/1-CfeTcQgRE
❤🔥2
Обновление системы MyProxyFarm, версия 1.5f
Ядро:
1. Исправлена проблема определения модемов после отключения / подключения к системе, в списке и при попытке смены IP адреса могли возникать ошибки.
Для обновления необходимо перезагрузить прокси ферму.
Ядро:
1. Исправлена проблема определения модемов после отключения / подключения к системе, в списке и при попытке смены IP адреса могли возникать ошибки.
Для обновления необходимо перезагрузить прокси ферму.
👍2
О "байках из склепа" про ограничение в 64 модема на один сервер...
После публикации видео, понеслось обсуждение того, что 1 сервер физически не потянет больше 64 модемов. Я не знаю, как некоторые индивидуумы смотрят мои видео или может я невнятно объясняю, но напишу еще текстом, чтобы было понятней.
Ограничение может быть по двум параметрам (один из них или комбинация нескольких):
1. Ограничение по процессору и памяти и/или ограничение операционной системы;
2. Аппаратное ограничение USB чипа.
Теперь о каждом из параметров, про первый:
Это ограничение связано с нагрузкой на процессор и память в процессе работы прокси, т.к. каждый прокси требует поддержку соединений и их обработку, соответственно, нагружая процессор и память. В данном случае, всё зависит от того, как операционная система и программные комплексы обрабатывают запросы. Если операционная система плохо оптимизирована (Windows к примеру), то там точно буду проблемы. Если система Linux-подобная, то уже лучше, но всё равно, зависит от того, как настроена системная среда для работы. Часто программы, в случае внезапного отключения модемов, оставляют кучу мусора в памяти, таким образом засоряя систему и притормаживая её. Это не единственная причина и сценариев может быть много, в MyProxyFarm я стараюсь учитывать все эти моменты, таким образом, система может работать месяцами без перезагрузки и ручного вмешательства человека.
Второй:
Здесь ограничение задается чипом USB контроллера (как правило, оно находится в районе 32 устройств на 1 чип), решается просто добавлением отдельного контроллера с нормальной обвязкой и отдельными чипами. Такие контроллеры можно купить на том же Aliexpress:
PCIe USB 3.0 контроллер на 4 чипа (теоретически, можно подключить 8 хабов по 16 устройств каждый) — https://alii.pub/6mypa2
PCIe USB 3.0 контроллер на 6 чипов (теоретически, можно подключить 12 хабов по 16 устройств каждый) — https://alii.pub/6mypb1
Бекплейт на 4 USB для контроллера — https://alii.pub/6mypfb
Но на модемах Huawei x372 ограничение всё равно существует, оно находится в районе 254 устройств на 1 сервер (связано с настройками DHCP в меню модема и ограничено подсетью 192.168.0.0/16).
На модемах mPCIe (Quectel EP06-E, MEIGLink SLM750, MEIGLink SLM828), гипотетически, этого ограничения нет.
Но, как бы там ни было, еще не удалось проверить это ограничение, т.к. пока ферм с таким количеством модемов не встречал (на сейчас, система MyProxyFarm используется в ферме только с 93 модемами и нет каких либо предпосылок к ограничению её дальнейшего расширения).
Надо не забывать, что помимо мощности сервера и количества модемов, возникает вопрос канала интернет к этому серверу и скорости мобильных сетей, при росте числа модемов, нужно позаботится о том, чтобы к ним был обеспечен канал доступа с соответствующей скоростью.
Резюмирую.
Разработчикам платных систем и программ выгодно, чтобы вы купили их продукт много раз и поставили как можно больше серверов с модемами, поэтому они лукавят и кормят вас "байками" про то, что 1 сервер не потянет больше 64 модемов, при этом им всё равно, сколько ресурсов будет потреблять их система или программа и как она работает, т.к. сервер у вас всё равно работает "с запасом".
После публикации видео, понеслось обсуждение того, что 1 сервер физически не потянет больше 64 модемов. Я не знаю, как некоторые индивидуумы смотрят мои видео или может я невнятно объясняю, но напишу еще текстом, чтобы было понятней.
Ограничение может быть по двум параметрам (один из них или комбинация нескольких):
1. Ограничение по процессору и памяти и/или ограничение операционной системы;
2. Аппаратное ограничение USB чипа.
Теперь о каждом из параметров, про первый:
Это ограничение связано с нагрузкой на процессор и память в процессе работы прокси, т.к. каждый прокси требует поддержку соединений и их обработку, соответственно, нагружая процессор и память. В данном случае, всё зависит от того, как операционная система и программные комплексы обрабатывают запросы. Если операционная система плохо оптимизирована (Windows к примеру), то там точно буду проблемы. Если система Linux-подобная, то уже лучше, но всё равно, зависит от того, как настроена системная среда для работы. Часто программы, в случае внезапного отключения модемов, оставляют кучу мусора в памяти, таким образом засоряя систему и притормаживая её. Это не единственная причина и сценариев может быть много, в MyProxyFarm я стараюсь учитывать все эти моменты, таким образом, система может работать месяцами без перезагрузки и ручного вмешательства человека.
Второй:
Здесь ограничение задается чипом USB контроллера (как правило, оно находится в районе 32 устройств на 1 чип), решается просто добавлением отдельного контроллера с нормальной обвязкой и отдельными чипами. Такие контроллеры можно купить на том же Aliexpress:
PCIe USB 3.0 контроллер на 4 чипа (теоретически, можно подключить 8 хабов по 16 устройств каждый) — https://alii.pub/6mypa2
PCIe USB 3.0 контроллер на 6 чипов (теоретически, можно подключить 12 хабов по 16 устройств каждый) — https://alii.pub/6mypb1
Бекплейт на 4 USB для контроллера — https://alii.pub/6mypfb
Но на модемах Huawei x372 ограничение всё равно существует, оно находится в районе 254 устройств на 1 сервер (связано с настройками DHCP в меню модема и ограничено подсетью 192.168.0.0/16).
На модемах mPCIe (Quectel EP06-E, MEIGLink SLM750, MEIGLink SLM828), гипотетически, этого ограничения нет.
Но, как бы там ни было, еще не удалось проверить это ограничение, т.к. пока ферм с таким количеством модемов не встречал (на сейчас, система MyProxyFarm используется в ферме только с 93 модемами и нет каких либо предпосылок к ограничению её дальнейшего расширения).
Надо не забывать, что помимо мощности сервера и количества модемов, возникает вопрос канала интернет к этому серверу и скорости мобильных сетей, при росте числа модемов, нужно позаботится о том, чтобы к ним был обеспечен канал доступа с соответствующей скоростью.
Резюмирую.
Разработчикам платных систем и программ выгодно, чтобы вы купили их продукт много раз и поставили как можно больше серверов с модемами, поэтому они лукавят и кормят вас "байками" про то, что 1 сервер не потянет больше 64 модемов, при этом им всё равно, сколько ресурсов будет потреблять их система или программа и как она работает, т.к. сервер у вас всё равно работает "с запасом".
👍1
MyProxyFarm — система для прокси ферм
image_2023-03-17_18-24-46.png
Вот таки сборки крайне требовательны к качеству хабов (в основном — по питанию, сможет ли каждый порт обеспечить сертифицированные стандартном USB 3.0: 5 В 1.5 А на порт). В данных сборках клиент выбрал довольно простенькие хабы, которые не тянут 10 шт. Quectel EP06-E, модемы самопроизвольно перезагружаются и работают не стабильно.
Уже давно проверено, модемы 6 категории и выше могут потреблять по паспорту от производителя до 6 Вт , на практике, при замерах на рабочей ферме и особенно при поиске сетей (смене IP), эта цифра выходит даже немногим больше. Поэтому не трудно посчитать, что для 10 модемов нужен блок питания не менее 60 Вт.
P.S.
хабы будут заменены, на 14-15 модемов я бы рекомендовал такой:
https://alii.pub/6myp9h
Уже давно проверено, модемы 6 категории и выше могут потреблять по паспорту от производителя до 6 Вт , на практике, при замерах на рабочей ферме и особенно при поиске сетей (смене IP), эта цифра выходит даже немногим больше. Поэтому не трудно посчитать, что для 10 модемов нужен блок питания не менее 60 Вт.
P.S.
хабы будут заменены, на 14-15 модемов я бы рекомендовал такой:
https://alii.pub/6myp9h
👍4