Nice IT
Снова взялся за нейросеть, решил уже обучать их по нормальному, начал с pre-training на датасете из 1 млрд токенов, 75 миллионов параметров, токенизатор и архитектура от qwen2. Если всё пройдет хорошо будет новая Aletheia V1.4 75M Но даже сейчас чувствуется…
Ну его нахрен, по такой логике пре-тренинг 75M модели займет 4 года. В общем я заброшу это дело на неопределенный срок. Возможно буду клепать бомж сервер для обучения нейросети
Nice IT
Ну его нахрен, по такой логике пре-тренинг 75M модели займет 4 года. В общем я заброшу это дело на неопределенный срок. Возможно буду клепать бомж сервер для обучения нейросети
В общем забудьте что говорил тупой идиот DeepSeek, он сделал настолько дырявый и конченный скрипт что я решил его сравнить с скриптами других разработчиков и в итоге с помощью Qwen 3.7 написал новый
Forwarded from WayG VPN Official (Nice 🇲🇽)
Уважаемые клиенты, провёл развёрнутое тестирование доступности сервера.
Я прогнал TCP-соединение на порт 443 через десятки узлов по всему миру. Это не гарантирует, что VPN будет летать у каждого без исключений – на реальную скорость и стабильность влияют маршруты провайдеров, загрузка каналов и местные блокировки. Результаты такие:
🔹 Европа — вся открывается без проблем. Германия (Франкфурт, Нюрнберг, Лимбург) — пинг 6–17 мс, Швейцария — 2–5 мс, Франция, Англия, Испания, Италия, Польша — везде соединение стабильное.
🔹 Турция — узел в Стамбуле дал ровный пинг около 50 мс, скорость без просадок.
🔹 Украина — работает штатно, подтверждено реальным пользователем.
🔹 Россия — лично тестировал в Москве, Волгограде и на Кавказе. Даже в столице с её плотными блокировками VPN держит 200+ Мбит, пинг не скачет.
🔹 Палестина — проверял через местного провайдера, соединение устанавливается, задержки в пределах нормы.
🔹 Китай — отдельный сюрприз. Узел в Хух-Хото показал CONNECTED (193 мс). Это значит, что даже Великий файрвол пока пропускает мой порт. Разумеется, стабильность в КНР может меняться, но факт остаётся фактом: на данный момент сервер там виден.
🔹 Остальной мир — Канада, Бразилия, Чили, Австралия, Южная Африканская Республика, Тайвань, Соединенные Штаты Америки, Гонконг — тоже всё коннектится.
По скорости: на сервере держится 200–250 Мбит/с, потери пакетов — в пределах 0–0.5%, пинг ровный.
Теперь по оплате. Основная цена — 159 ₽ в месяц. Но я ввожу дополнительный способ: ключи TF2 в Steam. Один ключ = один месяц подписки.
Схема максимально простая:
Вы пишете мне в Telegram @WayGVPN либо @Martazanow
Я скидываю свой ник в Steam или вы сразу переходите по ссылке:
👉 Мой профиль Steam
Вы добавляетесь в друзья, отправляете ключ через внутриигровой обмен.
👉 Ключи TF2 на маркете
Я получаю ключ — сразу отправляю вам персональную ссылку на VPN.
Для тех, кому удобнее рублями — принимаю перевод на карту по тем же контактам.
Если нужна помощь с подключением или остались вопросы — пишите в личку. Отвечаю быстро.
Я прогнал TCP-соединение на порт 443 через десятки узлов по всему миру. Это не гарантирует, что VPN будет летать у каждого без исключений – на реальную скорость и стабильность влияют маршруты провайдеров, загрузка каналов и местные блокировки. Результаты такие:
🔹 Европа — вся открывается без проблем. Германия (Франкфурт, Нюрнберг, Лимбург) — пинг 6–17 мс, Швейцария — 2–5 мс, Франция, Англия, Испания, Италия, Польша — везде соединение стабильное.
🔹 Турция — узел в Стамбуле дал ровный пинг около 50 мс, скорость без просадок.
🔹 Украина — работает штатно, подтверждено реальным пользователем.
🔹 Россия — лично тестировал в Москве, Волгограде и на Кавказе. Даже в столице с её плотными блокировками VPN держит 200+ Мбит, пинг не скачет.
🔹 Палестина — проверял через местного провайдера, соединение устанавливается, задержки в пределах нормы.
🔹 Китай — отдельный сюрприз. Узел в Хух-Хото показал CONNECTED (193 мс). Это значит, что даже Великий файрвол пока пропускает мой порт. Разумеется, стабильность в КНР может меняться, но факт остаётся фактом: на данный момент сервер там виден.
🔹 Остальной мир — Канада, Бразилия, Чили, Австралия, Южная Африканская Республика, Тайвань, Соединенные Штаты Америки, Гонконг — тоже всё коннектится.
По скорости: на сервере держится 200–250 Мбит/с, потери пакетов — в пределах 0–0.5%, пинг ровный.
Теперь по оплате. Основная цена — 159 ₽ в месяц. Но я ввожу дополнительный способ: ключи TF2 в Steam. Один ключ = один месяц подписки.
Схема максимально простая:
Вы пишете мне в Telegram @WayGVPN либо @Martazanow
Я скидываю свой ник в Steam или вы сразу переходите по ссылке:
👉 Мой профиль Steam
Вы добавляетесь в друзья, отправляете ключ через внутриигровой обмен.
👉 Ключи TF2 на маркете
Я получаю ключ — сразу отправляю вам персональную ссылку на VPN.
Для тех, кому удобнее рублями — принимаю перевод на карту по тем же контактам.
Если нужна помощь с подключением или остались вопросы — пишите в личку. Отвечаю быстро.
Forwarded from WayG VPN Official (Nice 🇲🇽)
Уважаемые клиенты, заранее предупреждаю что 13 августа с 2:00 по 5:00 утра могут наблюдаться перебои в работе сервиса, так как я буду переходить на новый более совершенный протокол Reality и так же попытаюсь снова создать систему обхода белых списков.
Всем спасибо за внимание. Если будут вести обязательно сообщу.
Всем спасибо за внимание. Если будут вести обязательно сообщу.
Forwarded from WayG VPN Official (Nice 🇲🇽)
После изучения документации и советов коллег собрал конфигурацию, которая по идее должна проходить фильтрацию, маскируясь под легитимный российский сайт (
Что было сделано в 3x-ui:
Создан новый Inbound на порту 8443
Протокол VLESS
Безопасность Reality с SNI =
Транспорт XHTTP в режиме
Flow для клиента оставлен пустым (для XHTTP он не нужен)
В
Результат: при включенных белых списках подключение работает, скорость чуть ниже, чем у WS+TLS, но стабильно.
Важно: пока не было возможности проверить эту конфигурацию в реальных условиях включённых белых списков. Всё основано на теории и документации. Когда я сам лично полностью всё проверю и удостоверюсь что всё стабильно и нет никаких проблем постепенно начну подключать текущих клиентов, а если не будет работать попробую найти причину, а если не найду то... тут мои полномочия уже всё, я сделал всё что мог🤨
max.ru).Что было сделано в 3x-ui:
Создан новый Inbound на порту 8443
Протокол VLESS
Безопасность Reality с SNI =
max.ru и fingerprint = randomizedТранспорт XHTTP в режиме
stream-one с включённым Padding (100-1000)Flow для клиента оставлен пустым (для XHTTP он не нужен)
В
serverNames указан только max.ru, в settings.serverName тоже max.ruРезультат: при включенных белых списках подключение работает, скорость чуть ниже, чем у WS+TLS, но стабильно.
Важно: пока не было возможности проверить эту конфигурацию в реальных условиях включённых белых списков. Всё основано на теории и документации. Когда я сам лично полностью всё проверю и удостоверюсь что всё стабильно и нет никаких проблем постепенно начну подключать текущих клиентов, а если не будет работать попробую найти причину, а если не найду то... тут мои полномочия уже всё, я сделал всё что мог
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from WayG VPN Official (Nice 🇲🇽)
Приветствую. Хочу поделиться результатами тестирования связки VLESS + Reality + XHTTP на сервере в Нидерландах.
Настройки:
Inbound на порту 8443
Протокол VLESS
Reality с российским SNI (пробовал
Транспорт XHTTP, режим
Fingerprint пробовал
Flow для клиента пустой
Xray-core на сервере — стабильная версия 26.6.27
Результаты:
✅ При выключенных белых списках — работает стабильно.
❌ При включённых белых списках — подключение устанавливается, но через 2–5 секунд полностью замирает. Telegram открывается, но потом всё встаёт. Пробовал менять SNI — эффекта нет.
Что это означает:
Похоже, что оператор фильтрует не только SNI, но и IP-адрес (или всю подсеть) моего европейского хостинга. Reality маскирует домен, но IP остаётся зарубежным, и его просто не пропускают. Я больше не хочу этим заниматься и долбится бошкой об стену. Остаемся на старой конфигурации VLESS + WS + TLS
Настройки:
Inbound на порту 8443
Протокол VLESS
Reality с российским SNI (пробовал
max.ru, ozon.ru, yandex.ru)Транспорт XHTTP, режим
stream-one, Padding 100-1000Fingerprint пробовал
randomized и firefoxFlow для клиента пустой
Xray-core на сервере — стабильная версия 26.6.27
Результаты:
✅ При выключенных белых списках — работает стабильно.
❌ При включённых белых списках — подключение устанавливается, но через 2–5 секунд полностью замирает. Telegram открывается, но потом всё встаёт. Пробовал менять SNI — эффекта нет.
Что это означает:
Похоже, что оператор фильтрует не только SNI, но и IP-адрес (или всю подсеть) моего европейского хостинга. Reality маскирует домен, но IP остаётся зарубежным, и его просто не пропускают. Я больше не хочу этим заниматься и долбится бошкой об стену. Остаемся на старой конфигурации VLESS + WS + TLS
Forwarded from WayG VPN Official (Nice 🇲🇽)
Решил протестировать VPN прямо из Африки, Сомали, даже из настолько далекой точки скорость довольно внушительная.
625 Мбит/с на скачивание и 319 Мбит/с на загрузку🤔
625 Мбит/с на скачивание и 319 Мбит/с на загрузку
Please open Telegram to view this post
VIEW IN TELEGRAM
Решил попробовать нечто новенькое, буду обучать LoRA для SDXL моделей генерации изображений🤗
Устанавливаю инструмент kohya_ss
Устанавливаю инструмент kohya_ss
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from WayG VPN Official (Nice 🇲🇽)
Обновление по VPN: два протокола — два сценария
Друзья, провёл серию тестов и пришёл к выводу, который стоит озвучить.
Сейчас у меня работают два типа подключений:
VLESS + WS + TLS (старый, проверенный)
— даёт максимальную скорость (до 625 Мбит/с)
— работает отлично, когда белые списки выключены
— но в некоторых клиентах (например, v2raytun) может внезапно отваливаться
VLESS + Reality + XHTTP (новый, экспериментальный)
— стабильнее держится в клиентах (не отваливается в v2raytun)
— но не обходит белые списки (это важно!)
— скорость чуть ниже, но всё ещё высокая
Что это значит для вас?
Я постепенно буду внедрять оба протокола в подписки.
Вы сможете выбирать:
Если вам важна максимальная скорость и белые списки в вашем регионе неактивны — используйте WS+TLS.
Если у вас проблемы с отвалом клиента (v2raytun, Happ и т.д.) — переключайтесь на Reality+XHTTP, он держит соединение надёжнее.
Важное предупреждение:
Ситуация в России меняется с каждым месяцем. Роскомнадзор не ограничивается прямыми блокировками VPN-сервисов — теперь под ударом оказалась и инфраструктура целиком.
Давление на хостинги:
С 6 июня 2026 года ТСПУ Роскомнадзора начали фильтровать любой защищённый трафик к облачным провайдерам. В результате под ограничения попали IP-адреса более 20 популярных хостингов
Атака на клиентские приложения:
Роскомнадзор активно блокирует сами протоколы, на которых работают VPN: с начала 2026 года под ограничения попали SOCKS5, VLESS и L2TP. К маю 2026 года РКН доработал механизмы определения и блокировки VPN на базе Xray/VLESS и перешёл от региональных экспериментов к широкому развертыванию. Одновременно с этим возникли проблемы в работе VPN у пользователей из Москвы и Сибири — под раздачу попали VLESS, WireGuard, XTLS, gRPC и Hysteria.
Что это значит для вас:
Если ваш VPN-клиент (v2raytun, Happ, Hiddify, Streisand) перестал работать или начал отваливаться — это не баг, это целенаправленная блокировка.
О себе и о будущем проекта
Я не профессиональная команда вроде Amnezia или других крупных разработчиков. За последние месяцы я потратил довольно много времени изучая документацию, пытаясь настроить обход белых списков, тестировал разные протоколы, связки, клиенты. Ситуация меняется быстрее, чем я успеваю адаптироваться. Сейчас я всерьёз задумываюсь о том, чтобы закрыть проект, потому что поддерживать его в рабочем состоянии становится всё сложнее, а гарантий стабильности — всё меньше.
Друзья, провёл серию тестов и пришёл к выводу, который стоит озвучить.
Сейчас у меня работают два типа подключений:
VLESS + WS + TLS (старый, проверенный)
— даёт максимальную скорость (до 625 Мбит/с)
— работает отлично, когда белые списки выключены
— но в некоторых клиентах (например, v2raytun) может внезапно отваливаться
VLESS + Reality + XHTTP (новый, экспериментальный)
— стабильнее держится в клиентах (не отваливается в v2raytun)
— но не обходит белые списки (это важно!)
— скорость чуть ниже, но всё ещё высокая
Что это значит для вас?
Я постепенно буду внедрять оба протокола в подписки.
Вы сможете выбирать:
Если вам важна максимальная скорость и белые списки в вашем регионе неактивны — используйте WS+TLS.
Если у вас проблемы с отвалом клиента (v2raytun, Happ и т.д.) — переключайтесь на Reality+XHTTP, он держит соединение надёжнее.
Важное предупреждение:
Ситуация в России меняется с каждым месяцем. Роскомнадзор не ограничивается прямыми блокировками VPN-сервисов — теперь под ударом оказалась и инфраструктура целиком.
Давление на хостинги:
С 6 июня 2026 года ТСПУ Роскомнадзора начали фильтровать любой защищённый трафик к облачным провайдерам. В результате под ограничения попали IP-адреса более 20 популярных хостингов
Атака на клиентские приложения:
Роскомнадзор активно блокирует сами протоколы, на которых работают VPN: с начала 2026 года под ограничения попали SOCKS5, VLESS и L2TP. К маю 2026 года РКН доработал механизмы определения и блокировки VPN на базе Xray/VLESS и перешёл от региональных экспериментов к широкому развертыванию. Одновременно с этим возникли проблемы в работе VPN у пользователей из Москвы и Сибири — под раздачу попали VLESS, WireGuard, XTLS, gRPC и Hysteria.
Что это значит для вас:
Если ваш VPN-клиент (v2raytun, Happ, Hiddify, Streisand) перестал работать или начал отваливаться — это не баг, это целенаправленная блокировка.
О себе и о будущем проекта
Я не профессиональная команда вроде Amnezia или других крупных разработчиков. За последние месяцы я потратил довольно много времени изучая документацию, пытаясь настроить обход белых списков, тестировал разные протоколы, связки, клиенты. Ситуация меняется быстрее, чем я успеваю адаптироваться. Сейчас я всерьёз задумываюсь о том, чтобы закрыть проект, потому что поддерживать его в рабочем состоянии становится всё сложнее, а гарантий стабильности — всё меньше.
Forwarded from WayG VPN Official (Nice 🇲🇽)
Друзья, хочу поделиться наблюдениями, которые помогут вам лучше понимать, почему VPN ведёт себя по-разному на разных устройствах.
Системы обнаружения VPN (в том числе те, что используются в России) работают не одинаково на всех платформах. Вот реальная картина на сегодняшний день:
1. Android — система, которая сдаёт тебя с потрохами
Android спроектирован так, что любое приложение может узнать о включённом VPN без root-прав и без специальных разрешений. Для этого используются стандартные системные API, например
Это не просто теория. Минцифры выпустило методические рекомендации, обязывающие популярные российские приложения выявлять пользователей с включенным VPN и ограничивать им доступ. В результате, по данным исследования, из 30 популярных российских Android-приложений 22 уже реализовали обнаружение VPN, а 19 из них передают эту информацию на свои серверы.
Как это работает на практике:
Приложение на твоём телефоне видит, что включен VPN, через системный API.
Оно отправляет этот факт на свой сервер, привязывая к твоему аккаунту.
ТСПУ получает сигнал от этого сервера и начинает целенаправленно анализировать твой трафик, даже если твой протокол (например, VLESS+Reality+XHTTP) успешно обходит сетевые блокировки.
Это двухуровневая система:
Уровень приложения: детекция через API Android.
Уровень сети: усиленный анализ трафика после сигнала с сервера.
Вывод: если ваш VPN на Android часто отваливается или тормозит — это не баг, а следствие архитектуры системы. Android по умолчанию предоставляет информацию о VPN любому приложению, которое этого захочет, и под давлением государства эти приложения активно используют эту возможность.
2. Windows — очень сложно
На Windows нет простого системного вызова, который бы однозначно сказал «да, здесь VPN».
Детекция на десктопах — это задача третьего этапа по методичке РКН, то есть они сами признают, что это трудоёмко.
А если у вас например Windows 11 Pro с правильной настройкой (отключена телеметрия, настроен фаервол, используется современный клиент), то детекция становится почти нереальной.
3. iOS — почти невозможно
Apple придерживается строгой политики конфиденциальности: приложения работают в изолированной среде и не имеют доступа к системным данным других программ.
Минцифры прямо указывает, что выявление VPN на iPhone «существенно ограничено» и является сложной задачей.
Вывод: iOS — самая защищённая платформа для использования VPN с точки зрения обнаружения.
4. Linux и macOS — почти невозможно
На Linux у вас есть полный контроль над сетью: можно скрывать VPN-интерфейсы, настраивать iptables/nftables, использовать SELinux.
На macOS действует та же политика изоляции приложений, что и на iOS, что сильно затрудняет детекцию.
При грамотной настройке эти системы становятся «невидимыми» для систем обнаружения.
Системы обнаружения VPN (в том числе те, что используются в России) работают не одинаково на всех платформах. Вот реальная картина на сегодняшний день:
1. Android — система, которая сдаёт тебя с потрохами
Android спроектирован так, что любое приложение может узнать о включённом VPN без root-прав и без специальных разрешений. Для этого используются стандартные системные API, например
ConnectivityManager и NetworkCapabilities, через которые можно проверить флаг TRANSPORT_VPN.Это не просто теория. Минцифры выпустило методические рекомендации, обязывающие популярные российские приложения выявлять пользователей с включенным VPN и ограничивать им доступ. В результате, по данным исследования, из 30 популярных российских Android-приложений 22 уже реализовали обнаружение VPN, а 19 из них передают эту информацию на свои серверы.
Как это работает на практике:
Приложение на твоём телефоне видит, что включен VPN, через системный API.
Оно отправляет этот факт на свой сервер, привязывая к твоему аккаунту.
ТСПУ получает сигнал от этого сервера и начинает целенаправленно анализировать твой трафик, даже если твой протокол (например, VLESS+Reality+XHTTP) успешно обходит сетевые блокировки.
Это двухуровневая система:
Уровень приложения: детекция через API Android.
Уровень сети: усиленный анализ трафика после сигнала с сервера.
Вывод: если ваш VPN на Android часто отваливается или тормозит — это не баг, а следствие архитектуры системы. Android по умолчанию предоставляет информацию о VPN любому приложению, которое этого захочет, и под давлением государства эти приложения активно используют эту возможность.
2. Windows — очень сложно
На Windows нет простого системного вызова, который бы однозначно сказал «да, здесь VPN».
Детекция на десктопах — это задача третьего этапа по методичке РКН, то есть они сами признают, что это трудоёмко.
А если у вас например Windows 11 Pro с правильной настройкой (отключена телеметрия, настроен фаервол, используется современный клиент), то детекция становится почти нереальной.
3. iOS — почти невозможно
Apple придерживается строгой политики конфиденциальности: приложения работают в изолированной среде и не имеют доступа к системным данным других программ.
Минцифры прямо указывает, что выявление VPN на iPhone «существенно ограничено» и является сложной задачей.
Вывод: iOS — самая защищённая платформа для использования VPN с точки зрения обнаружения.
4. Linux и macOS — почти невозможно
На Linux у вас есть полный контроль над сетью: можно скрывать VPN-интерфейсы, настраивать iptables/nftables, использовать SELinux.
На macOS действует та же политика изоляции приложений, что и на iOS, что сильно затрудняет детекцию.
При грамотной настройке эти системы становятся «невидимыми» для систем обнаружения.
💅2
Please open Telegram to view this post
VIEW IN TELEGRAM
Изучил ещё большее информации и решил обучить по нормальному. Сменил имя с Aletheia на Nerik, потому что имя Aletheia уже занял Google.
Сейчас прогоняю 124 миллионов параметров на 2 млрд токенов текста Pre-Training чтобы научилась базовому английскому языку и алгебре, после этого я сделаю SFT и получится хорошая модель Nerik 1.0 124M Base
Сейчас прогоняю 124 миллионов параметров на 2 млрд токенов текста Pre-Training чтобы научилась базовому английскому языку и алгебре, после этого я сделаю SFT и получится хорошая модель Nerik 1.0 124M Base
Nice IT
Изучил ещё большее информации и решил обучить по нормальному. Сменил имя с Aletheia на Nerik, потому что имя Aletheia уже занял Google. Сейчас прогоняю 124 миллионов параметров на 2 млрд токенов текста Pre-Training чтобы научилась базовому английскому языку…
Pre-Training занял около 17 часов, модель прошла Pre-Training успешно, теперь перехожу к SFT чтобы допилить модель полностью. И решил сделать ровно 100 миллионов параметров
Nerik 1.0 100M Base — Разработка Завершена!
Что это?
Я обучил свою новую нейросеть полностью с нуля — от чистого кода до работающего ассистента. Без fine-tuning готовых моделей, без API, без читерства. Настоящее обучение с нуля на домашней видеокарте.
Технические характеристики
Архитектура:
100M параметров (как GPT-2 Small)
Благодарности
nanoGPT (Andrej Karpathy) — базовый код и архитектура
HuggingFace — датасеты и библиотека transformers
Databricks Dolly-15k — качественный датасет диалогов
PyTorch — фреймворк для обучения
Итог
Nerik 1.0 — это proof of concept: можно обучить работающую нейросеть с нуля на домашней RTX 5060 Ti за ~20 часов. Модель не идеальна, но она моя — обученная с нуля, с личностью, с характером.
Для первого раза — отличный результат. Для продакшена — нужно больше параметров и данных.
Статус: Разработка завершена, модель работает, можно использовать для экспериментов и обучения.
12 слоёв трансформера
768 embedding dimension
Vocabulary: 50257 токенов (GPT-2 BPE)
Обучение:
GPU: NVIDIA RTX 5060 Ti 16GB
Framework: PyTorch + nanoGPT
Precision: bfloat16
Этапы обучения
1. Pre-Training (PT)
Задача: Научить модель понимать английский язык и математику
Датасет: 2 миллиарда токенов (FineWeb + OpenWebMath + простые диалоги)
Время: 17 часов непрерывного обучения
Результат: val loss = 2.9985
Что выучила: Грамматика английского, базовые факты, математические обозначения
2. Supervised Fine-Tuning (SFT)
Задача: Научить модель отвечать на вопросы как ассистент
Датасет: 13,558 примеров
Identity (личность): 3% — кто такая Nerik, кто создатель, любимые аниме
Математика: 43% — сложение, вычитание, умножение, деление, уравнения
Диалоги (Dolly-15k): 54% — базовое общение на английском
Время: ~3 часа (3 эпохи)
Результат: epoch_1.pt выбран как лучший
Что умеет Nerik 1.0
✅ Отлично работает
Identity (85% точность):
Личность:
Знает что её зовут Nerik
Помнит создателя — Nice
Помнит дату создания — 20 августа 2026
Знает любимые аниме Nice — Beastars и One Piece
Знает что у неё 100M параметров
Базовая математика (58% точность):
Сложение/вычитание двузначных чисел
Таблица умножения
Простые уравнения (ax = b, x + a = b)
Базовые word problems
Базовые диалоги:
Ограничения (и это нормально для 100M)
Зацикливания:
Модель иногда повторяет фразы:
Решение: repetition penalty 1.5 или обрезка ответа после первой строки.
Сложная математика:
GSM8K (школьные задачи 6-7 класса) = 2-3% точности. 100M параметров физически не хватает для многошаговых рассуждений.
Длинные ответы:
Модель лучше работает с короткими ответами (1-3 предложения).
Честные выводы
Что получилось
✅ Обучил модель с нуля на домашнем железе
✅ PT отработал отлично (val loss 2.9985)
✅ SFT дал работающего ассистента с личностью
✅ Модель знает кто она, решает базовую математику, ведёт диалоги
✅ Потратил 20 часов GPU времени ($2-3 электричества)
Что не получилось
❌ Сложная математика (GSM8K) — предел 100M архитектуры
❌ Зацикливания в длинных ответах — нужно больше параметров
❌ Глубокие диалоги — модель быстро теряет контекст
Главный инсайт
100M параметров — это мало для reasoning задач, но достаточно для:
Запоминания личности и фактов
Базовой арифметики
Простых диалогов
Для сложных задач нужно 1B+ параметров
Что это?
Я обучил свою новую нейросеть полностью с нуля — от чистого кода до работающего ассистента. Без fine-tuning готовых моделей, без API, без читерства. Настоящее обучение с нуля на домашней видеокарте.
Технические характеристики
Архитектура:
100M параметров (как GPT-2 Small)
Благодарности
nanoGPT (Andrej Karpathy) — базовый код и архитектура
HuggingFace — датасеты и библиотека transformers
Databricks Dolly-15k — качественный датасет диалогов
PyTorch — фреймворк для обучения
Итог
Nerik 1.0 — это proof of concept: можно обучить работающую нейросеть с нуля на домашней RTX 5060 Ti за ~20 часов. Модель не идеальна, но она моя — обученная с нуля, с личностью, с характером.
Для первого раза — отличный результат. Для продакшена — нужно больше параметров и данных.
Статус: Разработка завершена, модель работает, можно использовать для экспериментов и обучения.
12 слоёв трансформера
768 embedding dimension
Vocabulary: 50257 токенов (GPT-2 BPE)
Обучение:
GPU: NVIDIA RTX 5060 Ti 16GB
Framework: PyTorch + nanoGPT
Precision: bfloat16
Этапы обучения
1. Pre-Training (PT)
Задача: Научить модель понимать английский язык и математику
Датасет: 2 миллиарда токенов (FineWeb + OpenWebMath + простые диалоги)
Время: 17 часов непрерывного обучения
Результат: val loss = 2.9985
Что выучила: Грамматика английского, базовые факты, математические обозначения
2. Supervised Fine-Tuning (SFT)
Задача: Научить модель отвечать на вопросы как ассистент
Датасет: 13,558 примеров
Identity (личность): 3% — кто такая Nerik, кто создатель, любимые аниме
Математика: 43% — сложение, вычитание, умножение, деление, уравнения
Диалоги (Dolly-15k): 54% — базовое общение на английском
Время: ~3 часа (3 эпохи)
Результат: epoch_1.pt выбран как лучший
Что умеет Nerik 1.0
✅ Отлично работает
Identity (85% точность):
Личность:
Знает что её зовут Nerik
Помнит создателя — Nice
Помнит дату создания — 20 августа 2026
Знает любимые аниме Nice — Beastars и One Piece
Знает что у неё 100M параметров
Базовая математика (58% точность):
Сложение/вычитание двузначных чисел
Таблица умножения
Простые уравнения (ax = b, x + a = b)
Базовые word problems
Базовые диалоги:
Ограничения (и это нормально для 100M)
Зацикливания:
Модель иногда повторяет фразы:
Решение: repetition penalty 1.5 или обрезка ответа после первой строки.
Сложная математика:
GSM8K (школьные задачи 6-7 класса) = 2-3% точности. 100M параметров физически не хватает для многошаговых рассуждений.
Длинные ответы:
Модель лучше работает с короткими ответами (1-3 предложения).
Честные выводы
Что получилось
✅ Обучил модель с нуля на домашнем железе
✅ PT отработал отлично (val loss 2.9985)
✅ SFT дал работающего ассистента с личностью
✅ Модель знает кто она, решает базовую математику, ведёт диалоги
✅ Потратил 20 часов GPU времени ($2-3 электричества)
Что не получилось
❌ Сложная математика (GSM8K) — предел 100M архитектуры
❌ Зацикливания в длинных ответах — нужно больше параметров
❌ Глубокие диалоги — модель быстро теряет контекст
Главный инсайт
100M параметров — это мало для reasoning задач, но достаточно для:
Запоминания личности и фактов
Базовой арифметики
Простых диалогов
Для сложных задач нужно 1B+ параметров
Forwarded from WayG VPN Official (Nice 🇲🇽)
Доброго времени суток уважаемые клиенты, из-за недавних атак БПЛА вышел из строя сервер в Москве, из-за чего VPN может быть крайне нестабильным или вовсе не работать.
Я не могу войти даже в панель управления сервером. Сервер в Нидерландах и соединения с VLESS + WS + TLS работают без особых проблем.
Я не могу войти даже в панель управления сервером. Сервер в Нидерландах и соединения с VLESS + WS + TLS работают без особых проблем.
Forwarded from WayG VPN Official (Nice 🇲🇽)
Уже как 2 часа полностью перестал работать сервер в Нидерландах, хотя в кабинете он отображается как рабочий.
Я написал в поддержку RuVDS, они начали задавать крайне подозрительные вопросы в духе "используется ли VPN?", "Подключались ли с мобильным сетям?" И прочими вопросами.
Я ответил честно, потому что вранье может угубить положение.
В общем, для них даже такой ответ основание расторгуть договор в одностороннем порядке.
Если появятся новости буду держать в курсе.
Я написал в поддержку RuVDS, они начали задавать крайне подозрительные вопросы в духе "используется ли VPN?", "Подключались ли с мобильным сетям?" И прочими вопросами.
Я ответил честно, потому что вранье может угубить положение.
В общем, для них даже такой ответ основание расторгуть договор в одностороннем порядке.
Если появятся новости буду держать в курсе.
Forwarded from WayG VPN Official (Nice 🇲🇽)
В общем, что и требовалось ожидать. На счёт дальнейших действий сообщу в течении некоторого времени