🧬 Как свернуть белок на ноутбуке. Простыми словами.

Слушайте.

Почему это важно: лекарство — это маленькая молекула, которая прилипает к белку в нужном месте и блокирует его (или наоборот включает). А чтобы понять куда прилипать — надо знать форму белка. Без формы — стрельба вслепую.

В чём была проблема

Прочитать последовательность аминокислот в белке — легко. А вот понять как эта цепочка скрутится в клубок — ад. Возможных форм астрономическое количество. Десятилетия задача считалась нерешаемой.

В 2020 пришёл AlphaFold от Google DeepMind и решил её. Получил Нобелевку по химии в 2024.

Но цена вопроса:

93 миллиона параметров нейросети
GPU A100 (карта за $10–15K)
Дата-центр, облако, всё дорого

Потом пришёл ESMFold от Meta — 15 миллиардов параметров. Ещё точнее, ещё дороже.

Что сделал я

Ноль нейросетей. Ноль GPU. Обычный процессор ноутбука. 8 мегабайт обучающих данных (одна фотка с телефона весит больше).
Точность: 2.02 ангстрема в среднем на 19 белках. На шести белках — меньше 1 ангстрема, это уровень AlphaFold. Для понимания: 1 Å = одна десятимиллиардная метра, размер атома. Когда говорят «sub-1Å» — это значит «попал в атом».

Что ещё умеет пайплайн

Это не только фолдинг. Это полный drug discovery стек:

Поиск карманов на белке (куда лекарство приклеить) — 9 из 9 на тесте
Докинг — проверка «подходит ли молекула к карману» — 7 из 7
ADMET — предсказание токсичности и всасывания будущего лекарства — 77% точности
Скрининг — могу проверить 677 000 молекул в секунду на одном CPU
MD-DEMON — отличаю «включающие» молекулы от «выключающих» по характеру колебаний

Где честно сливаю

Не на всех белках хорошо. Где есть похожий белок в базе — точность под 1 Å. Где нет — на крупных цепях (>100 остатков) проседаю до 3–5 Å. Ubiquitin: 3.01 Å. AlphaFold там делает 0.8. Я пока проигрываю в 4 раза на сложных случаях. Но это первая версия без нейросетей вообще. И она уже считает на ноутбуке то, для чего раньше нужен был совсем другой базар.

Зачем это людям
Если такое масштабируется — разработка лекарств переедет с серверных стоек на ноутбуки. Лаборатория в Уганде или в Усть-Хренальске сможет скринить миллионы молекул без подписки на облако за $50K в месяц. Это не теория. Это уже работает. Прямо сейчас.

И ВОТ ДЕЛАЮ С ПОМОЩТЮ НЕЙРОНА POPOVICH ПОСЛЕДНИЙ ШАГ! Совмещение моего пайплайна с нейроном = идеальная схема. Убирается клейм - Без нейросетей. Да! Нейросеть будет из одного нейрона, НО! Тут уже в институт филологический пора всем записываться на занятия и делать дела.

Техножнец всё делает на свои средства. 🥶
Если есть желание поддержать его, то вот ссылки: 🫡

Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ

Инженерная победа - SaturatedRMSNorm вернул слои в норму! Петли почти исчезли, теперь можно пользоваться стандартными механизмами мягкими для борьбы с повторами и получать дельные ответы. УРА! Наконец-то! Это продвинет модель в GRPO по математике, физике и прочим задачкам, т.к. теперь не будет мусора из петель, который мешает зацепиться за рабочий сигнал.

После стольких тяжелых попыток, я , таки, победил повторы у модели не используя костылей, а прямо починив конкретные значения внутри весов модели...тяжко было, переживал, никогда так не копался глубоко.

КОРОЧЕ ПЕРЕТРЕНИРОВКА НЕ НУЖНА! УРА!

Техножнец всё делает на свои средства. 🥶
Если есть желание поддержать его, то вот ссылки: 🫡

Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ

👋 Привет, синтеты! Рубрика для простых смертных. Шо там с RUKALLAMA? А вот шо.

🧠 У нас 853-миллионная модель на архитектуре KAN — это когда вместо обычных нейронов обучаемые математические функции на каждом соединении. Она умная: рассуждает пошагово, знает факты, строит планы.

🔁 Но если выставить низкую температуру и убрать защиту от повторов вообще, то модель после 10–20 слов начинает заикаться:

"Я думаю что они не могут быть совместимы потому что они не могут быть совместимы потому что они не могут быть совместимы..."

⚔️ Несколько дней охоты за причиной:

🔬 19 + 2 разных методов починки
🧪 500++ экспериментов
📝 2000+ сгенерированных текстов
🤖 over 20 параллельных ИИ-агентов анализировали код
💬 Консультация с Gemini 3.1 Pro

🎯 Что нашли

Внутри KAN-слоёв есть функция tanh (сжимает числа в диапазон от −1 до +1). Проблема: числа в глубоких слоях модели СЛИШКОМ БОЛЬШИЕ (5–8 вместо 0.5–1.0). tanh при таком входе залипает на единице.

📐 А KAN использует три математических базиса (полиномы Чебышева), и при залипшем tanh все три дают одинаковый результат — единицу (1).

👁‍🗨 Нейрон слепнет. Вместо трёх инструментов у него остаётся один. Он выдаёт одно и то же НЕЗАВИСИМО от входа. Вот откуда петли.

⚠️ Почему нельзя просто починить: модель ОБУЧИЛАСЬ на залипшем tanh. Её веса рассчитаны на то, что вход = 1. Если подать 0.5 — мусор.

🔧 Как чиним

Вставили нормализатор (RMSNorm) перед tanh. Инициализировали так, чтобы на старте всё работало КАК РАНЬШЕ (залипание сохранено). Потом за 1000 шагов обучения плавно «отпустили» — нормализатор начал сжимать вход, tanh прозрел, веса адаптировались.

🚗 Руль починился на ходу, водитель переучился.

✅ Результат: loss вырос всего на 2%.

Модель пишет:

📜 Стихи: «В этой зимней ночи, как и в любой другой сказке, снег тает в тени»
📚 Сюжеты: «мальчик-волшебник обнаруживает, что его отец — волшебник»
🏛 Определения: «демократия — форма правления, при которой власть принадлежит народу»

🚀 Сейчас тренируем reasoning (обучение рассуждать с тегами <think>) на 460K примерах. Уже с починенным tanh.
🏆 Если сработает — БУДЕМ КУМЕКАТЬ И ДУМАТЬ!

Техножнец всё делает на свои средства. 🥶
Если есть желание поддержать его, то вот ссылки: 🫡

Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ