📌ИИ-модель от Стэнфорда диагностирует 130 заболеваний по анализу одной ночи сна.

Стэнфордский университет натренировал SleepFM — фундаментальную модель для прогноза целого спектра патологий: от мерцательной аритмии и инфаркта миокарда до деменции и болезни Паркинсона.

Полисомнография — «золотой стандарт» изучения сна: человека обвешивают датчиками (ЭЭГ, ЭКГ, дыхание, мышцы) и пишут гигабайты сырых сигналов.

Но в ML-мире эти данные используются бездарно. Существующие модели тренировались на мелких датасетах сугубо под узкие задачи (найти апноэ, определить фазу сна).

Огромный пласт физиологической информации о здоровье пациента просто игнорировался, потому что размечать вручную сотни часов записи под каждую болячку — невозможно.

К тому же, если в одной клинике датчик ЭЭГ повесили чуть иначе или он отвалился, обычная модель ломалась.

В университете поняли, что врачи-разметчики не нужны, нужны объемы. Они собрали огромный датасет из 585 тыс. часов записей сна более 65 тыс. пациентов и придумали уникальный алгоритм обучения SSL для будущей модели.

🟡LOO-CL (Leave-One-Out Contrastive Learning)

Вместо того чтобы учить модель предсказывать диагноз, еt заставили решать пазл: система получает на вход сигналы от 3-x модальностей (сердце, мышцы, дыхание) и должна предсказать эмбеддинг четвертой (мозговые волны).

Это заставляет нейросеть на базе 1D CNN и Transformers выучивать глубокие, скрытые связи между физиологическими процессами.

🟡Вторая фишка — Channel-Agnostic Attention.

Модели все равно, какие именно датчики подключены и в каком порядке. Если канал отвалился или отсутствует, attention pooling просто перераспределяет веса, и инференс продолжается.

🟡SleepFM научилась читать по сну не только бессонницу.

Получив на вход 1 ночь записи, модель предсказывает риск 130 заболеваний, причем она делает это точнее, чем специализированные модели, обученные с учителем: риск болезни Паркинсона выявляется в 89% случаев, деменции — в 85%, а вероятность сердечного приступа — в 81%.

Авторы работы полагают, что с развитием носимой электроники такая диагностика может перекочевать из лабораторий в умные часы, а тесты модели доказали, что что в шуме сигналов сна может быть скрыта полная медкарта пациента.


@ai_machinelearning_big_data

#news #ai #ml

📌 Андрей Карпаты нашел идеальный баланс токенов и параметров для обучения LLM.

Андрей Карпаты опубликовал результаты экспериментов по оптимизации претрейна языковых моделей в условиях фиксированного бюджета.

Чтобы найти наиболее эффективный способ расходования вычислительных ресурсов, он провел серию тестов на сервере с 8х GPU H100, обучив 11 моделей разного размера при одинаковых затратах на вычисления.

🟡Главный вывод: существует «золотое сечение».

Карпаты обнаружил, что по мере увеличения мощностей оптимальное количество параметров и тренировочных токенов растут синхронно. Эмпирическое правило для протестированных конфигураций: на 1 параметр модели должно приходиться примерно 8 токенов обучающей выборки.

Если модель слишком мала, она не усваивает достаточно информации; если слишком велика — бюджет заканчивается раньше, чем она успевает обучиться.

Для инженеров этот рецепт позволяет заранее планировать архитектуру и бюджет, избегая создания заведомо неэффективных моделей.

Традиционно, все эксперименты Андрея открыты и их можно повторить самостоятельно.

🔜 Погрузиться в детали экспериментов


@ai_machinelearning_big_data

#AI #ML #LLM #Karpathy