🧠 ИИ генерирует научный код лучше людей.

Сегодняшний дамп статей от Google Research — это не очередной инкрементальный апдейт, а знаковое событие.

Исследователи представили систему, которая автоматически создаёт экспертное ПО для научных задач, и она уже побеждает на профессиональных лидербордах.

Это не просто ещё один кодогенератор.

Система использует LLM (Gemini), управляемую древовидным поиском (Tree Search) — алгоритмом из мира AlphaGo. Её цель — не просто скомпилировать код, а итеративно улучшать его, максимизируя конкретную метрику качества (score) на реальных данных. Учёные называют такие задачи «scorable tasks».

⚡ Что система сделала на практике:

1. Биоинформатика (scRNA-seq): Открыла 40 новых методов для интеграции данных single-cell, которые побили лучшие человеческие методы на публичном лидерборде OpenProblems. ИИ не просто скопировал известный метод BBKNN, а улучшил его, скомбинировав с другим алгоритмом (ComBat), до чего люди не додумались.
2. **Эпидемиология (COVID-19):** ИИ сгенерировал 14 моделей, которые в течение всего сезона 2024/25 стабильно показывали результаты лучше, чем ансамбль CDC и любые отдельные модели при прогнозировании госпитализаций.
Работа с временными рядами обычно очень сложна, но здесь ИИ справился и превзошёл существующие подходы.

3. Другие области: Система также показала SOTA в:
· Сегментации спутниковых снимков (DLRSD benchmark, mIoU > 0.80)
· Прогнозировании нейронной активности целого мозга zebrafish (ZAPBench)
· Прогнозах временных рядов (GIFT-Eval benchmark)
· Численном решении сложных интегралов, где стандартная scipy.integrate.quad() падает.

🟠Как это работает?

Вместо того чтобы с нуля генерировать код, система начинает с существующего решения (например, вызова quad() или простой модели) и запускает древовидный поиск. На каждом шаге LLM предлагает «мутации» — варианты изменения кода. Дерево поиска решает, какую ветку развивать дальше, балансируя между эксплуатацией (улучшение текущего лучшего решения) и исследованием (попытка радикально новых идей).

Ключевая фишка — система умеет интегрировать научные идеи извне. Ей можно скормить PDF научной статьи, и она попытается реализовать описанный там метод. Более того, ИИ может комбинировать идеи из разных статей, создавая гибридные методы, которые и приводят к прорыву.

🟠Что это значит?

Это не замена учёным. Это мощнейший инструмент усиления. Система за часы прорабатывает и тестирует идеи, на которые у исследовательской группы ушли бы недели или месяцы. Она без устали перебирает «иголки в стоге сена» — те самые нетривиальные решения, которые ведут к скачку в качестве.

Пока что система требует чётко определённой метрики для максимизации. Но для огромного пласта эмпирической науки (от биологии и медицины до климатологии и астрофизики) это и есть основной способ оценки гипотез.

Вывод: Это один из самых убедительных на сегодня шагов к реальному ИИ-ассистенту для учёных. Он не просто отвечает на вопросы — он проводит вычислительные эксперименты и находит решения, превосходящие человеческие.

🟢Оригинал статьи: An AI system to help scientists write expert-level empirical software
🟢Код и примеры решений: github.com/google-research/score

@ai_machinelearning_big_data

#AI #Science #MachineLearning #LLM #Research #GoogleAI

⚡️ Александр Мордвинцев, исследователь из Google, создал цифровые системы на основе клеточных автоматов, где каждая клетка взаимодействует только со своими соседями.

Эти нейронные клеточные автоматы (Neural Cellular Automata) способны самособираться в заданные формы и даже восстанавливаться после повреждений.

В *Quanta Magazine* рассказали о том, как учёные научились обучать искусственные "клетки" собираться в заданные формы. Это похоже на игру «Жизнь» (*Game of Life*), но наоборот.

🧩 Что такое Game of Life?
Это простая компьютерная модель: есть сетка из клеток, у каждой клетки всего два состояния — «жива» или «мертва». Жизнь клетки зависит от соседей (например, если вокруг слишком много соседей, клетка умирает).
Обычно мы задаём правила и просто смотрим, что получится.
А теперь учёные сделали наоборот: сначала задаём цель (например, фигуру), а потом подбираем правила так, чтобы клетки сами в неё собрались.

⚙️ Что изменили учёные?
1. Непрерывные состояния - клетка не просто «вкл/выкл», а может быть наполовину активна. Это как лампочка с плавным регулятором яркости.
2. Скрытые переменные - у каждой клетки есть «внутренние параметры», которые влияют на её поведение. Представь, что у клетки есть «настроение» или «память», которое не видно исследователю напрямую.
3. Асинхронное обновление — клетки меняются в случайное время, а не все сразу. Это ближе к реальной жизни, где всё развивается не идеально синхронно.

💡 Зачем это нужно?
- Восстановление после повреждений: если часть фигуры «сломать», клетки могут достроить её заново.
- Децентрализация: нет главного управляющего - каждая клетка действует локально, но вместе они формируют систему.
- Устойчивость к шуму: клетки учатся справляться с хаосом и случайностями, а не просто повторяют выученный рисунок.

🟠Какие есть ограничения?
- Пока это работает для картинок и форм, но не для сложных живых организмов.
- Чтобы система умела «регенерировать», её нужно специально тренировать.
- Перенести эту идею в настоящие биологические клетки или роботов сложно — там много физических ограничений.

🟠 Где это можно применить?
- Медицина - модели самовосстановления тканей.
- Робототехника - рой роботов, которые без команды сверху сами собираются в нужную конструкцию.
- Материалы будущего — «умные» кирпичики или детали, которые сами подстраиваются под окружение.
- Новые вычислительные системы - компьютеры без центрального процессора, где решения рождаются распределённо.

Учёные показали, что нейронные клеточные автоматы можно рассматривать как модель эволюции: геном не задаёт форму напрямую, а запускает процесс её построения, что делает системы гибкими и адаптивными.

Главное отличие от природы в том, что эволюция не имеет цели, а автоматы обучают под задачу.

Эти модели предлагают новый тип вычислений: каждая клетка взаимодействует только с соседями, что делает архитектуру распределённой и потенциально энергоэффективной.

Уже есть впечатляющие результаты — от распознавания цифр и умножения матриц до решения задач вроде IQ-тестов и управления роями роботов, которые начинают вести себя как единый организм.

В итоге работы Мордвинцева соединяют биологию, компьютеры и робототехнику, возвращая к идее, что жизнь и вычисления — две стороны одного процесса.

🟢 Полная статья: https://www.quantamagazine.org/self-assembly-gets-automated-in-reverse-of-game-of-life-20250910/

@ai_machinelearning_big_data

#evolution #machinelearning #neuralnetworks #biology

⚡️ LoRA почти так же хороша, как полный fine-tuning, но в разы дешевле

Thinking Machines выпустили новое исследование, которое смотрит на LoRA под другим углом.

Главная идея исследования: LoRA может обучаться почти как полный fine-tuning, но при этом быть проще, дешевле и предсказуемее.

Они доказали это экспериментально: взяли одинаковую модель, прогнали обучение двумя способами: полным fine-tuning и LoRA - и сравнили кривые потерь (loss vs steps).

Процесс:
- Дали чёткий рецепт, а не случайные гипотезы.
- Показали, что процесс можно повторять с одинаковым результатом.
- Выяснили, что если адаптеру не хватает памяти, модель не ломается, а просто замедляется.

Результат показал, что при правильных настройках LoRA движется по той же траектории, что и FullFT. То есть качество модели и динамика обучения совпадают, пока у адаптера хватает параметров. Когда лимит достигается, у LoRA кривая не «обрывается», а просто идёт дальше медленнее.

Именно за счёт этого LoRA демонстрирует предсказуемое и воспроизводимое поведение, а не случайные провалы, которые часто происходят при подборе гиперпараметров «на глаз».

✔️ Правила от команды Thinking Machines
1. Ставить LoRA на все слои, а не только на attention.
2. Использовать ~10× больший learning rate, чем обычно.
3. Не раздувать batch size - иначе падает стабильность.

✔️ Что в итоге:
- Кривые обучения LoRA почти совпадают с full fine-tuning.
- Даже в упоре в лимит адаптера модель ведёт себя плавно.
- Вычислений требуется на треть меньше, чем у FullFT.

LoRA может стать инструментом для надёжного и дешёвого пост-трейнинга.

Для Thinking Machines это шаг к миссии: они уверены, что непредсказуемость моделей - это не фича, а баг, который можно исправить.

Если убрать случайность и сделать выходы стабильными - ИИ станет безопасным даже для критически важных процессов.

📌 Подробнее

@ai_machinelearning_big_data


#LoRA #FineTuning #AI #MachineLearning #DeepLearning #LLM

📘 Learning Deep Representations of Data Distributions — новая бесплатная книга от исследователей UC Berkeley (Sam Buchanan, Druv Pai, Peng Wang, Yi Ma).

Главная идея книги - показать, почему и как глубокие нейросети учатся извлекать сжатые, информативные представления сложных данных, и что у них внутри:

💡В книге вы найдите:

🟠простое объяснение фундаментальных принципов архитектур нейросетей через оптимизацию и теорию информации.
🟠как модели формируют инвариантные и устойчивые представления
🟠связь с PCA, автоэнкодерами и дифференцируемыми отображениями — то есть, как нейросети по сути обобщают классические методы сжатия данных и учатся находить их оптимальное представление
🟠взгляд на обучение через энергию, энтропию и структуру данных
🟠свежие идеи для понимания LLM и генеративных моделей

📖 Читать онлайн: ma-lab-berkeley.github.io/deep-representation-learning-book

🖥 Github: https://github.com/Ma-Lab-Berkeley/deep-representation-learning-book

@ai_machinelearning_big_data

#book #deeplearning #representationlearning #ucberkeley #machinelearning

🔥 Сенсей Карпаты выложил новый репозиторий - полный пайплайн обучения LLM с нуля

В проекте есть всё, чтобы собрать свой ChatGPT-клон за $100 и 4 часа:

> • токенизатор (написан на Rust)
> • pretraining
> • SFT (supervised fine-tuning)
> • RL (reinforcement learning)
> • оценка модели (eval)

Всего 8 000 строк кода, без лишних зависимостей - идеальный учебный пример, чтобы понять, как реально устроено обучение больших языковых моделей.

💡 Это проект из его нового грядущего курса LLM101n, и отличная возможность прокачать свои ML-навыки на практике.

Можно арендовать GPU в облаке и запустить всё самому - код уже готов к запуску.

Если запустить обучение модели nanochat на облачном GPU-сервере (например, 8×H100), то примерно через 12 часов обучения (стоимость ~300–400 $) модель достигает уровня GPT-2 по качеству на тестовых наборах (CORE-score).

А если тренировать около 40 часов (затраты ~1000 $), решает простые задачи по математике и коду, набирая:
- 40+ на MMLU
- 70+ на ARC-Easy
- 20+ на GSM8K

🧠 Это бесплатная практика топ уровня от мастера, которую не стоит упускать.

🟠GitHub:https://github.com/karpathy/nanochat
🟠Технические детали: https://github.com/karpathy/nanochat/discussions/1

@ai_machinelearning_big_data


#LLM #nanochat #MachineLearning #DeepLearning #AI #GPT

🧠 Карпаты показал, как добавить новую функцию в мини-LLM nanochat d32, сравнив её «мозг» с мозгом пчелы.

Он обучил модель считать, сколько раз буква r встречается в слове strawberry, и использовал этот пример, чтобы показать, как можно наделять маленькие языковые модели новыми навыками через синтетические задачи.

Сначала генерируются диалоги:

«Сколько букв r в слове strawberry?»

и правильные ответы.

После этого модель проходит дообучение (SFT) или обучение с подкреплением (RL), чтобы закрепить навык.

Карпаты объясняет, что для маленьких моделей важно продумывать всё до мелочей, как разнообразить запросы, как устроена токенизация и даже где ставить пробелы.

Он показывает, что рассуждения лучше разбивать на несколько шагов, тогда модель легче понимает задачу.

Nanochat решает задачу двумя способами:
— логически, рассуждая пошагово;
— через встроенный Python-интерпретатор, выполняя вычисления прямо внутри чата.

Идея в том, что даже крошечные LLM можно «научить думать», если правильно подготовить примеры и синтетические данные.

📘 Разбор: github.com/karpathy/nanochat/discussions/164

@ai_machinelearning_big_data

#AI #Karpathy #Nanochat #LLM #SFT #RL #MachineLearning #OpenSource

🚀 GELab-Zero - первый полноценный open-source стек “Model + Infra” для GUI-агентов.

Это открытая альтернатива закрытым системам уровня GUI Agent MCP: готовая модель, готовая инфраструктура и новый бенчмарк, собранный под реальные задачи.

Что внутри:

• SOTA-модель 4B - лёгкая, быстрая, запускается локально.
• One-Click инфраструктура - без ADB и сложных зависимостей.
• AndroidDaily - новый бенчмарк, основанный на рабочих пользовательских сценариях.

Производительность:

• Лучшие результаты на открытых тестах - модель обходит гораздо более крупные системы вроде GUI-Owl-32B на ScreenSpot, AndroidWorld и OSWorld.
• 73.4% точности на AndroidDaily - существенно выше, чем UI-TARS-1.5 (47%), Gemini-2.5-pro-thinking (36.6%) и GPT-4o (19.6%).

Идея простая: скачивайте, запускайте локально, ломайте, улучшайте.
Открытый стек для GUI-агентов наконец доступен.

🟠HuggingFace: https://huggingface.co/stepfun-ai/GELab-Zero-4B-preview
🟠GitHub: https://github.com/stepfun-ai/gelab-zero
🟠Blog: https://opengelab.github.io/index.html

@ai_machinelearning_big_data

#AI, #Agents, #GUIAgents, #GELabZero, #OpenSource, #MachineLearning, #DeepLearning

🖥 NVIDIA представила новое открытое семейство моделей Nemotron 3

✔️ Nemotron 3 Nano - это универсальная модель для рассуждений и чата, ориентированная на локальный запуск.

Ключевые характеристики:
- MoE-архитектура: 30B параметров всего, ~3.5B активных
- Контекст до 1 миллиона токенов
- Гибридная архитектура:
- 23 слоя Mamba-2 + MoE
- 6 attention-слоёв
- Баланс между скоростью и качеством рассуждений

Требования:
- необходимо около 24 ГБ видеопамяти для локального запуска

Модель хорошо подходит для длинных диалогов, анализа документов и reasoning-задач

Интересный пример того, как MoE и Mamba начинают реально снижать требования к железу, сохраняя масштаб контекста и качество.

✔️ Nemotron 3 Super и Nemotron 3 Ultra значительно превосходят Nano по масштабу - примерно в 4 раза и 16 раз соответственно. Но ключевой момент здесь не просто в размере моделей, а в том, как NVIDIA удалось увеличить мощность без пропорционального роста стоимости инференса.

Для обучения Super и Ultra используется NVFP4 и новая архитектура Latent Mixture of Experts. Она позволяет задействовать в четыре раза больше экспертов при той же стоимости инференса. По сути, модель становится «умнее» за счёт более гибкого выбора экспертов, а не за счёт постоянной активации всех параметров.

Дополнительно применяется Multi-Token Prediction, что ускоряет обучение и улучшает качество рассуждений на длинных последовательностях. Это особенно важно для agentic и multi-agent сценариев, где модели работают с длинным контекстом и сложными цепочками решений.

NVIDIA публикует не только веса, но и данные для предобучения и постобучения, а также технические детали, которые объясняют, почему эти модели одновременно быстрые и сильные.

Такой уровень открытости - редкость для моделей этого масштаба и хороший сигнал для индустрии.

🟡Release: https://developer.nvidia.com/blog/inside-nvidia-nemotron-3-techniques-tools-and-data-that-make-it-efficient-and-accurate/
🟡Guide: https://docs.unsloth.ai/models/nemotron-3
🟡GGUF: https://huggingface.co/unsloth/Nemotron-3-Nano-30B-A3B-GGUF
🟡lmstudio: https://lmstudio.ai/models/nemotron-3

@ai_machinelearning_big_data


#AI #LLM #NVIDIA #Nemotron3 #OpenSource #MachineLearning