Проекты студентов Стэнфорда как отдельный вид искусства

Помните, недавно в Стэнфорде создали зеркало для arXiv, на котором можно в открытой форме обсуждать статьи? Так вот, проект до сих пор популярен в соцсетях, о нем говорят и им (самое главное!) пользуются.

Сейчас студенты и преподаватели продолжают тренд контрибьюта в инструменты для научного сообщества (скорее всего, такова активная политика университета) и выпустили крутой проект STORM для автоматизации этапа пре-райтинга статей.

Проект, кстати, не рассчитан на научные статьи, а скорее относится к разряду Wikipedia-like топиков (то есть на статьи без научной новизны). Цель состоит в том, чтобы упростить для авторов очень трудозатратный процесс сбора материалов и составления плана.

Самое интересное в этом проекте – это то, как он реализован. Это не просто один запрос к модели, а имитация разговора в стиле "вопрос-ответ" между двумя агентами. Один читает вики-статьи на похожие темы и задает по ним вопросы, а другой отвечает на них, основываясь на конкретных источниках, которые находит. Так составляется список референсов и одновременно формируется детальный план статьи.

Проект крутой, но в нем, к слову, еще не все идеально. Например, многие эксперты-люди отметили, что ИИ часто создает связи между несвязными фактами или берет ошибочные факты из непроверенных источников.

«Если вы хотите разбогатеть, то помните, что путь к этому – это капитал, а не зарплата»

Теперь уяснили, Сэм, теперь уяснили…

Возможно Llama 3.2 была не самым интересным вчерашним мультимодальным релизом: вышла Molmo, которая круче показывает себя на бенчмарках

Это семейство опенсорсных моделей от лаборатории Ai2. Есть варианты на 7В MoE (1B активных), 7В (таких две) и 72В. Самая крупная на бенчмарках обгоняет Llama 3.2 90B, и достает до полноразмерной GPT-4o, Gemini 1.5 Pro и Claude Sonnet 3.5.

В основе крупной модели Qwen2-72B + OpenAI CLIP в качестве vision-основы. А еще исследователи обещают скоро выкатить датасеты и код (включая vision encoder).

Все модели доступны под лицензией Apache 2.0 на HF (и в ЕС тоже!). Статью можно прочитать здесь, а вот тут доступно демо.

Не переживаем, работа будет, ИИ не выходит на плато

Как минимум такой план у Марка Цукерберга. «Предел масштабирования систем ИИ не наступит в ближайшее время», и Llama 4 будет обучаться на более чем 100.000 GPU, а Llama 5 — на еще более мощном кластере.

Тем временем Интернет продолжают засыпать мемы. Добрались уже даже до…

Нашли готовый Colab ноутбук для файнтюнинга свежей Llama 3.2

Там уже все оптимизировано и Llama 3.2 (1B) QLoRA фитится всего на 4GB GPU, а 3В влезает в 7GB. Обещают скоро добавить vision (мы обновим пост, когда завезут).

Экспериментируйте: https://colab.research.google.com/drive/1T5-zKWM_5OD21QHwXHiV9ixTRR7k3iB9?usp=sharing

Google выпустили дополнение к статье 2020 года о системе для дизайна чипов

А еще дали ей имя – AlphaChip. Видимо, в продолжении серии AlphaGo, AlphaZero и AlphaFold: как и эти ребята, AlphaChip основан на RL.

Оригинальную статью четырехлетней давности можно прочитать тут. Новая статья в Nature – продолжение и рассказ в большей степени о том, как AlphaChip все эти годы использовался Google для дизайна TPU и других чипов. И не только Google, кстати. Оказывается, модель также использовала компания MediaTek. Ну и самое приятное: Google выложили веса.

За подробностями – в блогпост