Что там у Илона Маска, кстати?

Его отношения с республиканской партией США меня, если честно, не слишком трогают, их не будем рассматривать. А вот компанию xAI и ее детище – модель Grok – давайте обсудим.

Я в первую очередь пошла искать какую-нибудь техническую публикацию и случайно узнала, что «grok» – это слово из романа «Чужак в чужой стране» Роберта Хайнлайна. Там главный герой – человек, который воспитан марсианами и вернулся на Землю проповедовать марсианские порядки. В переводе с марсианского «грокать» значит «понимать» или «осознавать». Фанаты книги иногда так выражаются, такой вот забавный факт.

А вот техническую публикацию, увы, найти не удалось. Все, что создатели решили раскрыть – это трансформер. На официальном сайте доступны некоторые хвалебные оды о том, как Grok превзошел всех конкурентов по всем существующим метрикам, но их я опущу, с вашего позволения. Такие есть про все модели.

Последняя версия на данный момент – Grok 3. С ней можно поработать в достаточно комфортном интерфейсе вот здесь. Из России он не доступен, надо виртуально переместиться в какую-нибудь другую локацию.

Из приятного есть Grok 1 – модель с открытыми весами. У нее есть репозиторий на GitHub, можно туда зайти, скачать веса и поэкспериментировать. Здесь же можно узнать, что Grok 1 – это ансамбль экспертов. Grok 3, вероятно, тоже, но официальных подтверждений я не нашла.

Вскоре после своего появления Grok устроил забавный скандал: когда его спросили, кто в Твиттере (ныне X) больше всех распространяет ложную информацию, он ответил: «Точных данных у меня нет, но Илон Маск очень старается». Там дальше много всего произошло, все активно писали посты на тему, вышло много громких заголовков. Пользователь Твиттера, который задал вопрос, свою беседу с моделью сохранил и выложил в открытый доступ, можно полюбоваться.

Но это все больше медийный шум, конечно, я бы не принимала его слишком близко к сердцу. Судя по отзывам, Grok работает неплохо, можно попробовать, вдруг вам понравится.

Напоследок вот вам паучок, сгенерированный с его помощью

Меня сегодня текстовый редактор на vc довел натурально до нервного тика. Но пост всё равно вышел

Хотела написать пост про то, как ИИ используется для обработки 3D-изображений, но в процессе сбора материалов нашла кое-что поинтереснее – использование ИИ для печати 3D-моделей органов!

Печать органов – это важное направление в медицине. Сейчас пациенты, которым нужно, например, сердце, могут ждать донора год-два [1], если операция не срочная. Если орган нужен срочно, пациента перемещают ближе к началу листа ожидания, но оценить время все равно сложно: надо же дождаться, пока появится подходящий донор, а там длинный список факторов совместимости.
Выше про год-два – это данные из Великобритании, а для России мне удалось найти только расплывчатое "от нескольких месяцев до нескольких лет" [2], и мы уже поняли, почему.
3D-печать может оказаться спасением для множества людей, потому что позволит изготавливать органы под конкретного пациента, сокращать сроки ожидания и увеличивать шанс на успешное восстановление после операции.

Давайте же посмотрим, где может помочь ИИ

[1] How long is the wait for a heart?
[2] Как долго обычно ждут подходящего донора для пересадки сердца

Иногда сюда приходят новые люди (добро пожаловать 😃). Возможно, новые люди не видели моих старых постов, а там есть парочка таких, которые мне особенно нравятся и которыми хочется поделиться заново. Давайте я вам их тут соберу:
- мой опыт работы и учебы в ИТ: там разные курсы интересные, которые могут вам тоже понравиться;
- и про книжки полезные;
- обзор статьи «Why AI is Harder Than We Think»: на мой взгляд, очень полезная статья для формирования сбалансированного подхода к изучению и использованию ИИ в целом;
- пост про когнитивные искажения и пост про искажения памяти – для формирования сбалансированного представления о самих себе;
- этика и безопасность применительно к ИИ – про это дело еще много чего напланировала;
- и еще безопасность данных – тоже важная штука;
- пост про изучение теории разума в больших языковых моделях и еще один – про то, как мы не умеем работать с теорией разума в больших языковых моделях;
- и еще про то, как мы вообще ничего толком не можем оценить, потому что инструменты оценки пора менять;
- и безопасность ИИ тоже не умеем оценивать;
- пост про то, чего ИИ еще не умеет;
- Glaze – инструмент для защиты художников от кражи их индивидуального стиля с использованием ИИ;
- пост про синдром самозванца, и за ним сразу про прокрастинацию: их написание не помогло мне справиться ни с тем, ни с другим, но помогло смириться;
- наследование большими моделями человеческих стереотипов – это для тех, кто думает, что ИИ будет объективнее людей;
- про принципы работы языковых моделей с текстом – немного базы;
- про нейросети, которые не трансформеры – там интересные предложения;
- и вот этот еще про не-трансформеров;
- про ИИ-агентов, которые играли в мафию – это просто веселый пост;
- нейроморфные вычисления – это прям вообще большая интересная тема, за ней, кажется, много будущего;
- про симуляцию человеческого поведения с использованием ИИ: здесь я чуть не ушла в разработку игр;
- про большие языковые модели, которые плетут интриги – и немного про то, что стоит с некоторым скепсисом читать СЕНСАЦИОННЫЕ! НОВОСТИ!
- пространственный ИИ – это про взаимодействие ИИ с окружающим миром, тоже очень перспективное направление исследований.

Вот так как-то

*Массачусетского технологического института, простите

Открытое ПО и немного скандалов-интриг-расследований на закуску. Чтоб не скучно было

Сегодня делюсь с вами эссе «The Bitter Lesson» («Горький урок»), которое написал Ричард Саттон (Rich Sutton) в 2019 году. Интересно будет узнать, что вы думаете по его поводу.
Горький урок, по мнению Саттона, заключается в том, что исследователи ИИ всю дорогу пытаются повторить процессы, которые происходят в человеческом мозгу, создают сложные системы, и всю дорогу безнадежно проигрывают статистическим методам.
Например, в 1997 году компьютер впервые обыграл в шахматы чемпиона мира Гарри Каспарова. Долгое время исследователи бились над тем, чтобы математически описать механику игры и понять, как играют люди. А потом подешевели вычислительные мощности, и победный алгоритм был получен перебором вариантов.
Тогда исследователи отказались принять поражение: может, в этот раз и получилось решить задачу «в лоб», но этот подход сработает не везде. А в 2017 году компьютер победил людей в Го. Эта игра сложнее шахмат, но статистический подход все равно оказался успешнее, чем подход, основанный на воспроизведении механик человеческого сознания.
Потом распознавание речи: к этой проблеме тоже пытались подойти с позиций изучения работы мозга и речевого аппарата, определения слов и взаимосвязей между ними, но победила упрямая статистика и большие наборы данных.
И в компьютерном зрении то же самое. Позиция Саттона заключается в том, что человеческий мозг слишком сложен для воспроизведения, и это безнадежная цель. К тому же, зачем нам повторять что-то, что уже и так есть? Можно воспользоваться плодами прогресса и делать новое, обучая ИИ-агентов подражать познанию, но не воспроизводить его.
Звучит убедительно.
С другой стороны, мы с вами уже говорили о том, что у нас данные для обучения заканчиваются (не прям буквально, но каждое следующее поколение моделей требует больше данных), да и с мощностями для обучения трудно: то ли ядерный реактор под это дело приспосабливать, то ли переходить к нейроморфным вычислениям.
В общем, как будто у статистических методов тоже есть свой потолок. Мне не хватает знаний, чтобы сказать, где он, но где-то точно есть. Так, может, все-таки не так безнадежны исследования в области воспроизведения возможностей человеческого мозга? Может, эти два направления: статистическое и человековдохновленное, – не противоречат друг другу и мы найдем решение в точке их слияния?

Хотите философский вопрос?
Я знаю, что хотите. Еще чтобы он был неоднозначный и желательно политический.
Итак, должны ли крупные компании, которые делают передовые технологии в области ИИ, сотрудничать с государством вообще и с оборонным комплексом в частности?
Начнем с того, что они уже сотрудничают:
- Meta* разрешила военное использование Llama;
- Google, Microsoft и Amazon бьются за проекты по облачным вычислениям для военного применения;
- Anthropic сотрудничает с Palantir;
- OpenAI получает жирные военные контракты.
Сотрудники этих компаний активно сопротивляются с разной степенью успеха.

Честно говоря, я здесь на стороне сотрудников. Я понимаю, что в оборонке любой страны водятся большие деньги – прям Большие Деньги. И желание компаний подзаработать я осуждать не буду, мы все живем в суровом материальном мире.
И я понимаю, что оборонные компании и так сами разрабатывают ИИ для целей массового уничтожения представителей вида homo sapiens sapiens. И казалось бы, что изменит просто еще один контракт?
С другой стороны, а зачем помогать военным и передавать им передовые разработки? Этим людям вообще ничего нельзя передавать опаснее чайного пакетика, по-моему. Пускай себе разрабатывают что им там хочется, но без дополнительной помощи. Половину бюджета, может, попилят себе на дачи, а на оставшееся не снесут человечество к какой-то там матери.
Тот же Anthropic утверждает, что все это военное сотрудничество свершается во имя защиты демократии от всяких злобных троглодитов. Но мы-то с вами знаем, что это за скользкая дорожка: сегодня товарищ майор объявил охоту на экстремистов, а завтра объявил экстремистом тебя. И приложение с картинками**.
Наконец, мы все знаем, что ИИ – инструмент несовершенный, а его разработчики – несовершенные люди (как все мы), и ошибки в военной области будут стоить несоизмеримо дороже, чем где-нибудь в потребительском бизнесе. Так что не надо совать ИИ куда попало.

Как это несование куда попало обеспечить, я не знаю. Мне приходилось принимать участие в проектах, которые относятся к разработкам двойного назначения, и понимаю, что возможности для активного (и результативного, что важно) протеста весьма ограничены. Я работала над консалтинговыми проектами – делала отчеты о развитии технологий. Каковы возможности у тех, кто прям разработками занимается, не представляю.

Рада тому, что могу развиваться в соцсетях и строить себе таким образом что-то, что позволит в будущем (надеюсь) не зависеть от единственного места работы и единственного источника дохода.

* Вынуждена напомнить, что в России Meta – экстремист.
** На всякий случай уточняю, что имею в виду Instagram.

Немного о том, как взламывать нейросети с помощью линейной алгебры

Мне очень нравится писать код с gemini-2.5-pro. Я командую, главным образом, – она пишет. Красота.
И совсем недавно, в мае этого года DeepMing выпустили статью про агента для написания кода на базе Gemini, что выглядит любопытно.
Агент называется AlphaEvolve, он сочетает в себе две модели: Gemini Flash и Gemini Pro. Еще у него есть встроенная система оценки качества кода и база данных с кодом, написанным ранее, и он использует эволюционный подход.
Детали реализации раскрыты в технической документации:
1) Пользователь предоставляет исходный вариант программы, который надо усовершенствовать, ставит задачу, подбирает модели и методы оценки кода;
2) AlphaEvolve запускает эволюцию:
- отдельный компонент системы создает несколько промптов на основе запроса пользователя и с использованием базы данных с кодом;
- языковые модели генерируют несколько вариантов улучшенного кода;
- все варианты проходят автоматическую оценку;
- лучшие варианты записываются в базу данных и затем используются для дальнейших усовершенствований;
3) пункт 2 повторяется несколько раз, пока не получится очень хорошее решение.
Процесс эволюции может занимать разное время в зависимости от того, насколько сложная стоит задача.
Промпты тоже можно подвергнуть эволюции, сделав для них отдельную базу данных. Похожий подход мы уже обсуждали некоторое время назад.
В приложении B к публикации авторы собрали перечень задач, которые удалось решить с использованием AlphaEvolve, заглядывайте, если интересно. Они также выложили код экспериментов в открытый доступ, с ним можно ознакомиться и поработать самостоятельно.

P.S.:
Сейчас в сообществе специалистов по машинному обучению идет бурное обсуждение того, что такое ИИ-агент. Мы говорили об ИИ-агентах ранее: это программное обеспечение, которое действует автономно и решает поставленную задачу без вашего непосредственного участия. Но степень требуемой автономности пока не определена: если вы поставили задачу и объяснили, как решать, это уже недостаточно автономно с точки зрения некоторых практиков. И одной модели тоже может быть недостаточно: вот AlphaEvolve как раз управляет ансамблем, например. Придерживаясь более раннего определения агентов, мы бы назвали такую архитектуру мультиагентной системой.
Я пока по старинке буду называть агентами всё то, что идет решать задачу самостоятельно по заранее данной инструкции, чтобы не создавать путаницу. Но вы, если встретите разночтения, не пугайтесь: область развивается, терминология пока не устоялась, это нормально

Давайте еще обсудим «сильный» ИИ (AGI). Ранее мы обсуждали, что это такое вообще [1], а теперь, раз уж зашла речь [2] об алгоритмах, вдохновленных человеческим мозгом, самое время разобрать статью «When Brain-inspired AI Meets AGI» [3] о том, как исследователи ищут путь к «сильному» ИИ, распутывая человеческие извилины

[1] Первый пост про "сильный" ИИ
[2] "Горький урок" Саттона
[3] Ссылка на текст статьи

Нужно больше "сильного" ИИ