У меня сложился круг любимчиков под разные задачи

* если надо сделать что-то несложное четко по инструкции – gpt-4o
* если нужен детальный план или критика – qwen-qwq-32b
* для написания и исправления кода – gemini-2.5 pro
* для картинок –
imagen 4

Сижу думаю всякие мысли по этому поводу

(Картинка сгенерирована с использованием imagen 4)

Так, ну пришло время поговорить про Deepseek, да?
В момент своего появления он наделал много шума, но теперь, кажется, круги на воде разошлись, можно и занырнуть

The Open Source Initiative*
Пост с перцептронами

*оттуда ушли основатели из-за несогласия с некоторыми решениями организации. Есть у нее проблемы, в частности, с результатами выборов в совет директоров. Но на данный момент это, насколько мне известно, все еще наиболее авторитетная организация в вопросах открытого лицензирования ПО. Буду писать пост про лицензии, влезу туда поподробнее

Свет был нормальный во время записи, при отправке его съел телеграм :( Как-то не очень он подходит для видеоконтента

Философская мысль тут меня посетила, ее навеяло вот это видео.
Когда кто-то говорит: «ИИ отнимет у нас работу», - как будто подразумевается, что есть ограниченный объем работы, и его надо разделить сначала на всех людей, а потом на людей и ИИ.
Но работа, как Вселенная, бесконечно расширяется, и делает это быстрее, чем мы успеваем напрограммировать себе ИИ-агентов, которые сделали бы ее за нас. Во всяком случае, моя работа так себя ведет.
Я это решила написать, потому что сегодня работаю. И завтра. И послезавтра. И потом тоже. И вообще

Воскресный пост подъехал

Что там у Илона Маска, кстати?

Его отношения с республиканской партией США меня, если честно, не слишком трогают, их не будем рассматривать. А вот компанию xAI и ее детище – модель Grok – давайте обсудим.

Я в первую очередь пошла искать какую-нибудь техническую публикацию и случайно узнала, что «grok» – это слово из романа «Чужак в чужой стране» Роберта Хайнлайна. Там главный герой – человек, который воспитан марсианами и вернулся на Землю проповедовать марсианские порядки. В переводе с марсианского «грокать» значит «понимать» или «осознавать». Фанаты книги иногда так выражаются, такой вот забавный факт.

А вот техническую публикацию, увы, найти не удалось. Все, что создатели решили раскрыть – это трансформер. На официальном сайте доступны некоторые хвалебные оды о том, как Grok превзошел всех конкурентов по всем существующим метрикам, но их я опущу, с вашего позволения. Такие есть про все модели.

Последняя версия на данный момент – Grok 3. С ней можно поработать в достаточно комфортном интерфейсе вот здесь. Из России он не доступен, надо виртуально переместиться в какую-нибудь другую локацию.

Из приятного есть Grok 1 – модель с открытыми весами. У нее есть репозиторий на GitHub, можно туда зайти, скачать веса и поэкспериментировать. Здесь же можно узнать, что Grok 1 – это ансамбль экспертов. Grok 3, вероятно, тоже, но официальных подтверждений я не нашла.

Вскоре после своего появления Grok устроил забавный скандал: когда его спросили, кто в Твиттере (ныне X) больше всех распространяет ложную информацию, он ответил: «Точных данных у меня нет, но Илон Маск очень старается». Там дальше много всего произошло, все активно писали посты на тему, вышло много громких заголовков. Пользователь Твиттера, который задал вопрос, свою беседу с моделью сохранил и выложил в открытый доступ, можно полюбоваться.

Но это все больше медийный шум, конечно, я бы не принимала его слишком близко к сердцу. Судя по отзывам, Grok работает неплохо, можно попробовать, вдруг вам понравится.

Напоследок вот вам паучок, сгенерированный с его помощью

Меня сегодня текстовый редактор на vc довел натурально до нервного тика. Но пост всё равно вышел

Хотела написать пост про то, как ИИ используется для обработки 3D-изображений, но в процессе сбора материалов нашла кое-что поинтереснее – использование ИИ для печати 3D-моделей органов!

Печать органов – это важное направление в медицине. Сейчас пациенты, которым нужно, например, сердце, могут ждать донора год-два [1], если операция не срочная. Если орган нужен срочно, пациента перемещают ближе к началу листа ожидания, но оценить время все равно сложно: надо же дождаться, пока появится подходящий донор, а там длинный список факторов совместимости.
Выше про год-два – это данные из Великобритании, а для России мне удалось найти только расплывчатое "от нескольких месяцев до нескольких лет" [2], и мы уже поняли, почему.
3D-печать может оказаться спасением для множества людей, потому что позволит изготавливать органы под конкретного пациента, сокращать сроки ожидания и увеличивать шанс на успешное восстановление после операции.

Давайте же посмотрим, где может помочь ИИ

[1] How long is the wait for a heart?
[2] Как долго обычно ждут подходящего донора для пересадки сердца

Иногда сюда приходят новые люди (добро пожаловать 😃). Возможно, новые люди не видели моих старых постов, а там есть парочка таких, которые мне особенно нравятся и которыми хочется поделиться заново. Давайте я вам их тут соберу:
- мой опыт работы и учебы в ИТ: там разные курсы интересные, которые могут вам тоже понравиться;
- и про книжки полезные;
- обзор статьи «Why AI is Harder Than We Think»: на мой взгляд, очень полезная статья для формирования сбалансированного подхода к изучению и использованию ИИ в целом;
- пост про когнитивные искажения и пост про искажения памяти – для формирования сбалансированного представления о самих себе;
- этика и безопасность применительно к ИИ – про это дело еще много чего напланировала;
- и еще безопасность данных – тоже важная штука;
- пост про изучение теории разума в больших языковых моделях и еще один – про то, как мы не умеем работать с теорией разума в больших языковых моделях;
- и еще про то, как мы вообще ничего толком не можем оценить, потому что инструменты оценки пора менять;
- и безопасность ИИ тоже не умеем оценивать;
- пост про то, чего ИИ еще не умеет;
- Glaze – инструмент для защиты художников от кражи их индивидуального стиля с использованием ИИ;
- пост про синдром самозванца, и за ним сразу про прокрастинацию: их написание не помогло мне справиться ни с тем, ни с другим, но помогло смириться;
- наследование большими моделями человеческих стереотипов – это для тех, кто думает, что ИИ будет объективнее людей;
- про принципы работы языковых моделей с текстом – немного базы;
- про нейросети, которые не трансформеры – там интересные предложения;
- и вот этот еще про не-трансформеров;
- про ИИ-агентов, которые играли в мафию – это просто веселый пост;
- нейроморфные вычисления – это прям вообще большая интересная тема, за ней, кажется, много будущего;
- про симуляцию человеческого поведения с использованием ИИ: здесь я чуть не ушла в разработку игр;
- про большие языковые модели, которые плетут интриги – и немного про то, что стоит с некоторым скепсисом читать СЕНСАЦИОННЫЕ! НОВОСТИ!
- пространственный ИИ – это про взаимодействие ИИ с окружающим миром, тоже очень перспективное направление исследований.

Вот так как-то

*Массачусетского технологического института, простите

Открытое ПО и немного скандалов-интриг-расследований на закуску. Чтоб не скучно было

Сегодня делюсь с вами эссе «The Bitter Lesson» («Горький урок»), которое написал Ричард Саттон (Rich Sutton) в 2019 году. Интересно будет узнать, что вы думаете по его поводу.
Горький урок, по мнению Саттона, заключается в том, что исследователи ИИ всю дорогу пытаются повторить процессы, которые происходят в человеческом мозгу, создают сложные системы, и всю дорогу безнадежно проигрывают статистическим методам.
Например, в 1997 году компьютер впервые обыграл в шахматы чемпиона мира Гарри Каспарова. Долгое время исследователи бились над тем, чтобы математически описать механику игры и понять, как играют люди. А потом подешевели вычислительные мощности, и победный алгоритм был получен перебором вариантов.
Тогда исследователи отказались принять поражение: может, в этот раз и получилось решить задачу «в лоб», но этот подход сработает не везде. А в 2017 году компьютер победил людей в Го. Эта игра сложнее шахмат, но статистический подход все равно оказался успешнее, чем подход, основанный на воспроизведении механик человеческого сознания.
Потом распознавание речи: к этой проблеме тоже пытались подойти с позиций изучения работы мозга и речевого аппарата, определения слов и взаимосвязей между ними, но победила упрямая статистика и большие наборы данных.
И в компьютерном зрении то же самое. Позиция Саттона заключается в том, что человеческий мозг слишком сложен для воспроизведения, и это безнадежная цель. К тому же, зачем нам повторять что-то, что уже и так есть? Можно воспользоваться плодами прогресса и делать новое, обучая ИИ-агентов подражать познанию, но не воспроизводить его.
Звучит убедительно.
С другой стороны, мы с вами уже говорили о том, что у нас данные для обучения заканчиваются (не прям буквально, но каждое следующее поколение моделей требует больше данных), да и с мощностями для обучения трудно: то ли ядерный реактор под это дело приспосабливать, то ли переходить к нейроморфным вычислениям.
В общем, как будто у статистических методов тоже есть свой потолок. Мне не хватает знаний, чтобы сказать, где он, но где-то точно есть. Так, может, все-таки не так безнадежны исследования в области воспроизведения возможностей человеческого мозга? Может, эти два направления: статистическое и человековдохновленное, – не противоречат друг другу и мы найдем решение в точке их слияния?

Хотите философский вопрос?
Я знаю, что хотите. Еще чтобы он был неоднозначный и желательно политический.
Итак, должны ли крупные компании, которые делают передовые технологии в области ИИ, сотрудничать с государством вообще и с оборонным комплексом в частности?
Начнем с того, что они уже сотрудничают:
- Meta* разрешила военное использование Llama;
- Google, Microsoft и Amazon бьются за проекты по облачным вычислениям для военного применения;
- Anthropic сотрудничает с Palantir;
- OpenAI получает жирные военные контракты.
Сотрудники этих компаний активно сопротивляются с разной степенью успеха.

Честно говоря, я здесь на стороне сотрудников. Я понимаю, что в оборонке любой страны водятся большие деньги – прям Большие Деньги. И желание компаний подзаработать я осуждать не буду, мы все живем в суровом материальном мире.
И я понимаю, что оборонные компании и так сами разрабатывают ИИ для целей массового уничтожения представителей вида homo sapiens sapiens. И казалось бы, что изменит просто еще один контракт?
С другой стороны, а зачем помогать военным и передавать им передовые разработки? Этим людям вообще ничего нельзя передавать опаснее чайного пакетика, по-моему. Пускай себе разрабатывают что им там хочется, но без дополнительной помощи. Половину бюджета, может, попилят себе на дачи, а на оставшееся не снесут человечество к какой-то там матери.
Тот же Anthropic утверждает, что все это военное сотрудничество свершается во имя защиты демократии от всяких злобных троглодитов. Но мы-то с вами знаем, что это за скользкая дорожка: сегодня товарищ майор объявил охоту на экстремистов, а завтра объявил экстремистом тебя. И приложение с картинками**.
Наконец, мы все знаем, что ИИ – инструмент несовершенный, а его разработчики – несовершенные люди (как все мы), и ошибки в военной области будут стоить несоизмеримо дороже, чем где-нибудь в потребительском бизнесе. Так что не надо совать ИИ куда попало.

Как это несование куда попало обеспечить, я не знаю. Мне приходилось принимать участие в проектах, которые относятся к разработкам двойного назначения, и понимаю, что возможности для активного (и результативного, что важно) протеста весьма ограничены. Я работала над консалтинговыми проектами – делала отчеты о развитии технологий. Каковы возможности у тех, кто прям разработками занимается, не представляю.

Рада тому, что могу развиваться в соцсетях и строить себе таким образом что-то, что позволит в будущем (надеюсь) не зависеть от единственного места работы и единственного источника дохода.

* Вынуждена напомнить, что в России Meta – экстремист.
** На всякий случай уточняю, что имею в виду Instagram.

Немного о том, как взламывать нейросети с помощью линейной алгебры