Билл Гейтс в своем подкасте Unconfuse Me with Bill Gates поговорил с AI рисечером Yejin Choi (транскрипт 8 страниц, аудио 30 мин) про LLM, она глубока:
- Yejin: Мы одинаково не понимаем как работают и нейронки, и мозг. LLM при этом удивляют как круто делают некоторые тесты, но при этом совершают глупые ошибки в других
- Yejin: Восприятие нейронок делится на два полюса: сетки дают ответы, а если нет - значит просто не освоили prompt engineering, и второй полюс - этто фокус на failures и уверять что ничего не работает. В целом у людей bias на первый полюс
- Билл: Увеличим сетки в 10-20 раз - что будет? Yejin: No idea. Какие-то capabilities вырастут, но и ошибки могут тоже
- Билл: Почему LLM сосут даже в простой математике? Yejin: Не знаю. Часть ученых считает, что надо растить scale, но я считаю что нужны другие, более эффективные пути
- Yejin: Нейронки могут держать оч большой контекст, а люди нет, зато amazing capability of abstracting away instantaneously. LLM полагаются на паттерны, это противоположный полюс от abstraction
- Билл: А мне препода по математике сделают? Я думаю за 2-3 года индивидуальных tutors научатся делать. Yejin: Да - сетки “видели” кучу материала онлайн. А вот в drug discovery сложно - там уже надо порождать с нуля
- Yejin: Open source gpt4 было бы круто, но в академии же нет достаточно compute, чтобы этим воспользоваться
- Yejin: Вообще, новое крутое направление исследования было бы если бы нейронка “понимала” предпосылки и ее можно было бы unlearn
- Билл: Эволюция мног что попробовала и нащупала в итоге, и нейронки похожи - e.g. природа ошибок в computer vision. А так конечно великая загадка как мозг мыслит еще ждет своего открытия
- Yejin: Безопасность важна, но я думаю чем больше людей ею занимается, тем выше шансы что разберемся
- Билл: Я думал что сперва сделают супер-изощренных роботов синих воротничков, но мы сперва сделали переписыватель Pledge of Allegiance в стиле Дональда Трампа. Yejin: Да, это называется Moravec’s paradox - что перцептивные задачи сложнее для AI тк абстрактное мышление/generative AI у людей недавно (сотни тыс лет) + мы способны ценить красоту полотен даже не умея их рисовать, а вот моторные функции прошли супер долгий эволюционный отбор, и это видимо ни хрена не простая задача
- Yejin: На пути к AGI у нас будет разрыв между важностью решаемых задач (e.g. AI врач) и надежностью ответов от AI. Билл: Мы наивны в том что и как решится, e.g. я думал что переводчики будут разбивать “это существительное, это глагол”, а по факту в Google запилили нейронки - и это было mind-blowing как круто сработало
- Yejin: Создание надежного AI может оказаться гораздо более messy, чем мы думали раньше
- Yejin: Вся отрасль (и компании, и академия) сейчас зациклилась на масштабировании нейронок, соответственно, все прочие подходы на паузе - а я считаю, что вдолгую это просос, нет поиска альтернативных, более compute efficient путей. E.g. Люди не учатся рандомно читая инеты, а проходят учебник или tutorial
- Билл: Я считаю не то, что AI нам будет опасен, а наоборот - может быть он позволит людям лучше понять себя, и может быть даже развернуть сегодняшний тренд на поляризацию, на конфликты, улучшит взаимопонимание?

Upd: см скриншот в комменте в тему )

VC фонд Coatue выложили свой взгляд про рынок AI, 115 слайдов:

- Их новый CEO был раньше всю жизнь CTO - оч необычно для VC/private equity такого масштаба
- Аналогии с эпохой мэйнфреймов, ПК, инета, мобайла, скорости adoption - интересные графики, оч быстро листается
- Наглядное разбиение на слои/типы стартапов/компаний в экосистеме + в тч упоминают некоторые их инвестиции
- Показывают как openAI становился все закрытее и коммерческее + что там по open source
- Показывают как регуляция EU соотносится с ключевыми foundational models

В целом смотрят супер макро, тк они оч большие - им надо вложить $15-20 млрд - это означает, грубо говоря, что на $50 млрд только оценка суммарной капитализации их портфеля на входе -> т.е. на выходе надо в неск раз больше -> поэтому они и смотрят сколько десятков-сотен млрд капитализации создали на прошлых мега волнах инноваций в разных слоях value chain:
- Производители чипов и сотовые операторы
- Clouds типа AWS Msft Goog
и
- SaaS игроки с продуктами для конечных юзеров

Пространство смыслов или как мыслит ИИ

ВЕКТОРНЫМ ПРЕДСТАВЛЕНИЕМ ТЕКСТА В 1000-МЕРНОМ ПРОСТРАНСТВЕ

Возможно, вы уже успели убедиться, что современный ИИ прекрасно воспринимает текстовую информацию — он "понимает" все, что вы ему напишете и "рассуждает" на уровне образованного собеседника. Однако удивительно мало внимания уделяется тому, как ИИ информацию обрабатывает и как образы, выраженные словами, превращаются в понятные машине нули и единицы. Серия постов, где я вместе с вами разбираюсь в возможностях и ограничениях GPT-подобных систем.

Начнем с того как воспринимаем информацию мы. Сознание человека привыкло оперировать словами и связанными с ними образами, позволяя нам складывать конструкции более высоких уровней абстракции. При этом помимо внутренней логики языка, мы осознаем логики причинно-следственных связей, эмоций и чувств, времени и пространства, звука, цвета и так далее. То есть наше сознание хотя и тексто-центрично, языком не исчерпывается (хотя философы на эту тему спорят).

ИИ не такой, кроме текста он не знает вообще ничего и только-только начинает добавлять в свою картину мира изображения. То есть он не понимает категории времени, но помнит все, что о времени было написано, например, с какой вероятностью после слова “время” встречается слово “идёт”, а с какой — “песок, время вода, скажи мне да”. И хотя интерфейсы для нашего взаимодействия с ИИ — это по сути слова, все расчеты в нейронных сетях сводятся к числам. Основой для "понимания" языка у ИИ являются не буквы и слова, а т.н. вектора в многомерном пространстве смыслов (vector embeddings). Поэтому при каждом запросе текст переносится в это пространство смыслов специального типа функцией (word2vec). Эту операцию можно представлять переводом с любого из человеческих языков на язык ИИ. В частном случае openAI у этого пространства 1536 измерений, у google - 768, но это детали. Главное здесь:

1. вектора в этом пространстве описывают все понятия и явлении, которые только могут быть выражены в языке
2. в том что для трехмерного сознания кожаных мешков размерность любого из этих пространств достаточно большое, чтобы не суметь осознать его примерно никогда. привет всем, кто пытался представить 4-мерый куб.
3. несмотря на семантическую природу пространства и привязку к языку, все операции над текстов сводятся к математическим операциям над векторами. их можно складывать и это равносильно сложению смысла слов в предложениях, или умножать — их скалярное произведение описывает, насколько два текста на любом из человеческих языков близки по смыслу между собой. причем для таких расчетов машине больше не нужно ничего "понимать", нужно (заткнуться) и считать.

Например, так выглядит слово “кот” в гугловском пространстве, определенном функцией BERT (фото 1).
Каждая координата этого вектора - число с плавающей точкой (float), которое уже записывается в память компьютера и занимает там 4 байта.
- Каждый такой вектор занимает 4 байта х размерность 768 = 3 кБ
- При этом слово занимает 2 байта на символ UTF-8 х 3 буквы в слове “кот” = 6 Б

Разница в 500 раз. Векторная запись одного слова занимаете памяти как целая страница текста. Дело в том, что помимо самого слова в нем хранится информация о понятии “кот” — сколько у него лап, какие он издает звуки и все, что нашлось в обучающей выборки, точнее какие слова встречались рядом со словом "кот" в текстах обучающей выборки .

Чудо в том, что после всех операций и обратной конвертации этих векторов на человеческий, получаются тексты связные не только на уровне последовательностей слов, но и на уровне причинно-следственных связей, о которых машина не имеет никакого представления. И чудо это заключено в конкретном способе трансформации текста в векторы, в количестве измерений и различных способах оптимизации. И уже существующие способы, хотя и хороши, все еще может быть улучшены значительно (до 40%). И это одна из точек активного приложения усилий ИИ-исследователей прямо сейчас.

Ссылки:
1. Демо - уровень абстракции #1 - скрины отсюда ниже
2. Как работает Google BERT
3. Документация openAI

Паника про т.н. AGI захлестывает и наш social bubble, и техно-сегмент в X. Доползло и до законодателей США с риском на эпический regulatory capture/фиаско госуправления в пользу bigtech, или в Китае, или в Европе (там давно лобби Future of Life Institute от моего [уже менее 🙈] любимого Max Tegmark)

Каждый алармист - это один или несколько пунктов:

1. Ира Якутенко круто заметила, что современный мир стал слишком безопасен, а наши гены к этому не адаптировались, и поэтому в популяции есть люди, которые создают угрозы буквально на пустом месте, и что их можно отличить по самоназванию: people who care/“кому не все равно”
- Это, e.g., Бенджио, Хинтон итп академические подписанты призыва к полугодовому [естественно, не сработавшему] мораторию на AI research
- Маск тоже подписал в марте, но уже в апреле закупился GPU на сотни млн $, а в ноябре релизнул свою LLM xAI/Grok

2. Peter Thiel вообще не тратит время: “страх AGI вытекает всего лишь из взглядов на мир как дарвиниста или макиавеллиста”
- (дарвинизм - что главным фактором эволюции является естественный отбор)
- (макиавеллизм - политика только на основе грубой силы, пренебрегая моралью)

3. Разные модели идеального социума
- Боятся люди, кто не видел смену многих технологических укладов (Vinod Khosla считает, что нас ждут AI врачи/преподы/юристы, 1 млрд программистов на естественном языке, 1 млн двуногих роботов через 10 лет итп) или не руководили большими коллективами/не общались с governments по миру (как Bill Gates, который считает, что AI даст нам 3-ехдневную рабочую неделю)
а
- Рафинированные теоретичные люди с quirky фантазиями о том, как должен быть устроен идеальный, на их взгляд, социум. Типа той девочки на борде OpenAI, замутившей всю эту бучу во имя EA/effective alltruism, или, как заметил Yann LeCun “не тренировавший ни одной нейронки Иелезар Юдковский”, или депрессивный философ Ник Бостром

4. Страх AI - это современная форма анимизма, считает либертарианский философ Gaspard Koenig, автор книги 2019 г “Конец индивидуума” (после нее он потерял всякий интерес к AI)
- Пример: Сергей Карелов, называющим всякие (пока) неизвестные феномены computational irreducibility запугивающим образом типа “форма НЕчеловеческого интеллекта уже на Земле” 🙈

5. Слишком большая опора на материализм [западнической цивилизации] вытесняет из психики части души, требующих опору на трансцендентное
- Но эти фичи мозга никуда не деваются и идут на страхи и второго пришествия, и апокалипсиса вместе взятых, пусть и замаскированные в псевдо-рацио AGI. В AGI safety гипотезы пока - спекулятивные и/или нет экспериментов чтобы их отвергнуть (фальсифицируемость Поппера, по меркам естественных наук это не самые научные теории)

6. Лично непроработанные страхи, тк не было личной психотерапии (или была, но не доделали)
- Разбор своих, случайно набранных в детстве страхов/импринтов (можно к моей Юле обращаться, она оч теплый и бережный психолог про подсознание):
а) позволяет видеть мир реалистичнее, доступно большее пространство для действий
б) высвобождает затрачиваемые на страх ресурсы души
в) поправляет локус контроля куда там мир идет, снижает батхерт на посты типа этого, “как Витя не понимает, есть же вероятность исчезновения человечества!!”

Что еще?

Upd:

Женя Кузнецов красиво назвал эффективных альтруистов термином «оксфордский комсомол» 🙈 в своей статье в Форбс, в тч про обширное лобби структур Дастина Московица (в рамках effective altruism сделал Open Philanthropy) в Вашингтоне

Люди работают в растущих стартапах или бигтехах (правда среди общей массы юникорнов доля фаундеров кто выходцы из бигтехов небольшая) и видят, что не боги горшки обжигают и постоянно идут пилить свои проекты

У некоторых VC часть инвесттезиса - готовы вкладываться в выходцев из уже успешных стартапов в их портфелях, кто решает идти в фаундерство

Илон Маск поделился мнением по поводу шантажа его рекламодателями в его Твиттере/X по поводу его якобы антисемитизма 🙈

DeepMind, возможно, снова резко пнули кинули двинули (!) науку вперёд (как с AlphaFold):
представили GNoME (Graph Networks for Material Exploration)

1) Это графовая сетка, способная не только предсказывать кристаллические структуры материалов, но и их стабильность
2) Все найденные материалы (а их уже, по словам ДМ, 380,000 - стабильных, и 2.2 млн всего) будут выложены в открытый доступ
3) За последнеи десять лет вычислительным путём было найдено около 28 тысяч стабильных кристаллических структур ⇒ то есть DM, по их подсчётам, набросал эквивалент ~800 лет ресерча
4) Среди обнаруженного - 52,000 потенциально новых структур графен-подобных материалов (сверхпроводники), 528 аналогов литиевых проводников (аккумуляторы)
5) Состоит из двух путей: структурного (аналоги известных материалов) и композиционного (~рандомная генерация) ➟ проверка на стабильность ➟ дальнейшая проверка (Density Functional Theory)

📚 Папира
🎥 Минутный видос - дашборд, как люди заходили и использовали БД с материалами (чут чут кусат завораживает)
📚 Беркли делает лабу для автономного синтеза материалов. Выглядит модно, и за 17 дней эксперимента насинтезировала 41/58 материалов - для сравнения, человеку могут потребоваться недели-месяцы на один материал (особенно когда нет финансирования...)