Мое открытое письмо Питерю Тилю после статьи-интервью от Barton Gellman в The Atlantic “Peter Thiel is taking a break from democracy. It’s one of his many disappointments”


Dear Peter,

You are too important for us to lose your, as you say, determinate optimism. If not you, then what should feel we, ordinary people? Your interdisciplinary synthesis & taking into account complexity of society is staggering among techno-optimists.

First, extremely interesting to see what kind of future you want in details, other than your famous negations like “we wanted flying cars but got 140 characters”. Something specific like “humankind should be interplanetary species” of Musk etc. What is your vision for ideal world/ideal society?

By the way, curious to hear your stance regarding longtermism (cross-generational optimization) or e/acc (effective accelerationism) or effective altruism. Or is it something else? Then what?

You did 11 unicorns from 270 Thiel Fellowship recipients, but maybe you should also disrupt how scientific process is done? Especially in the world of atoms, not bits. Business simply distributes some tech across populations with economic & other limitations, but anyway it roots from science, from solved puzzles of physical reality. Any impact on science?

About longevity: even if this computationally irreducible brainteaser will not be solved during our lives (& provide us truly complicated optionality), it anyway will improve how comfortably we age, no? Plus your kids

Also, capitalism (a system which extracts the most motivation from peoples’ souls) is quite young, but maybe you know how to upgrade/reinvent it into something new? Maybe capitalism is outdated?

Or not outdated? Elon Musk gave up on expansion of NASA’s budget of $5 bln/year for launches (not even mentioning unimaginable today level of resources allocation like Moon program $1 trln in 10 years 60 years ago) & decided to do every tech in dual (space, not military) use:
- Starlink for $30 bln/year revenue in 2030 to build Starships for Mars at scale,
- The Boring company (under-earth living due to Mars radiation),
- Hyperloop (failed here on Earth to sustain vacuum but will be fine on Mars with 100x smaller athmosphere pressure),
- Tesla bot for radiation etc.

I see you somewhat kinda tired of democracy. But maybe it is just about the crisis of presidential democracies (discussed by people like Gaspard Koenig)? Or it is just a capture by bureaucracies?

Or maybe it is just about people’s biology, of all 8 bln. as of now? I mean, any ideas how to live in the world under attack of populists? People do indeed have pre-installed referential adaptations, so they always seek annual incremental improvements of their consumption? And we have growing leverage almost in any country & with any per capita GDP.

How should we live with such insatiable people’s expectations? How to live if people usually prefer 1 marshmallow today instead of 2 tomorrow?

And so on.

Many important questions.

Peter, missing your contrarian & sophisticated optimism within our technological civilization.

Your big fan,
Victor Osyka

Билл Гейтс в своем подкасте Unconfuse Me with Bill Gates поговорил с AI рисечером Yejin Choi (транскрипт 8 страниц, аудио 30 мин) про LLM, она глубока:
- Yejin: Мы одинаково не понимаем как работают и нейронки, и мозг. LLM при этом удивляют как круто делают некоторые тесты, но при этом совершают глупые ошибки в других
- Yejin: Восприятие нейронок делится на два полюса: сетки дают ответы, а если нет - значит просто не освоили prompt engineering, и второй полюс - этто фокус на failures и уверять что ничего не работает. В целом у людей bias на первый полюс
- Билл: Увеличим сетки в 10-20 раз - что будет? Yejin: No idea. Какие-то capabilities вырастут, но и ошибки могут тоже
- Билл: Почему LLM сосут даже в простой математике? Yejin: Не знаю. Часть ученых считает, что надо растить scale, но я считаю что нужны другие, более эффективные пути
- Yejin: Нейронки могут держать оч большой контекст, а люди нет, зато amazing capability of abstracting away instantaneously. LLM полагаются на паттерны, это противоположный полюс от abstraction
- Билл: А мне препода по математике сделают? Я думаю за 2-3 года индивидуальных tutors научатся делать. Yejin: Да - сетки “видели” кучу материала онлайн. А вот в drug discovery сложно - там уже надо порождать с нуля
- Yejin: Open source gpt4 было бы круто, но в академии же нет достаточно compute, чтобы этим воспользоваться
- Yejin: Вообще, новое крутое направление исследования было бы если бы нейронка “понимала” предпосылки и ее можно было бы unlearn
- Билл: Эволюция мног что попробовала и нащупала в итоге, и нейронки похожи - e.g. природа ошибок в computer vision. А так конечно великая загадка как мозг мыслит еще ждет своего открытия
- Yejin: Безопасность важна, но я думаю чем больше людей ею занимается, тем выше шансы что разберемся
- Билл: Я думал что сперва сделают супер-изощренных роботов синих воротничков, но мы сперва сделали переписыватель Pledge of Allegiance в стиле Дональда Трампа. Yejin: Да, это называется Moravec’s paradox - что перцептивные задачи сложнее для AI тк абстрактное мышление/generative AI у людей недавно (сотни тыс лет) + мы способны ценить красоту полотен даже не умея их рисовать, а вот моторные функции прошли супер долгий эволюционный отбор, и это видимо ни хрена не простая задача
- Yejin: На пути к AGI у нас будет разрыв между важностью решаемых задач (e.g. AI врач) и надежностью ответов от AI. Билл: Мы наивны в том что и как решится, e.g. я думал что переводчики будут разбивать “это существительное, это глагол”, а по факту в Google запилили нейронки - и это было mind-blowing как круто сработало
- Yejin: Создание надежного AI может оказаться гораздо более messy, чем мы думали раньше
- Yejin: Вся отрасль (и компании, и академия) сейчас зациклилась на масштабировании нейронок, соответственно, все прочие подходы на паузе - а я считаю, что вдолгую это просос, нет поиска альтернативных, более compute efficient путей. E.g. Люди не учатся рандомно читая инеты, а проходят учебник или tutorial
- Билл: Я считаю не то, что AI нам будет опасен, а наоборот - может быть он позволит людям лучше понять себя, и может быть даже развернуть сегодняшний тренд на поляризацию, на конфликты, улучшит взаимопонимание?

Upd: см скриншот в комменте в тему )

VC фонд Coatue выложили свой взгляд про рынок AI, 115 слайдов:

- Их новый CEO был раньше всю жизнь CTO - оч необычно для VC/private equity такого масштаба
- Аналогии с эпохой мэйнфреймов, ПК, инета, мобайла, скорости adoption - интересные графики, оч быстро листается
- Наглядное разбиение на слои/типы стартапов/компаний в экосистеме + в тч упоминают некоторые их инвестиции
- Показывают как openAI становился все закрытее и коммерческее + что там по open source
- Показывают как регуляция EU соотносится с ключевыми foundational models

В целом смотрят супер макро, тк они оч большие - им надо вложить $15-20 млрд - это означает, грубо говоря, что на $50 млрд только оценка суммарной капитализации их портфеля на входе -> т.е. на выходе надо в неск раз больше -> поэтому они и смотрят сколько десятков-сотен млрд капитализации создали на прошлых мега волнах инноваций в разных слоях value chain:
- Производители чипов и сотовые операторы
- Clouds типа AWS Msft Goog
и
- SaaS игроки с продуктами для конечных юзеров

Пространство смыслов или как мыслит ИИ

ВЕКТОРНЫМ ПРЕДСТАВЛЕНИЕМ ТЕКСТА В 1000-МЕРНОМ ПРОСТРАНСТВЕ

Возможно, вы уже успели убедиться, что современный ИИ прекрасно воспринимает текстовую информацию — он "понимает" все, что вы ему напишете и "рассуждает" на уровне образованного собеседника. Однако удивительно мало внимания уделяется тому, как ИИ информацию обрабатывает и как образы, выраженные словами, превращаются в понятные машине нули и единицы. Серия постов, где я вместе с вами разбираюсь в возможностях и ограничениях GPT-подобных систем.

Начнем с того как воспринимаем информацию мы. Сознание человека привыкло оперировать словами и связанными с ними образами, позволяя нам складывать конструкции более высоких уровней абстракции. При этом помимо внутренней логики языка, мы осознаем логики причинно-следственных связей, эмоций и чувств, времени и пространства, звука, цвета и так далее. То есть наше сознание хотя и тексто-центрично, языком не исчерпывается (хотя философы на эту тему спорят).

ИИ не такой, кроме текста он не знает вообще ничего и только-только начинает добавлять в свою картину мира изображения. То есть он не понимает категории времени, но помнит все, что о времени было написано, например, с какой вероятностью после слова “время” встречается слово “идёт”, а с какой — “песок, время вода, скажи мне да”. И хотя интерфейсы для нашего взаимодействия с ИИ — это по сути слова, все расчеты в нейронных сетях сводятся к числам. Основой для "понимания" языка у ИИ являются не буквы и слова, а т.н. вектора в многомерном пространстве смыслов (vector embeddings). Поэтому при каждом запросе текст переносится в это пространство смыслов специального типа функцией (word2vec). Эту операцию можно представлять переводом с любого из человеческих языков на язык ИИ. В частном случае openAI у этого пространства 1536 измерений, у google - 768, но это детали. Главное здесь:

1. вектора в этом пространстве описывают все понятия и явлении, которые только могут быть выражены в языке
2. в том что для трехмерного сознания кожаных мешков размерность любого из этих пространств достаточно большое, чтобы не суметь осознать его примерно никогда. привет всем, кто пытался представить 4-мерый куб.
3. несмотря на семантическую природу пространства и привязку к языку, все операции над текстов сводятся к математическим операциям над векторами. их можно складывать и это равносильно сложению смысла слов в предложениях, или умножать — их скалярное произведение описывает, насколько два текста на любом из человеческих языков близки по смыслу между собой. причем для таких расчетов машине больше не нужно ничего "понимать", нужно (заткнуться) и считать.

Например, так выглядит слово “кот” в гугловском пространстве, определенном функцией BERT (фото 1).
Каждая координата этого вектора - число с плавающей точкой (float), которое уже записывается в память компьютера и занимает там 4 байта.
- Каждый такой вектор занимает 4 байта х размерность 768 = 3 кБ
- При этом слово занимает 2 байта на символ UTF-8 х 3 буквы в слове “кот” = 6 Б

Разница в 500 раз. Векторная запись одного слова занимаете памяти как целая страница текста. Дело в том, что помимо самого слова в нем хранится информация о понятии “кот” — сколько у него лап, какие он издает звуки и все, что нашлось в обучающей выборки, точнее какие слова встречались рядом со словом "кот" в текстах обучающей выборки .

Чудо в том, что после всех операций и обратной конвертации этих векторов на человеческий, получаются тексты связные не только на уровне последовательностей слов, но и на уровне причинно-следственных связей, о которых машина не имеет никакого представления. И чудо это заключено в конкретном способе трансформации текста в векторы, в количестве измерений и различных способах оптимизации. И уже существующие способы, хотя и хороши, все еще может быть улучшены значительно (до 40%). И это одна из точек активного приложения усилий ИИ-исследователей прямо сейчас.

Ссылки:
1. Демо - уровень абстракции #1 - скрины отсюда ниже
2. Как работает Google BERT
3. Документация openAI

Паника про т.н. AGI захлестывает и наш social bubble, и техно-сегмент в X. Доползло и до законодателей США с риском на эпический regulatory capture/фиаско госуправления в пользу bigtech, или в Китае, или в Европе (там давно лобби Future of Life Institute от моего [уже менее 🙈] любимого Max Tegmark)

Каждый алармист - это один или несколько пунктов:

1. Ира Якутенко круто заметила, что современный мир стал слишком безопасен, а наши гены к этому не адаптировались, и поэтому в популяции есть люди, которые создают угрозы буквально на пустом месте, и что их можно отличить по самоназванию: people who care/“кому не все равно”
- Это, e.g., Бенджио, Хинтон итп академические подписанты призыва к полугодовому [естественно, не сработавшему] мораторию на AI research
- Маск тоже подписал в марте, но уже в апреле закупился GPU на сотни млн $, а в ноябре релизнул свою LLM xAI/Grok

2. Peter Thiel вообще не тратит время: “страх AGI вытекает всего лишь из взглядов на мир как дарвиниста или макиавеллиста”
- (дарвинизм - что главным фактором эволюции является естественный отбор)
- (макиавеллизм - политика только на основе грубой силы, пренебрегая моралью)

3. Разные модели идеального социума
- Боятся люди, кто не видел смену многих технологических укладов (Vinod Khosla считает, что нас ждут AI врачи/преподы/юристы, 1 млрд программистов на естественном языке, 1 млн двуногих роботов через 10 лет итп) или не руководили большими коллективами/не общались с governments по миру (как Bill Gates, который считает, что AI даст нам 3-ехдневную рабочую неделю)
а
- Рафинированные теоретичные люди с quirky фантазиями о том, как должен быть устроен идеальный, на их взгляд, социум. Типа той девочки на борде OpenAI, замутившей всю эту бучу во имя EA/effective alltruism, или, как заметил Yann LeCun “не тренировавший ни одной нейронки Иелезар Юдковский”, или депрессивный философ Ник Бостром

4. Страх AI - это современная форма анимизма, считает либертарианский философ Gaspard Koenig, автор книги 2019 г “Конец индивидуума” (после нее он потерял всякий интерес к AI)
- Пример: Сергей Карелов, называющим всякие (пока) неизвестные феномены computational irreducibility запугивающим образом типа “форма НЕчеловеческого интеллекта уже на Земле” 🙈

5. Слишком большая опора на материализм [западнической цивилизации] вытесняет из психики части души, требующих опору на трансцендентное
- Но эти фичи мозга никуда не деваются и идут на страхи и второго пришествия, и апокалипсиса вместе взятых, пусть и замаскированные в псевдо-рацио AGI. В AGI safety гипотезы пока - спекулятивные и/или нет экспериментов чтобы их отвергнуть (фальсифицируемость Поппера, по меркам естественных наук это не самые научные теории)

6. Лично непроработанные страхи, тк не было личной психотерапии (или была, но не доделали)
- Разбор своих, случайно набранных в детстве страхов/импринтов (можно к моей Юле обращаться, она оч теплый и бережный психолог про подсознание):
а) позволяет видеть мир реалистичнее, доступно большее пространство для действий
б) высвобождает затрачиваемые на страх ресурсы души
в) поправляет локус контроля куда там мир идет, снижает батхерт на посты типа этого, “как Витя не понимает, есть же вероятность исчезновения человечества!!”

Что еще?

Upd:

Женя Кузнецов красиво назвал эффективных альтруистов термином «оксфордский комсомол» 🙈 в своей статье в Форбс, в тч про обширное лобби структур Дастина Московица (в рамках effective altruism сделал Open Philanthropy) в Вашингтоне