кстати, в Binance ICO whitepaper июля 2017 года в разделе Market Competition в самом конце интересно написано, что это теперь всюду common risk:

We know this will be an ultra competitive space. There are probably hundreds, if not thousands of teams wanting, planning or doing exchanges. Competition will be fierce. But in this age, this is a common risk in any decent concept/startup or mature company. The question is: given our team, track record, experience, industry resources, and product, do you believe we stand a better chance than the rest of the pack? If yes, then please join our ICO.

А покидайте ссылок на кто и что читает про AI? [ рассылки-блоги-твиттеры (хотя X для меня чет слишком хаотичный =) итд итп ]. Мне нравятся:

1) Отчеты:
- Coatue, Nov 2024
- Stateof.ai от Nathan Benaich
- CBInsights, Jan 2024
- MenloVC про genAI в enterprise, 2023
- Benedict Evans Dec 2023, “много вопросов, мало ответов”
- AI Index by Stanford, за 2023 - 400 стр 🙈
- Бывшие McKinsey про AI в РФ

2) Рассылки:
Междисциплинарно, есть и про бизнес
- Nathan Benaich, UK VC, ежемесячная рассылка

Технические
- Alphasignal.ai - еженедельно, обзоры моделей/repos/статей
- Сайт Andrew Ng рассылки - deeplearning.ai
- Akhaliq - твиттер про AI research papers, каждый день

Регулирование AI по миру/Европе/США
- Future of Life Institute Тегмарка, Маска, Яна Таллинна, ежемесячно

Индустрия микросхем
- SemiAnalysis
- Квантовые компы любит замочить на Youtube эта немецкая физик

Философия
- Foresight Institute: Existential hope и Computation/AGI
- Nick Bostrom, раз в квартал
- Рассылка SantaFe Institute

3) Twitter’ы:
- LeCun - ну этот ОК, всегда взвешенный
- Kai-Fu Lee
- Andrew Ng
- Teknium
- Emad Mostaque
+ Altman, Suleyman, Musk etc. - if you are their fans )

Гайз, хочу сделать камингаут - я LLM-инвалид. Требуется помощь зала: а в итоге кто и как LLM успешно использует в повседневной жизни?? Что именно вы делаете с chatGPT или perplexity или Алисой?? Я чет не научился ((

LLS is a super retrieval?
- Запросы отрабатываются долго - я уже успеваю в Wiki прочитать и закрыть. Поисковики и их real time up to date data feed, оказывается, это вещь огого (!!!)
- В темах, где я хоть как-то шарю - имена компании книги факты выдает наивные, устаревшие (получается актуальность мне важнее), или вообще не в тему, или такая вода, что кровь из глаз
+
- Подрывает КАЖДЫЙ РАЗ мое доверие спрашивать LLM о чем-то, где я не шарю )

Summary
- Саммари текстов масло масляное масло вода еще масло. Печаль (художественные книги только суммирует, но я их не читаю поледние годы ))
- Саммари книг итп надо убеждать gpt (!) заколебал меня уже, что типа это копирайтная (!) инфа, ппц
- Саммари PDF доков very generic, смысла мне нет
- Алиса (в Яндекс Браузере в один клик текст делает на пару тыс символов) youtube видео тоже обессмысливает + ложно посылает сигналы что якобы это видео не интересное. Я еще проверял на некоторых что конспекты в канал писал - после Алисы [ложное] ощущение что слушать не надо

Рисеч
- ChatGPT 4 ощущение, что глупее 3.5, по крайней мере для меня, хоть и окно контекста больше
- Perplexity выдает оч короткие ответы и ссылки хуже чем bing (я на него год как перешел, тестирую по сравнению с гуглом). Кто говорят что ведут рисеч с помощью perplexity - мне кажется это уровень школьный какой-то уже совсем ((

Написание текстов
- Удлинять текст в более формальный мне не надо. а ошибки на лету же подсвечиваются и в gmail, и google docs. перевод делаю в google translate и он мне кажется круче, чем gpt. а с учетом моментального времени реакции так вообще )
- А в linkedin в 2023 году я начал БАНИТЬ входящие запросы при малейших намеках что меня вынуждают читать сгенеренное сообщение. раньше такое за собой не замечал ))

Прогать
- Код я не пишу, copilot мне не нужен )
- Тут похоже кстати по механике как моя первая ангельская инвестиция - www.autofaq.ai - операторам в поддержке подставляется рекомендованный ответ, и они уже решают отправлять клиенту или нет. КПД операторов в 5 раз вырастает, но они чекают и подправляют под контекст КАЖДОЕ конкретное сообщение

Картинки
- Задавать вопросы по картинкам мне, оказывается, особо делать и не надо..
- Я отписываюсь помаленьку от людей, кто [регулярно] постит сгенеренные картинки в разных медиа

Психология
- Если мне человек говорит, что пытается общаться с ChatGPT/спрашивать психологические вещи - я понимаю что впредь надо от таких людей держаться подальше - и это вовсе не аутизм/whatever, а это уже какая-то неадекватность

Учеба
- Диплом пытался тут написать помочь - с огромным разочарованием понял, что в медиа все звездеж, а преподаватели могут спать спокойно )
- Тесты/экзамены я не сдаю, мне эти их успехи по разным амерским универским тестам - до фонаря )

//
Сколько там говорите надо finetuning делать, чтобы врачам помогало? замочат так пациента ) (finetuning - это накормить LLM словами из какого-то узкого контекста, поправить ее вектора “смыслов” и сделать ее менее generic для данной конкретной отрасли) Я бы реально зашортил (!) бы OpenAI, но для непубличной компании это не сделать )

//
Или это просто такой заговор, где все понтуются и делают вид, что это якобы для них работает? =)

VC Chamath Palihapatiya разбирался для себя в AI до уровня first principles и сделал оч. симпатичную презу для самых начинающих/для людей уровня а-ля моя мама, см. PDF в аттаче

- Replicating Human Brain: the goal of AI to pass the Turing Test & how human intelligence is processed through neurons in the brain
- Computer Circuitry 101: transistors, binary digits, multi-core processors in computers, parallels between computer & brain
- Computer Logic 101: history/evolution of AI logic systems, basic statistics & probabilities to complex forms like neural networks
- Neural Networks: intro, their structure, function, relating them to human brain function
- Types of Networks: various models, including CNNs for images & other specialized types
- LLMs: intro, architecture, relevance in AI
- GenAI: its ability to create new content + value in different sectors
- Artificial General Intelligence/AGI: concept, potential, how close we are to achieving it
- View on future of AI / прогнозы

+ куча ссылок по каждой теме

Сорри, но это не схождение ли с ума в прямом эфире? Гении часто с расстройствами - эволюционная плата за нейроатипичность?

Думаю, Илья супер тревожный человек (но к психотерапии относится как Elon Musk) и всю жизнь (в тч за счет отдачи себя материализму наук) вытеснял трансцендентное, но в мозгу биофичи же остались

А тут психика направила все напряжение, на - я согласен - красивый кейс эмерджентности и computational irreducibility. Идет в одном ряду с модной у западных инженеров гипотезой о симуляции

Но LLM - это же просто файл весов на диске, лежит себе... Илья жаждет стать всемогущим богом - включил/выключил "сознание"? (Вы тоже можете скачать llama и запустить на Макбуке)

И желание наделять файл сознанием - это не просто нео-анимизм, это уже панпсихизм. (Молчу про супер антропоцентризм: он уверен, что сознание обязано оперировать языком людей🙈)

Право, лучше уж чисто маркетинг/профессиональные торговцы апокалипсисом 🙈

Страхи, в т.ч. AI, стоит с психологом разбирать. ведь так мир видишь точнее

…

Техническая часть презентации Маска после философской.

Сейчас 6000 спутников «старлинк» на орбите, на них 10 тыс космических лазеров прокачивают 42 петабайта интернета в день. Сейчас всего 2.7 млн клиентов «Старлинка», а новые клиенты появляются со скоростью 4 тыс. в день. Полное доминирование F9 и миллионы клиентов обеспечивают кэш компании и финансируют разработку старшипа. Часть технологий F9 и старлинка перетекают в старшип.

Следующий полёт старшипа «IFT-4» - в конце мая 2024. В этом полёте корабль должен пройти через все тепловые режимы и выжить, а ускоритель должен сесть на виртуальную башню.

Если параметры ускорителя будут номинальные, то в следующем полёте IFT-5 будет реальная посадка со спасением ускорителя с захватом клешнями на реальной башне. Вероятность, что это случится в 2024 году - 80%.
Краткосрочные планы - сделать ускоритель многоразовым.

С кораблём сложнее, он должен два раза подряд сесть на воду до реального возврата и раньше 2025 это не случится. Но это пока и необязательно. Для лунного контракта с НАСА нужны только рейсы между Луной и орбитой. Вход в плотные слои атмосферы не планируется, теплозащита Лунному варианту старшипа не нужна.

В 2024 будет произведено 6 комплектов старшипов. Строим гигантскую фабрику старшипов, где производство комплектов (ускоритель+корабль) увеличится. Нужно массово увеличивать производство кораблей - по крайней мере до нескольких штук в день. Для Марса потребуется намного больше кораблей, чем ускорителей – оборот ускорителей достаточно быстрый, а караваны кораблей будут лететь месяцами. Планируется последующая разборка кораблей для использования их в качестве сырья для марсианского строительства. Пока нет шахт и доменных печей на Марсе и чистая нержавейка там в дефиците - нет смысла возвращать грузовики на Землю и делать им теплозащиту.

В Бока Чике будет ещё 1 стартовая площадка и ещё 2 появятся на Мысе в 2026. В Техасе будет дев, во Флориде - прод.

В 2025 будет демо стыковки и перелива топлива между двумя кораблями. Аналогично дозаправке в воздухе, дозаправка в космосе должна стать рутиной. На один полный рейс на Марс в 200 тонн, нужно 5 дозаправок в космосе.

Старый двигатель Raptor 1 был тягой 185 тс земной/200 тс в вакууме, Raptor 2, который летал в IFT-3 будет тягой 230 тс земной / 258 в вакууме. Двигатель Raptor 3 прокачали и упростили одновременно, там теперь не будет отдельной теплозащиты, но будут внутренние каналы охлаждения, уменьшение количество деталей, многие трубопроводы теперь неразборно вмонтированы как часть конструкции и 3D печатаются монолитом, теперь он с тягой 280 тс на земле и 306 тс в вакууме. Двигатель уже испытан и полетит на новом старшипе.

Версия старшипа которая летала, тянула только 50 тонн на орбиту, следующая на новых движках и удлинённая на 2 метра будет выдавать 100т.

В будущем хотят разогнать Раптор до 330 тс зем/355 тс вак, и будущие старшипы подрастут ещё на 17 метров и будет выдавать проектные 200 т. В итоге должна получиться взлётная тяга 10 тыс тс и взлётная масса 7.5 тыс т, высота всей конструкции вырастет до 150 м (50-этажный дом).

Хотят сделать так, чтобы стоимость многоразового старшипа, выводящего 200 т была меньше цены одноразового Falcon 1 который выводил 0.5 т. Т.е разница в себестоимости многоразового и одноразового корабля около 400 раз. Конечная цена вывода 200 т старшипом должна составить 2–3 млн $, т.е. около 10-15 $ за кг

Для колонизации нужно тянуть 200 т на орбиту в многоразовом режиме и летать несколько раз в день, а раз в 2 года, в марсианское окно запускать пачками сотни и тысячи кораблей.
Места первых посадок на марсе - в низинах, посередине между экватором и полюсами.

Для создания самоподдерживающейся цивилизации необходимо доставить несколько млн тонн груза с земли, и переселить в конечном итоге около 1 млн человек. т. е. десять тысяч рейсов старшипа.

За одно марсианское окно раз в 2 года можно вывести 250 тыс. т марсианского груза и 1.25 млн тонн топлива для его доставки и повторять так 20 лет.

Это трудно и фантастично, но технически возможно, законы физики здесь не нарушаются.

Выживаемость по 11 видам детской онкологии в Германии - % выживших спустя 2-5 лет после диагноза, с 1940 по 2015-ый годы:

- С почти 0% выживаемости если по всем видам детского рака в 1940 годах и до 80% в 1980-ом довели

- А с тех пор подняли еще на 10% и до 90% довели

Прогресс техногенной цивилизации вдолгую всегда поражает, не привыкаешь

График из вот этой статьи

Книга Nick Bostrom Deep utopia: life & meaning in a solved world, ранее иконы AI паники (в 2014 Superintelligence), а теперь наоборот (!) оптимиста, 500 стр, конспект:

Интро
- Для детей каждый новый день - страна чудес, чтобы играть, играть..
- Ничего не утверждаю, а исследую

ПНД
- Технология: бОльшее с меньшим усилием. Machine intelligence разгоняется - что будет с жизнью и смыслом в solved world, т.е. когда tech нам все - голод, болезни итп решат?
- В средние века в утопиях мечтали о выходных и стенах из еды (+ фонтан молодости), реализовалось. Кейнс в 1930 написал эссе про изобилие у внуков: через 100 лет +4-8x ВВП и 15ч. раб.неделя (факт: 5x и 36ч вместо 50). У работы есть value кроме $? Люди будут фигачить если +1 $млн продлевал бы жизнь на 5 лет. Еще в НКО люди стараются. Или альтруизм для элит?
- Думаю, скорость прогресса когда-то выйдет на плато (?!?). В земле и ресурсах за счет космоса проблем нет. В случае роста населения можем столкнуться с нео-мальтузианством?
- Цивилизация - это эмерджентность взаимодействия миллиардов людей, групп, институций, и у нее есть отдача от масштаба по всем координатам. Longtermism прав, что нужно больше ценностей мира и кооперации

ВТРН
- Наследие космоса: ежегодно из-за расширения Вселенной навсегда отдаляется на 3 галактики объем достижимой нами (даже на световой скорости) материи. Если лететь на 0.5 скорости света, то число достижимых звезд 6*10^16. Тогда на цилиндрах O’Neil’а сможет когда-либо прожить 10^43 людей (предполагая, что не встретим другие цивилизации)
- Мы не знаем потолка технологий - освоить все, что можно для управления природой, в тч сферы Дайсона для полного сбора энергии каждого солнца. Но советую поизучать нано производство, мотивацию AGI, самовоспроизводимые зонды von Neuman близких к скорости света, O’Neil, Dyson, VR и симуляция предков, aging, крио, genetic reprogramming, brain-computer интерфейсы/uploading
- Препятствия для автоматизации экономик: регуляции, статусный символизм, солидарность, религии, сентименты
- Tech может решить проблему координации обществ. Но проблема ценностей остается - новизна/дофамин, мораль, purpose, метафизика. Пишет, что психотерапия дает эмпатию/чувства

СРД
- В нас встроена ненасытность желаний: и с другими сравниваемся, и хотим динамику во времени
- Если (в теории) роботы смогут делать всю работу -> полная безработица. В случае частичной автоматизации мира эффекты непонятны, спекулятивно, но богатые начнут потреблять больше свободного времени. Непонятно про как добавленное роботами богатство будет распределяться в социуме. Хотя.. В богатых странах слабая корреляция счастья и доходов
- Полная безработица: переедать/спать/пить? Люди разные: Микеланджело vs. Michael Carrol в лотерею выиграл и переспал с 4000 женщин. Хотя раньше и дети работали.. Культура праздности/Онегин/скука? Или роль фокуса и самоконтроля наоборот вырастет/протестантство?
- Какие будут purposes/желаемое? Шоппинг? Спорт? Учеба? Родительство? Отдаться стимуляции в Neuralink’ах (игры, управляемые сны)? Или возникнут новые смыслы?

ЧТВ
- Может ли жизнь в утопии быть: а) интересной? б) наполняющей? в) со смыслами?
- Оглядываться на одобрение социума?
- Увлечение эстетикой и красотой всего?

ПТН
- На пути к технологической зрелости кроме сложности науки есть еще: физическая экспансия (по космосу лететь не быстро), редкие случайности/бедствия, готовность к инопланетянам, policies/координация для внутрицивилизационных активностей, вызовы культур
- Смыслы можно у других брать, а можно искать самому. Или пойти и в трансцендентное (но он супер-материалист, просто указал как опцию)

СБТ
- В сценарий утопии можно разными путями дойти и миру важно не накосячить, если не на ту траекторию вырулим

//

Витя:
- Ну и водища..🙈 Лучше MacAskill про longtermism. Диалогов треть книги (вопросы из зала/Сократ, а-ля Библия), не гармонично как у Дойча в “Начало бесконечности”. Традиции издательств устарели, но они все упираются

- Его разворот от “AI нас всех убьет” до “как жить в утопии?” поражает, упоминает психотерапию - это ее результат что-ли?

Что-то я даже и не знаю как думать, перевариваю: в конгрессе США вчера представили доклад на 50 страниц о том, как Китай ведет нео-опиумную войну с Западом?

- В США сейчас 70 тыс чел в год умирает от фентанила = словно ежедневно разбивается один Боинг. Это опиат в 50 раз сильнее героина -> им оч легко передознуться (мой любимый Lil Peep итп). 2.6 млн детей растут в семьях где его употребляют

- Китай производит прекурсоры (компоненты из которых делается конечный наркотик) для фентанила, и они НЕ имеют больше никакого легального применения, и экспортирует наркокартелям по всему миру. Мексика делает конечный продукт и продает в США (прибыль картелей от фентанила оценивается в 20 млрд $ в год)

- Китай полностью запрещает и прекурсоры, и его употребление у себя, но прекурсоры продаются онлайн - 30 тыс объявлений на Alibaba итп (можно оплатить биткойном) от 2000 компаний (но которые имеют общие адреса и контакты), разрешает их экспорт (и экспорт разных готовых аналогов фентанила), и даже дает налоговые и экспортные вычеты этим производствам (!) - расследователи нашли публичные экспортные данные с 2018 г. Главы китайских провинций посещают эти производства и благодарят за вклад в местные экономики (!)

- Китай отказывается сотрудничать с правоохранительными органами других стран по этому вопросу

- 80% мирового производства прекурсоров амфетамина, кстати, тоже делается в Китае. Также, все синтетические каннабиноиды мира производятся в Китае

- Китайское тюремное ведомство владеет некоторыми такими производствами (!)

- Также, Китай поставляет nitazenes и xylazines, и скорые не могут спасти людей налоксоном (от героина и метадона помогает, от них и фентанила - нет). А еще 3-methylfentanyl в 6000 раз сильнее морфина, является, по сути, химическим оружием (использовался в 2002 г в операции мюзикла Норд-Ост)

- В США изымают 0.4 млрд смертельных доз фентанила в год

- Китай за своим great chinese firewall запрещает в поиске 66 тыс слов и словосочетаний (политика, терроризм, порно, пирамиды, гэмблинг, нарушение прав итп), но никак не ограничивает любые ключевые слова про экспорт фентанила и его прекурсоров

- Пишут, что компартия помогает потом наркокартелям отмывать эти деньги (!). Общий отток капитала из Китая с 2006 г = $3.8 трлн

- Нашли, что китайские военные стратеги Qiao Liang и Wang Xiangsui 20 лет назад (!) в своей книге предлагали как часть гибридной войны drug warfare that cause disasters in other countries and make huge profits

- Формально, в 2018 году Китай и США заключили соглашение о запрете оборота фентанила в Китае, но оставили все возможности химическим компаниям свободно экспортировать его и прекурсоры, и вот что мы имеем на сегодняшний день

- Обсуждаются предложения по международной кооперации в этой связи, в тч борьба с отмыванием китайскими торговыми брокерами прибылей наркокартелей

//

Питер Тиль еще 10 лет назад объявил борьбу с авторитарным Китаем как стратегическую задачу в своей жизни. И с тех пор такие вот вещи реально произошли…

Это какая-то что-ли месть за опиумные войны и обогащение на них Запада? Или просто история циклична и разворачивается обратно? Или что? Мир, я тебя не понимаю.. Какая нахрен longevity…

Доклад 2 мая 2024 в конгрессе, что НКО EcoHealth Alliance на госденьги США тайком вели gain of function опыты в Ухани, откуда началась мировая пандемия коронавируса (PDF на 60 страниц)

История вопроса
- Второе исследование по этой теме. Изучили 1 млн стр доков + дюжину свидетелей
- NIH - National Institute of Health, министерство, отвечающее за исследования в медицине и здравоохранении, не узнало бы все это, если бы не вмешательство Трампа и его Head of Staff Mark Meadows в 2020-ом году

Gain of function
- EcoHealth на пару лет задерживали отчетность по грантам, в тч не репортили что делают gain of function рисеч (это эксперименты по искусственому созданию вирусов (pathogenes) потенциально пандемического масштаба)
- Еще аж в 2016ом EcoHealth обязаны были доложить, что созданные ими искусственно химеры MERS и CARS вирусов росли больше 1 по логарифмической шкале от исходных штаммов вирусов и получить запрет (и от США, и от Уханьского института) на дальнейшие исследования как слишком опасные, но они скрыли этот факт
- Термин имел множество нюансов и нуждается в формализации, чтобы эффективно понимать и контролировать такие исследования (что есть рутинная вирусология, а что есть опасная)

Обман общественности
- Ставший медийно известным в пандемию Anthony Fauci (глава института аллергий и инфекций в 1984-2022 гг, подразделение NIH) публично обманывал, что на госденьги не велись такие исследования
- Глава EcoHealth Dr. Daszak, специалист по zoonosis (перенос заболеваний от животных к людям), скрыл, что samples & sequences их исследований остались под контролем института Ухани
- В 2020ом 77 нобелевских лауреатов и 31 научное сообщество подписали письмо с критикой отзыва финансирования EcoHealth

Что делать?
- Полностью прекратить финансировать EcoHealth из госбюджета
- Остранить Daszak, провести криминальное расследование в его отношении
- Сделать новые рамки контроля в сферах:
(а) gain of function исследований в биологии в частности и
(б) исследований двойного назначения (гражданско-военные технологии) в целом
- На слушаниях Daszak все отрицал

//

- См. мой конспект в 2022ом книги 2003 года бывшего со-руководителя программы биооружия в СССР Кена Алибека “Осторожно, биологическое оружие”
и
- Он там писал, что в СССР за десятки лет постоянно происходили утечки разных масштабов из секретных лаб любого уровня биологической защиты
но
- Для общественности их всегда традиционно сваливали на ближайшие продуктовые рынки (прямо как в Ухани про корону)

(Это словно вдогонку к посту про фентаниловую войну Китая - что мир нашей техноцивилизации куда ни глянь - всюду люди и организации чудят, и иногда выливается в масштабную жесть)

Рэй Далио пишет про видеонарезку в NYTimes в конце апреля, где человек 7 сенаторов покидают конгресс и отвечают на вопросы (quit interview):

1. Конгресс в одно слово? Хаотичный / disfunctional / challenging / tense / в прошлом году приняли 27 законов - меньше, чем когда-либо (а конгрессу 235 лет)

2. Конгресс коррумпирован? Нет, но легализация неограниченного лоббизма от корпораций - это была самая большая ошибка

3. Что больше всего фрустрировало? Конгрессмены перестали соблюдать договоренности и “кидают” при голосовании / обсуждение повышения бюджетного потолка / бигтехи стали слишком влиятельны на capitol hill и успешно саботируют все антимонопольные инициативы

4. Какие perks вам нравились? Лучшие в своих сферах 5-6 экспертов за день / общаться с лидерами разных стран мира

5. Сколько должны получать конгрессмены? Сейчас $174к/год, нужно индексировать просто по инфляции. Хотя сотня конгрессменов ночует прямо в офисе тк отели в Вашингтоне стали слишком дорогими

6. Что больше всего пугает про конгресс? Как бы наша демократия не грохнулась / геополитика и взлет авторитаризмов по миру / безостановочный дефицит бюджета и культура роста расходов и госдолг $34 трлн / social security система и medicare рухнут в ближайшие годы / мы оставляем внукам безразмерные долги

7. Как пофиксить? Американскому обществу надо что-то с этим делать / нужна модернизация на всех уровнях, от найма и айти до orientation из разных партий вместе а не раздельно / долгая несменяемость людей катастрофична

//

Это перекликается с тем, что еще 4 года назад писала книга The Decadant Society и Питер Тиль делал ей предисловие (мой конспект)

Далио говорит, что:
- Не нужно превращаться в лягушку в горшке со сметаной
- В 2020-ом он написал пост про changing world order (+ вот видео на 40 мин), но что-то все стало слишком уж быстро развиваться, мы прямо на грани
- До захвата капитолия меня не слушали, а теперь гораздо больше людей видят, какие паттерны могут вести к неразрешимым противоречиям и подрывать демократию
- Кстати, в 1930-ые было похоже у коммунистов и нацистов (спрос на сильную руку и желание выиграть любой ценой). Обратите внимание, как сейчас в Вашингтоне описывают governance и теперь представьте, куда мы идем
- Мы на 5ом шаге долгосрочных циклов (вот картинки 1 и 2 и 3 и 4), а на 6-ом шаге - обычно гражданская или международная война
- Нужно подумать о двух вещах:
(1) что мы все вместе можем сделать?
(2) что лично я буду делать для своей защиты, если это все-таки случится?

//

Архетипический цикл любой супердержавы по Далио:

I. Подъем: экономический рост, стабильность, лучше госинституты, рост производительности всех факторов, копится богатство

II. Вершина: пик могущества страны, госдолг управляем, оптимизм и вера в будущее

III. Monetary & credit excesses: взлет госдолга, избыток/печать денег, финансовые пузыри

IV. Кризис: долги и дисбалансы, активы дешевеют, банковский кризис, спад

V. Рецессия/депрессия: долгая стагнация / безработица / слабый рост

VI. Cleaning up & reform: самое главное - происходит deleverage, реформы, готовится основа для нового цикла роста

Мы (он имеет в виду Bridgewater) изучали 500 лет истории и во всех странах такое было по тем же самым причинам, макро циклы всюду одинаковы, все всегда завязано на leverage

Далио в конце 2023 говорил, что еще одни супер-поляризационные (far left vs. far right) выборы Biden vs. Trump без strong middle - это и есть та самая трагедия irreconcilable differences

Интервью Марка Цукерберга про Llama 3 Dwarkesh Patel’ю 18 апр 2024:

Llama 3
- Meta AI (бесплатный помощник) выкатываем на юзеров, под капотом llama 3, ее опенсорсим. И text LLM для playful контента, и генерация картинок в динамике по мере ввода prompt
- 3 версии: 8 млрд параметров, 70, а на 405 еще треним. Результат 85 в MMLU тесте. Данные: 15 трлн токенов. Llama-3 на 8 млрд параметров так же крута как 2ая на 70 млрд, НЕ круче. И Llama-2 мы не тренили на coding questions, но людям в разных сферах вдруг оказалось важным
- Дальше цели: многоязычность, мультимодальность, бОльшее окно контекста
- В v.3 продолжили наращивать агентские функции, наш долгосрочный курс

GPU
- Откуда знали про заказ заранее H100? Да не, мы работали над Reels - чтобы суперизощренно их рекомендовать - не 1000 роликов, а учитывать сотни млн -> т.е. нужна иная инфраструктура, чтобы догнать TikTok
- В целом наш принцип: “что-то будет на горизонте, что мы пока еще не видим”. Ну т.е. “there's always another thing” когда управляешь компанией

Опенсорс
- Мы давно опенсорсим low level engineering systems - все, что не наши end products. Есть много путей open source. Apple и Google решают что нам можно build/зарелизить, а что нет (и мы устали с ними бодаться про разные фичи), а мы - нет. Кстати, теоретически, тренинг моделей может и коммодитизироваться (!)
- FB AI Research запустили 10 лет назад, без продуктовых целей. ChatGPT и image diffusion models повлияют на все аппы и как люди их юзают. Gen AI группа у нас уже про продуктизацию - делаем meta.ai - люди могут с AI работать НЕ в фб/вотсапе
- Чатботы глупые, кто засолвит reasoning - все станет убого на этом фоне. Так мы занялись AGI
- Думаю, мы НЕ убираем людей, а добавляем им tools. Llama-10 сделает кодеров в >10x эффективнее. Из 3 млрд fb/insta/whatsapp users у нас 200 млн creators -> им нужен gen AI. Еще мы с женой давно пушим науку в Chan Zuckerberg Initiative - там тоже поможет
- Мультимодальность, над которой мир мало работает: понимание эмоций
- Для разных функций будут разные gen AI модели, e.g. для smart glasses

Энергопотребление как ограничитель, модели за $10 млрд
- Думаю стоит сделать инфру на $10-100 млрд и продолжать тренить, веря что модели продолжат учиться. Непонятно, когда исчезнет смысл вваливать $ в GPU
- Да, история учит что будут bottlenecks, но сейчас их будто быстрее решают. Но строить подводы от электростанций всюду regulated & slow. Сейчас датацентры на 50-100 МВт, на 300-500-1000 МВт нету, и их время пришло
- Таким моделям будут нужны, естественно, synthetic data
- Думаю, мы когда-то доберемся до своих чипов

Цезарь, взрыв intelligence, биооружие
- Людям всю историю казалось что они пуп Земли, что даже космос вращается вокруг них. А я думаю AI это low-level инновация, скорее как до компов и после компов, в космических масштабах 20 лет на распространение AI - да, это быстро
- Мы из опыта соцсетей отслеживаем 18 тем чтобы они в LLM не навредили людям. До биоружия далеко, LLM пока ближе к Google
- Опасность не в AGI, а что какие-то власти или люди могут сделать с просто мощным AI. Поэтому и верим в раздачу моделей через open source - для баланса
- Ляля про риски ОК, но на практике у нас больше риски: контента, misinformation. Но я верю в модерацию за счет AI, что нам удастся быть впереди, скажем, стран желающих влезть в выборы итп
- Мы будем опенсорсить модели на сотни млрд параметров, но с оглядкой на вещи, что я упоминаю выше
- Если ехать в прошлое, я бы во времена войны за независимость или Рим (но там же даже не было концепции мира, все время воевали)

Прочее
- Я не продал FB тк все равно бы строил компанию. Иррационально. A lot of the biggest bets that people make are often just based on conviction & values
- Люблю строить, а власть итп мне не интересны
- Детям проще со смелыми идеями -> важно правильно взрослеть, не терять это
- У стартапов есть супер фокус из-за ограничения ресурсов, и они в итоге достигают определенный уровень взаимодействия с миром. Google+, например, банально не имел CEO - был просто юнит Гугла и все

Про сегодняшний AI момент: паникеры раскручивают пропаганду и это выливается в рост регуляций, а по факту хайп сдувается, может уже вступаем в AI-winter..

Пропаганда
- Тиктокера (см его фото) выгоняют из OpenAI и он (на спор, что ли?) пишет дикие агитки =) Прямо Геббельс: Цель использования метода большой лжи в пропаганде заключается в том, чтобы подорвать способность людей к критическому мышлению и склонить их к принятию ложных убеждений, что в итоге укрепляет наш контроль и влияние
- А Ник Бостром за 10 лет наоборот - разворот 180 градусов от страха AGI к utopia и abundance
- Схватки между EA (effective altruism) и e/acc (effective accelerationism) нас еще удивят )) Тк EA brainwashing разгоняется..

Технологии
- LLM, как Yann LeCun говорит, уже все что можно из текстовых знаний человечества вынули, метрики не растут и разница между разными компаниями ничтожна
- Карпаты на днях запилил GPT2 (124 млн параметров) на опенсорсных 15Тб данных и LLM стала (!) уровня GPT3 - потратил $20 на compute. Данные там - в среднем строки на 2 тыс символов
- В 2019 gpt2 стоила $50к - т.е. дешевле в 2500 раз. Что тренировка сеток станет commodity - Цукерберг говорил..
- Атомные технологии стоили $25 млрд в 1945-ом, сейчас все равно миллиарды $ - то есть всего в 5x дешевле за, кгхм, 80 лет
- Следим/читаем Yann LeCun, куда там могут копать в какие-то будущие прорывы.. В целом, reinforcement learning что-то должен дать судя по AlphaGo итп
- Мечты Альтмана, что миру нужны триллионы $ в compute и АЭС (верит в emergence феномены, как завещал Sutskever?) - сложно. В мире 25 тераватт/год электричества потребляют, рост 2x за 20 лет - в мире atoms not bits - сложно..

Бизнес
- Gartner еще летом на своей кривой AI хайпа помещали genAI на пик, этим летом понизят с пика )
- Google и FB могут спать спокойно - у нейронок нет такого конкурентного барьера как network effects, это действительно больше low level engineering innovation типа компов и смартфонов, как отмечал Цукерберг. А рэнкинги Гугла постоянно обновляются на real-time потоке куда и по каким запросам люди кликают - тут сетевой эффект супер силен
- Китай вложит $60 млрд в производство чипов в Китае. Возможно, отчасти связано с тем, что на случай захвата Тайваня в оборудование ASML (свертинтенсивный ультрафиолет для рисования микросхем) заложена возможность удаленного вывода из строя
- Дальше, скорее, вопросы освоения людьми на своих рабочих местах..
- Apple вроде выкатят LLM прямо на айфоне, без загрузки в облака. Когда шортить акции Nvidia - без понятия )

Лидеры
- Альтман уже постоянно не этичен (от Sutskever и отбирания опционов у увольняющихся сотрудников OpenAI и до воровства голоса Скарлет Йохансон пару недель назад) - долг копится и я думаю он скоро огребет от реальности..
- Интересно, что будет пилить Sutskever? )

Регуляторы
- Лоббисты, похоже, соберут максимально денег с бигтехов (тот обсуждаемый сейчас в Калифорнии заход на ограничение больших моделей как ядерное оружие) за НЕ запрет в итоге ))
- Цукерберг топчик с Llama - open source в масштабах планеты делают технологию распределенной, крч это мягко говоря это не атомные технологии
- С учетом, что выше про Карпаты - ну ОК: запретят - будут тренить нелегально )

Психология
- Вместо AGI нас ждет какая-то новая виральная и раскручиваемая страшилка конца света - западу всегда нужно дыхание апокалипсиса )) Что станет следующим?
- В Китае 87% населения оптимистичны про AI, на Западе 35% - это культурные корни.. А на Востоке колесу Сансары пару тысяч лет - в корейских сериалах вместо западных концов света - всюду идея перерождения: Королева Чхорин, Легенда синего моря, История девятихвостого лиса итд итп
- Любые страхи всегда нужно нести в личную психотерапию, а иначе, не понимая почему, так и будем триггериться супер-тревожными людьми типа Jaan Tallinn (знаком с ним, он чет совсем ушел в панику) итп. Да нет, это всего лишь их личные непроработанные тревоги, но с медиа-усилением - мы получаем регуляторные перегибы ((