Progresspunks
1.89K subscribers
1.11K photos
19 videos
18 files
261 links
Не так дистиллированно как в t.me/victor_osyka
Download Telegram
1952 год, Литературная газета
Forwarded from Юра, прости
Техническая часть презентации Маска после философской.

Сейчас 6000 спутников «старлинк» на орбите, на них 10 тыс космических лазеров прокачивают 42 петабайта интернета в день. Сейчас всего 2.7 млн клиентов «Старлинка», а новые клиенты появляются со скоростью 4 тыс. в день. Полное доминирование F9 и миллионы клиентов обеспечивают кэш компании и финансируют разработку старшипа. Часть технологий F9 и старлинка перетекают в старшип.

Следующий полёт старшипа «IFT-4» - в конце мая 2024. В этом полёте корабль должен пройти через все тепловые режимы и выжить, а ускоритель должен сесть на виртуальную башню.

Если параметры ускорителя будут номинальные, то в следующем полёте IFT-5 будет реальная посадка со спасением ускорителя с захватом клешнями на реальной башне. Вероятность, что это случится в 2024 году - 80%.
Краткосрочные планы - сделать ускоритель многоразовым.

С кораблём сложнее, он должен два раза подряд сесть на воду до реального возврата и раньше 2025 это не случится. Но это пока и необязательно. Для лунного контракта с НАСА нужны только рейсы между Луной и орбитой. Вход в плотные слои атмосферы не планируется, теплозащита Лунному варианту старшипа не нужна.

В 2024 будет произведено 6 комплектов старшипов. Строим гигантскую фабрику старшипов, где производство комплектов (ускоритель+корабль) увеличится. Нужно массово увеличивать производство кораблей - по крайней мере до нескольких штук в день. Для Марса потребуется намного больше кораблей, чем ускорителей – оборот ускорителей достаточно быстрый, а караваны кораблей будут лететь месяцами. Планируется последующая разборка кораблей для использования их в качестве сырья для марсианского строительства. Пока нет шахт и доменных печей на Марсе и чистая нержавейка там в дефиците - нет смысла возвращать грузовики на Землю и делать им теплозащиту.

В Бока Чике будет ещё 1 стартовая площадка и ещё 2 появятся на Мысе в 2026. В Техасе будет дев, во Флориде - прод.

В 2025 будет демо стыковки и перелива топлива между двумя кораблями. Аналогично дозаправке в воздухе, дозаправка в космосе должна стать рутиной. На один полный рейс на Марс в 200 тонн, нужно 5 дозаправок в космосе.

Старый двигатель Raptor 1 был тягой 185 тс земной/200 тс в вакууме, Raptor 2, который летал в IFT-3 будет тягой 230 тс земной / 258 в вакууме. Двигатель Raptor 3 прокачали и упростили одновременно, там теперь не будет отдельной теплозащиты, но будут внутренние каналы охлаждения, уменьшение количество деталей, многие трубопроводы теперь неразборно вмонтированы как часть конструкции и 3D печатаются монолитом, теперь он с тягой 280 тс на земле и 306 тс в вакууме. Двигатель уже испытан и полетит на новом старшипе.

Версия старшипа которая летала, тянула только 50 тонн на орбиту, следующая на новых движках и удлинённая на 2 метра будет выдавать 100т.

В будущем хотят разогнать Раптор до 330 тс зем/355 тс вак, и будущие старшипы подрастут ещё на 17 метров и будет выдавать проектные 200 т. В итоге должна получиться взлётная тяга 10 тыс тс и взлётная масса 7.5 тыс т, высота всей конструкции вырастет до 150 м (50-этажный дом).

Хотят сделать так, чтобы стоимость многоразового старшипа, выводящего 200 т была меньше цены одноразового Falcon 1 который выводил 0.5 т. Т.е разница в себестоимости многоразового и одноразового корабля около 400 раз. Конечная цена вывода 200 т старшипом должна составить 2–3 млн $, т.е. около 10-15 $ за кг

Для колонизации нужно тянуть 200 т на орбиту в многоразовом режиме и летать несколько раз в день, а раз в 2 года, в марсианское окно запускать пачками сотни и тысячи кораблей.
Места первых посадок на марсе - в низинах, посередине между экватором и полюсами.

Для создания самоподдерживающейся цивилизации необходимо доставить несколько млн тонн груза с земли, и переселить в конечном итоге около 1 млн человек. т. е. десять тысяч рейсов старшипа.

За одно марсианское окно раз в 2 года можно вывести 250 тыс. т марсианского груза и 1.25 млн тонн топлива для его доставки и повторять так 20 лет.

Это трудно и фантастично, но технически возможно, законы физики здесь не нарушаются.
Выживаемость по 11 видам детской онкологии в Германии - % выживших спустя 2-5 лет после диагноза, с 1940 по 2015-ый годы:

- С почти 0% выживаемости если по всем видам детского рака в 1940 годах и до 80% в 1980-ом довели

- А с тех пор подняли еще на 10% и до 90% довели

Прогресс техногенной цивилизации вдолгую всегда поражает, не привыкаешь

График из вот этой статьи
Книга Nick Bostrom Deep utopia: life & meaning in a solved world, ранее иконы AI паники (в 2014 Superintelligence), а теперь наоборот (!) оптимиста, 500 стр, конспект:

Интро
- Для детей каждый новый день - страна чудес, чтобы играть, играть..
- Ничего не утверждаю, а исследую

ПНД
- Технология: бОльшее с меньшим усилием. Machine intelligence разгоняется - что будет с жизнью и смыслом в solved world, т.е. когда tech нам все - голод, болезни итп решат?
- В средние века в утопиях мечтали о выходных и стенах из еды (+ фонтан молодости), реализовалось. Кейнс в 1930 написал эссе про изобилие у внуков: через 100 лет +4-8x ВВП и 15ч. раб.неделя (факт: 5x и 36ч вместо 50). У работы есть value кроме $? Люди будут фигачить если +1 $млн продлевал бы жизнь на 5 лет. Еще в НКО люди стараются. Или альтруизм для элит?
- Думаю, скорость прогресса когда-то выйдет на плато (?!?). В земле и ресурсах за счет космоса проблем нет. В случае роста населения можем столкнуться с нео-мальтузианством?
- Цивилизация - это эмерджентность взаимодействия миллиардов людей, групп, институций, и у нее есть отдача от масштаба по всем координатам. Longtermism прав, что нужно больше ценностей мира и кооперации

ВТРН
- Наследие космоса: ежегодно из-за расширения Вселенной навсегда отдаляется на 3 галактики объем достижимой нами (даже на световой скорости) материи. Если лететь на 0.5 скорости света, то число достижимых звезд 6*10^16. Тогда на цилиндрах O’Neil’а сможет когда-либо прожить 10^43 людей (предполагая, что не встретим другие цивилизации)
- Мы не знаем потолка технологий - освоить все, что можно для управления природой, в тч сферы Дайсона для полного сбора энергии каждого солнца. Но советую поизучать нано производство, мотивацию AGI, самовоспроизводимые зонды von Neuman близких к скорости света, O’Neil, Dyson, VR и симуляция предков, aging, крио, genetic reprogramming, brain-computer интерфейсы/uploading
- Препятствия для автоматизации экономик: регуляции, статусный символизм, солидарность, религии, сентименты
- Tech может решить проблему координации обществ. Но проблема ценностей остается - новизна/дофамин, мораль, purpose, метафизика. Пишет, что психотерапия дает эмпатию/чувства

СРД
- В нас встроена ненасытность желаний: и с другими сравниваемся, и хотим динамику во времени
- Если (в теории) роботы смогут делать всю работу -> полная безработица. В случае частичной автоматизации мира эффекты непонятны, спекулятивно, но богатые начнут потреблять больше свободного времени. Непонятно про как добавленное роботами богатство будет распределяться в социуме. Хотя.. В богатых странах слабая корреляция счастья и доходов
- Полная безработица: переедать/спать/пить? Люди разные: Микеланджело vs. Michael Carrol в лотерею выиграл и переспал с 4000 женщин. Хотя раньше и дети работали.. Культура праздности/Онегин/скука? Или роль фокуса и самоконтроля наоборот вырастет/протестантство?
- Какие будут purposes/желаемое? Шоппинг? Спорт? Учеба? Родительство? Отдаться стимуляции в Neuralink’ах (игры, управляемые сны)? Или возникнут новые смыслы?

ЧТВ
- Может ли жизнь в утопии быть: а) интересной? б) наполняющей? в) со смыслами?
- Оглядываться на одобрение социума?
- Увлечение эстетикой и красотой всего?

ПТН
- На пути к технологической зрелости кроме сложности науки есть еще: физическая экспансия (по космосу лететь не быстро), редкие случайности/бедствия, готовность к инопланетянам, policies/координация для внутрицивилизационных активностей, вызовы культур
- Смыслы можно у других брать, а можно искать самому. Или пойти и в трансцендентное (но он супер-материалист, просто указал как опцию)

СБТ
- В сценарий утопии можно разными путями дойти и миру важно не накосячить, если не на ту траекторию вырулим

//

Витя:
- Ну и водища..🙈 Лучше MacAskill про longtermism. Диалогов треть книги (вопросы из зала/Сократ, а-ля Библия), не гармонично как у Дойча в “Начало бесконечности”. Традиции издательств устарели, но они все упираются

- Его разворот от “AI нас всех убьет” до “как жить в утопии?” поражает, упоминает психотерапию - это ее результат что-ли?
Что-то я даже и не знаю как думать, перевариваю: в конгрессе США вчера представили доклад на 50 страниц о том, как Китай ведет нео-опиумную войну с Западом?

- В США сейчас 70 тыс чел в год умирает от фентанила = словно ежедневно разбивается один Боинг. Это опиат в 50 раз сильнее героина -> им оч легко передознуться (мой любимый Lil Peep итп). 2.6 млн детей растут в семьях где его употребляют

- Китай производит прекурсоры (компоненты из которых делается конечный наркотик) для фентанила, и они НЕ имеют больше никакого легального применения, и экспортирует наркокартелям по всему миру. Мексика делает конечный продукт и продает в США (прибыль картелей от фентанила оценивается в 20 млрд $ в год)

- Китай полностью запрещает и прекурсоры, и его употребление у себя, но прекурсоры продаются онлайн - 30 тыс объявлений на Alibaba итп (можно оплатить биткойном) от 2000 компаний (но которые имеют общие адреса и контакты), разрешает их экспорт (и экспорт разных готовых аналогов фентанила), и даже дает налоговые и экспортные вычеты этим производствам (!) - расследователи нашли публичные экспортные данные с 2018 г. Главы китайских провинций посещают эти производства и благодарят за вклад в местные экономики (!)

- Китай отказывается сотрудничать с правоохранительными органами других стран по этому вопросу

- 80% мирового производства прекурсоров амфетамина, кстати, тоже делается в Китае. Также, все синтетические каннабиноиды мира производятся в Китае

- Китайское тюремное ведомство владеет некоторыми такими производствами (!)

- Также, Китай поставляет nitazenes и xylazines, и скорые не могут спасти людей налоксоном (от героина и метадона помогает, от них и фентанила - нет). А еще 3-methylfentanyl в 6000 раз сильнее морфина, является, по сути, химическим оружием (использовался в 2002 г в операции мюзикла Норд-Ост)

- В США изымают 0.4 млрд смертельных доз фентанила в год

- Китай за своим great chinese firewall запрещает в поиске 66 тыс слов и словосочетаний (политика, терроризм, порно, пирамиды, гэмблинг, нарушение прав итп), но никак не ограничивает любые ключевые слова про экспорт фентанила и его прекурсоров

- Пишут, что компартия помогает потом наркокартелям отмывать эти деньги (!). Общий отток капитала из Китая с 2006 г = $3.8 трлн

- Нашли, что китайские военные стратеги Qiao Liang и Wang Xiangsui 20 лет назад (!) в своей книге предлагали как часть гибридной войны drug warfare that cause disasters in other countries and make huge profits

- Формально, в 2018 году Китай и США заключили соглашение о запрете оборота фентанила в Китае, но оставили все возможности химическим компаниям свободно экспортировать его и прекурсоры, и вот что мы имеем на сегодняшний день

- Обсуждаются предложения по международной кооперации в этой связи, в тч борьба с отмыванием китайскими торговыми брокерами прибылей наркокартелей

//

Питер Тиль еще 10 лет назад объявил борьбу с авторитарным Китаем как стратегическую задачу в своей жизни. И с тех пор такие вот вещи реально произошли…

Это какая-то что-ли месть
за опиумные войны и обогащение на них Запада? Или просто история циклична и разворачивается обратно? Или что? Мир, я тебя не понимаю.. Какая нахрен longevity…
Доклад 2 мая 2024 в конгрессе, что НКО EcoHealth Alliance на госденьги США тайком вели gain of function опыты в Ухани, откуда началась мировая пандемия коронавируса (PDF на 60 страниц)

История вопроса
- Второе исследование по этой теме. Изучили 1 млн стр доков + дюжину свидетелей
- NIH - National Institute of Health, министерство, отвечающее за исследования в медицине и здравоохранении, не узнало бы все это, если бы не вмешательство Трампа и его Head of Staff Mark Meadows в 2020-ом году

Gain of function
- EcoHealth на пару лет задерживали отчетность по грантам, в тч не репортили что делают gain of function рисеч (это эксперименты по искусственому созданию вирусов (pathogenes) потенциально пандемического масштаба)
- Еще аж в 2016ом EcoHealth обязаны были доложить, что созданные ими искусственно химеры MERS и CARS вирусов росли больше 1 по логарифмической шкале от исходных штаммов вирусов и получить запрет (и от США, и от Уханьского института) на дальнейшие исследования как слишком опасные, но они скрыли этот факт
- Термин имел множество нюансов и нуждается в формализации, чтобы эффективно понимать и контролировать такие исследования (что есть рутинная вирусология, а что есть опасная)

Обман общественности
- Ставший медийно известным в пандемию Anthony Fauci (глава института аллергий и инфекций в 1984-2022 гг, подразделение NIH) публично обманывал, что на госденьги не велись такие исследования
- Глава EcoHealth Dr. Daszak, специалист по zoonosis (перенос заболеваний от животных к людям), скрыл, что samples & sequences их исследований остались под контролем института Ухани
- В 2020ом 77 нобелевских лауреатов и 31 научное сообщество подписали письмо с критикой отзыва финансирования EcoHealth

Что делать?
- Полностью прекратить финансировать EcoHealth из госбюджета
- Остранить Daszak, провести криминальное расследование в его отношении
- Сделать новые рамки контроля в сферах:
(а) gain of function исследований в биологии в частности и
(б) исследований двойного назначения (гражданско-военные технологии) в целом
- На слушаниях Daszak все отрицал

//

- См. мой конспект в 2022ом книги 2003 года бывшего со-руководителя программы биооружия в СССР Кена Алибека “Осторожно, биологическое оружие”
и
- Он там писал, что в СССР за десятки лет постоянно происходили утечки разных масштабов из секретных лаб любого уровня биологической защиты
но
- Для общественности их всегда традиционно сваливали на ближайшие продуктовые рынки (прямо как в Ухани про корону)

(Это словно вдогонку к
посту про фентаниловую войну Китая - что мир нашей техноцивилизации куда ни глянь - всюду люди и организации чудят, и иногда выливается в масштабную жесть)
Рэй Далио пишет про видеонарезку в NYTimes в конце апреля, где человек 7 сенаторов покидают конгресс и отвечают на вопросы (quit interview):

1. Конгресс в одно слово? Хаотичный / disfunctional / challenging / tense / в прошлом году приняли 27 законов - меньше, чем когда-либо (а конгрессу 235 лет)

2. Конгресс коррумпирован? Нет, но легализация неограниченного лоббизма от корпораций - это была самая большая ошибка

3. Что больше всего фрустрировало? Конгрессмены перестали соблюдать договоренности и “кидают” при голосовании / обсуждение повышения бюджетного потолка / бигтехи стали слишком влиятельны на capitol hill и успешно саботируют все антимонопольные инициативы

4. Какие perks вам нравились? Лучшие в своих сферах 5-6 экспертов за день / общаться с лидерами разных стран мира

5. Сколько должны получать конгрессмены? Сейчас $174к/год, нужно индексировать просто по инфляции. Хотя сотня конгрессменов ночует прямо в офисе тк отели в Вашингтоне стали слишком дорогими

6. Что больше всего пугает про конгресс? Как бы наша демократия не грохнулась / геополитика и взлет авторитаризмов по миру / безостановочный дефицит бюджета и культура роста расходов и госдолг $34 трлн / social security система и medicare рухнут в ближайшие годы / мы оставляем внукам безразмерные долги

7. Как пофиксить? Американскому обществу надо что-то с этим делать / нужна модернизация на всех уровнях, от найма и айти до orientation из разных партий вместе а не раздельно / долгая несменяемость людей катастрофична

//

Это перекликается с тем, что еще 4 года назад писала книга The Decadant Society и Питер Тиль делал ей предисловие (мой конспект)

Далио говорит, что:
- Не нужно превращаться в лягушку в горшке со сметаной
- В 2020-ом он написал пост про changing world order (+ вот видео на 40 мин), но что-то все стало слишком уж быстро развиваться, мы прямо на грани
- До захвата капитолия меня не слушали, а теперь гораздо больше людей видят, какие паттерны могут вести к неразрешимым противоречиям и подрывать демократию
- Кстати, в 1930-ые было похоже у коммунистов и нацистов (спрос на сильную руку и желание выиграть любой ценой). Обратите внимание, как сейчас в Вашингтоне описывают governance и теперь представьте, куда мы идем
- Мы на 5ом шаге долгосрочных циклов (вот картинки 1 и 2 и 3 и 4), а на 6-ом шаге - обычно гражданская или международная война
- Нужно подумать о двух вещах:
(1) что мы все вместе можем сделать?
(2) что лично я буду делать для своей защиты, если это все-таки случится?

//

Архетипический цикл любой супердержавы по Далио:

I. Подъем: экономический рост, стабильность, лучше госинституты, рост производительности всех факторов, копится богатство

II. Вершина: пик могущества страны, госдолг управляем, оптимизм и вера в будущее

III. Monetary & credit excesses: взлет госдолга, избыток/печать денег, финансовые пузыри

IV. Кризис: долги и дисбалансы, активы дешевеют, банковский кризис, спад

V. Рецессия/депрессия: долгая стагнация / безработица / слабый рост

VI. Cleaning up & reform: самое главное - происходит deleverage, реформы, готовится основа для нового цикла роста

Мы (он имеет в виду Bridgewater) изучали 500 лет истории и во всех странах такое было по тем же самым причинам, макро циклы всюду одинаковы, все всегда завязано на leverage

Далио в конце 2023 говорил, что еще одни супер-поляризационные (far left vs. far right) выборы Biden vs. Trump без strong middle - это и есть та самая трагедия irreconcilable differences
Интервью Марка Цукерберга про Llama 3 Dwarkesh Patel’ю 18 апр 2024:

Llama 3
- Meta AI (бесплатный помощник) выкатываем на юзеров, под капотом llama 3, ее опенсорсим. И text LLM для playful контента, и генерация картинок в динамике по мере ввода prompt
- 3 версии: 8 млрд параметров, 70, а на 405 еще треним. Результат 85 в MMLU тесте. Данные: 15 трлн токенов. Llama-3 на 8 млрд параметров так же крута как 2ая на 70 млрд, НЕ круче. И Llama-2 мы не тренили на coding questions, но людям в разных сферах вдруг оказалось важным
- Дальше цели: многоязычность, мультимодальность, бОльшее окно контекста
- В v.3 продолжили наращивать агентские функции, наш долгосрочный курс

GPU
- Откуда знали про заказ заранее H100? Да не, мы работали над Reels - чтобы суперизощренно их рекомендовать - не 1000 роликов, а учитывать сотни млн -> т.е. нужна иная инфраструктура, чтобы догнать TikTok
- В целом наш принцип: “что-то будет на горизонте, что мы пока еще не видим”. Ну т.е. “there's always another thing” когда управляешь компанией

Опенсорс
- Мы давно опенсорсим low level engineering systems - все, что не наши end products. Есть много путей open source. Apple и Google решают что нам можно build/зарелизить, а что нет (и мы устали с ними бодаться про разные фичи), а мы - нет. Кстати, теоретически, тренинг моделей может и коммодитизироваться (!)
- FB AI Research запустили 10 лет назад, без продуктовых целей. ChatGPT и image diffusion models повлияют на все аппы и как люди их юзают. Gen AI группа у нас уже про продуктизацию - делаем meta.ai - люди могут с AI работать НЕ в фб/вотсапе
- Чатботы глупые, кто засолвит reasoning - все станет убого на этом фоне. Так мы занялись AGI
- Думаю, мы НЕ убираем людей, а добавляем им tools. Llama-10 сделает кодеров в >10x эффективнее. Из 3 млрд fb/insta/whatsapp users у нас 200 млн creators -> им нужен gen AI. Еще мы с женой давно пушим науку в Chan Zuckerberg Initiative - там тоже поможет
- Мультимодальность, над которой мир мало работает: понимание эмоций
- Для разных функций будут разные gen AI модели, e.g. для smart glasses

Энергопотребление как ограничитель, модели за $10 млрд
- Думаю стоит сделать инфру на $10-100 млрд и продолжать тренить, веря что модели продолжат учиться. Непонятно, когда исчезнет смысл вваливать $ в GPU
- Да, история учит что будут bottlenecks, но сейчас их будто быстрее решают. Но строить подводы от электростанций всюду regulated & slow. Сейчас датацентры на 50-100 МВт, на 300-500-1000 МВт нету, и их время пришло
- Таким моделям будут нужны, естественно, synthetic data
- Думаю, мы когда-то доберемся до своих чипов

Цезарь, взрыв intelligence, биооружие
- Людям всю историю казалось что они пуп Земли, что даже космос вращается вокруг них. А я думаю AI это low-level инновация, скорее как до компов и после компов, в космических масштабах 20 лет на распространение AI - да, это быстро
- Мы из опыта соцсетей отслеживаем 18 тем чтобы они в LLM не навредили людям. До биоружия далеко, LLM пока ближе к Google
- Опасность не в AGI, а что какие-то власти или люди могут сделать с просто мощным AI. Поэтому и верим в раздачу моделей через open source - для баланса
- Ляля про риски ОК, но на практике у нас больше риски: контента, misinformation. Но я верю в модерацию за счет AI, что нам удастся быть впереди, скажем, стран желающих влезть в выборы итп
- Мы будем опенсорсить модели на сотни млрд параметров, но с оглядкой на вещи, что я упоминаю выше
- Если ехать в прошлое, я бы во времена войны за независимость или Рим (но там же даже не было концепции мира, все время воевали)

Прочее
- Я не продал FB тк все равно бы строил компанию. Иррационально. A lot of the biggest bets that people make are often just based on conviction & values
- Люблю строить, а власть итп мне не интересны
- Детям проще со смелыми идеями -> важно правильно взрослеть, не терять это
- У стартапов есть супер фокус из-за ограничения ресурсов, и они в итоге достигают определенный уровень взаимодействия с миром. Google+, например, банально не имел CEO - был просто юнит Гугла и все
Про сегодняшний AI момент: паникеры раскручивают пропаганду и это выливается в рост регуляций, а по факту хайп сдувается, может уже вступаем в AI-winter..

Пропаганда
- Тиктокера (см его фото) выгоняют из OpenAI и он (на спор, что ли?) пишет дикие агитки =) Прямо Геббельс: Цель использования метода большой лжи в пропаганде заключается в том, чтобы подорвать способность людей к критическому мышлению и склонить их к принятию ложных убеждений, что в итоге укрепляет наш контроль и влияние
- А Ник Бостром за 10 лет наоборот - разворот 180 градусов от страха AGI к utopia и abundance
- Схватки между EA (effective altruism) и e/acc (effective accelerationism) нас еще удивят )) Тк EA brainwashing разгоняется..

Технологии
- LLM, как Yann LeCun говорит, уже все что можно из текстовых знаний человечества вынули, метрики не растут и разница между разными компаниями ничтожна
- Карпаты на днях запилил GPT2 (124 млн параметров) на опенсорсных 15Тб данных и LLM стала (!) уровня GPT3 - потратил $20 на compute. Данные там - в среднем строки на 2 тыс символов
- В 2019 gpt2 стоила $50к - т.е. дешевле в 2500 раз. Что тренировка сеток станет commodity - Цукерберг говорил..
- Атомные технологии стоили $25 млрд в 1945-ом, сейчас все равно миллиарды $ - то есть всего в 5x дешевле за, кгхм, 80 лет
- Следим/читаем Yann LeCun, куда там могут копать в какие-то будущие прорывы.. В целом, reinforcement learning что-то должен дать судя по AlphaGo итп
- Мечты Альтмана, что миру нужны триллионы $ в compute и АЭС (верит в emergence феномены, как завещал Sutskever?) - сложно. В мире 25 тераватт/год электричества потребляют, рост 2x за 20 лет - в мире atoms not bits - сложно..

Бизнес
- Gartner еще летом на своей кривой AI хайпа помещали genAI на пик, этим летом понизят с пика )
- Google и FB могут спать спокойно - у нейронок нет такого конкурентного барьера как network effects, это действительно больше low level engineering innovation типа компов и смартфонов, как отмечал Цукерберг. А рэнкинги Гугла постоянно обновляются на real-time потоке куда и по каким запросам люди кликают - тут сетевой эффект супер силен
- Китай вложит $60 млрд в производство чипов в Китае. Возможно, отчасти связано с тем, что на случай захвата Тайваня в оборудование ASML (свертинтенсивный ультрафиолет для рисования микросхем) заложена возможность удаленного вывода из строя
- Дальше, скорее, вопросы освоения людьми на своих рабочих местах..
- Apple вроде выкатят LLM прямо на айфоне, без загрузки в облака. Когда шортить акции Nvidia - без понятия )

Лидеры
- Альтман уже постоянно не этичен (от Sutskever и отбирания опционов у увольняющихся сотрудников OpenAI и до воровства голоса Скарлет Йохансон пару недель назад) - долг копится и я думаю он скоро огребет от реальности..
- Интересно, что будет пилить Sutskever? )

Регуляторы
- Лоббисты, похоже, соберут максимально денег с бигтехов (тот обсуждаемый сейчас в Калифорнии заход на ограничение больших моделей как ядерное оружие) за НЕ запрет в итоге ))
- Цукерберг топчик с Llama - open source в масштабах планеты делают технологию распределенной, крч это мягко говоря это не атомные технологии
- С учетом, что выше про Карпаты - ну ОК: запретят - будут тренить нелегально )

Психология
- Вместо AGI нас ждет какая-то новая виральная и раскручиваемая страшилка конца света - западу всегда нужно дыхание апокалипсиса )) Что станет следующим?
- В Китае 87% населения оптимистичны про AI, на Западе 35% - это культурные корни.. А на Востоке колесу Сансары пару тысяч лет - в корейских сериалах вместо западных концов света - всюду идея перерождения: Королева Чхорин, Легенда синего моря, История девятихвостого лиса итд итп
- Любые страхи всегда нужно нести в личную психотерапию, а иначе, не понимая почему, так и будем триггериться супер-тревожными людьми типа Jaan Tallinn (знаком с ним, он чет совсем ушел в панику) итп. Да нет, это всего лишь их личные непроработанные тревоги, но с медиа-усилением - мы получаем регуляторные перегибы ((
Sabine Hossenfelder за 10 мин интересно и с юмором =) разбирает это, как она назвала, эссе. Я писал саммари ее крутой книги Existential Physics в прошлом году

- Говорит, маркетинг Leopold Aschenbrenner понятен: он замутил VC фонд вкладываться в AI
- Говорит, уже давно предсказания, как компьютеры вскоре превзойдут людей (см. скриншоты)
- Она определяет, что люди в инфопузыре Silicon Valley по Большим Буквам и Что В Мире Есть Якобы Только США И Китай

Энергия
- 10 гигаватт кластер для AI и на 100 - это будет, но за десятки лет
- Про термоядерный синтез - говорит, у нее есть отдельное видео про такие стартапы (2 последних скриншота - это про них)

Данные
- Главное узкое место - исчерпание данных, их уже нет
а
- Расширять сбор данных роботами - нужна колоссальная перестройка всей мировой экономики и тоже займет десятки лет

Считает, AI поможет прогрессу:
1. В анализе уже всех опубликованных научных статей - что-то удастся извлечь
2. В отлавливании человеческих ошибок по всей сфере research
Интервью Lex Fridman Романа Ямпольского (CS PhD, изучает пределы intelligence) на 2 часа про AI апокалипсис:

Риски
- Superintelligence - это когда AI круче [лучших] людей во всем. Prediction markets считают, что уже в 2026-ом (вроде нет). Lex: но у людей есть tools, т.е. за уровень людей берем их самих + fully controllable tools? Роман: да, включая BCI
- X-risk/existential- что люди исчезнут от AGI. Мы все в зоопарке. Верит, что p(doom) (вероятность уничтожения цивилизации AGI) 99.9%
- I-risk/японский термин ikigai - что люди при AGI потеряют смыслы жизни, тк во всем компы будут круче. Нужны будут искусственные игры?
- С одной стороны, в мире не будет suffering, но с другой 8 млрд людей, кто ни о чем не могут договориться. Multi-agent value alignment может быть в создании вселенной для каждого?
- Проблема будет именно в meaning (а Bostrom к утопии повернул и считает наоборот, опций для смыслов станет больше)
- S-risk/suffering - что люди будут страдать от AGI. В истории были психопаты (отсутствие эмпатии), хакеры итп. Вдруг злобный AI/malevolent agent пожелает причинить людям как можно больше боли?

Тест Тьюринга
- Мне нравится, я oldschool. Но вообще для superior intelligence такой тест не придумать
- Ну и люди испокон веков врут, читят, детекторы лжи не помогают (и AI тоже может прикидываться хорошим)
- Есть оптимисты, что чем умнее AI, тем круче, и все ОК, воспитаем. Не согласен, мы оч violent, планету загрязняем итд

Yann LeCun, open source
- Ян считает, что intelligence нам не на НЛО прилетит, а мы сами дизайним системы. А я думаю, мы скорее поливаем водой растения и там происходит emergence
- Опенсорс да, раньше было круто, но мы же вступаем в эпоху агентов. Вдруг психопаты воспользуются? Мы же не опенсорсили ядерное и биологическое оружие
- Я в статье изучал AI инциденты, и они растут пропорционально мощности систем. Да, раньше это были опечатки или ходы в играх, но мощность же растет. Мелкие инциденты не тормозят рисеч. Когда авто плавно начинали, никто же не знал, что будет много смертей (в US 40 тыс/год, мир 1.3 млн/год)
- Я считаю это unpredictable (представьте мы пару лет треним, ждем, и вдруг как эмерджнется), но мы же ставим эксперимент на 8 млрд людей

Контроль над AI
- Дело не в номерах GPT 5, 6, а что невозможно бесконечно строить машинку по безопасности улучшающихся систем + случаются ошибки и инциденты
- АЭС, авиация итп - все на софте, и постоянно падают. И регулярные взломы. И AI может заняться social engineering. А еще роботы будут..
- AI обман: опасаюсь систем управления массами людей. Модели уже могут дурачить нас. Да даже в соцсетях катастрофа с проверкой фактов, но все виралится

Проверяемость создаваемых систем/verification
- Lex: Pessimist Archive собрал историю прессы что за 150 лет всегда боялись разных tech
- Роман: еще раз - то были tools, deterministic системы, а не agents со сложным поведением. И которые еще и вступают в самомодификацию. Системы будут становиться все менее explainable и understandable
- Отдача от увеличения compute позволяет в 10x нарастить compute, магия продолжится

Пауза в AI
- Растет разрыв между мерами безопасности AI и сколько ресурсов вваливают в рисеч
- Люди в AI мало думают, что будет, если у них в итоге получится
- У нас дилемма заключенного: бизнес никто не хотят проиграть, но в целом можем влететь в опасный AI. В фарме бремя доказательства на компаниях, а в AI не так. В конгрессе вообще не шарят, как работает tech

Прочее
- Мы живем в симуляции, нас тестируют убьем ли мы себя AGI, и я статью писал как ее хакнуть (при помощи AGI =)
- Aliens есть, ведь столько мира вокруг, но там никого?
- Чувства есть только у людей, софт пытать бесполезно
- Что есть сознание? Не знаю, может просто феномен emergence. Причем computationally irreducible. Но на компах создать получится

//

- Его энергию бы в мирных целях, а не
секту конца света =)

-
Тиль говорил - страхи AI это дарвинизм и макиавеллизм. А Роман непрерывно проецирует людей на AI

- Я читал его книгу AI: Unexplainable, Unpredictable, Uncontrollable. Думал написать конспект, заменяя всюду AI на зомби ))
На https://pessimistsarchive.org/ интересная подборка критики новых технологий в прессе тех времен. Страхи технологического нового действительно, видимо, какая-то часть нашей человеческой природы. Просто каждой эпохе - соответствующие страхи, и все (вспоминая тревожно виралящийся маховик AI/AGI паники)