Часть 2 Stanford AI Index Report 2024 (а часть 1 тут):
Гл 4: Экономика
Jobs
- В 2023 1.6% всех вакансий в US - про AI, в EU 1% уже лет 5. 50% из них - ML. В 2023 2/3 вакансий про Gen AI, 1/4 LLM
- В US в 1.7-2x выше ЗП чем по миру все роли (дизайн, кодеры, продакты, топы)
Бизнес
- 400 фирм из Fortune500 упоминали AI. 55% фирм в US юзают AI (в 2017 20%), по миру 45%. Юзкейсы: сustomers (support, acquisition, sales) + опыты с new products. Финтехи и tech больше всех. В опросе McKinsey: 42% фирм снизили с AI косты, 59% растят выручку
- GenAI: 30% фирм по миру тестят (в US 40%) - драфты текстов, картинки
- Каждый 2ой разраб в мире юзает GitHub Copilot (60% писать код, 50% отладка, 30% документация), но нужно все очень проверять. У кодеров скорость +50%, консалтеры +25% (качество +40%), юристы +30%. У сотрудников низкой квалификации тоже прирост
- McKinsey верят, что AI на несколько % нарастит выручку всех отраслей, а занятость в сервисных, supply chain, HR, manufacturing - снизится. ВВП мира добавит +1.5% за 10 лет
Инвестиции
- В 2023 US $67 млрд вложено в AI (8x к Китаю), и еще $30 млрд прочий мир. В 2023 1800 AI стартапов по миру (900 US, 122 Китай, 300 EU) подняли по $32M в среднем. В $ - 2ой год падение
- GenAI вложено $3 млрд в 2022, $24 в 2023. AI M&A на $80 млрд в US ($170 в 2021)
- За 10 лет в AI стартапы вложили US $330 млрд, Китай 100, EU 50, Израиль 13 - 5500 шт стартапов US, 1400 China, 1500 EU
Роботизация
- На 2022 в мире было 3.9 млн промышленных роботов (1.5 в 2014). В 2023 установили 550К (2014 200К): 1/3 автозаводы, 1/3 заводы электроники. Каждый 2ой робот - в Китае, по 10% Jp и US, по 5% Корея и Germ
- 50% роботов - манипуляторы. 10% - коллаборативные с другими роботами. Разнообразие растет
- НЕ промышленные: больше всего в логистике, в разы меньше: медицина, уборка, агро
Гл 5: Наука и медицина
- Наука: AlphaDev для алгоритмов через RL, FlexiCubes генерация 3d моделей без ошибок, Synbot софт+робот создания органических молекул, GraphCast точнее прогноз погоды, GNoME/DeepMind для материалов - 2 млн структур изучено, 48К стабильных кристаллов, 800 реализовали, Flood Forecasting на 20% точнее про потопы
- Медицина: SynthSR МРТ сканы мозга с точностью 80-99%, CPIS рано детектить нейродегенеративные заболевания по протеинам, EVEscape предсказание пандемий, AlphaMissence/DeepMind тоже, Human Pangenome Reference full genome и для малых этногрупп
- Врачи: GPT4 Medprompt 90% правильно в MedQA (3x с 2019), от академии MediTron-70B точность 70%
- Диагностика: CoDoC в маммографии достигли уровня врачей и 3x меньше времени. Китай PANDA оч рано рак поджелудочной
- FDA одобрили 139 AI медустройств (45x с 2012), из них 120 - рентген
Гл 6: Образование
- 70% CS (computer science) PhD идут работать в индустрию (2011 40%). В US бакалавров в CS 35К, магистров 15К, 2К PhD. Иностранцев 15% в BA, 50% MA, 66% PhD. 200К школьников сдавали “ЕГЭ” по CS в US
- В US всего 8К CS профессоров. 50% штатов требуют изучать CS в школах. 60% школ юзают ChatGPT, в ВУЗах 80% людей
- По миру с 2017 число универских программ по AI +3x. UK и Germany выпускают больше всего CS/AI/IT бакалавров (50К, с 2012 г рост 2x), а прочая EU еще 50к. Магистров также, а PhD 3К
Гл 7: Законы
- В US 25 AI законов (1 в 2016), в 2023 обсуждали 181 шт. 21 ведомство контролит. В EU приняли AI Act. В Китае ограничили synthesis/fakes. По миру принимали 25 законов/год на 128 стран. 80 стран по миру обсуждали AI законы
- С 2017 75 стран озвучили AI стратегии. В US гостраты на AI science $2 млрд + столько же от Минобороны
Гл 8: Diversity
- 80% работников в AI/PhD/преподов - мужчины. На конфе NeurIPS женщин 4%
- Студенты: 45% whites, 35% Asians. В CS 25% женщин студентов и 0.1% non-binary. В EU схоже
- Я чуть напрягся читать/см мой пост про вокизм
Гл 9: Социум
- 63% в US знают ChatGPT, 30% - use weekly. 60% зумеров верят AI улучшит entertainment
- 66% людей в US ждут big changes от AI за 5 лет, но Запад НЕ позитивен (декаданс там давно): 52% нервничают, а всего 37% верят, что AI улучшит их jobs
- В Китае 78% людей верят, что AI сильно улучшит мир
Гл 4: Экономика
Jobs
- В 2023 1.6% всех вакансий в US - про AI, в EU 1% уже лет 5. 50% из них - ML. В 2023 2/3 вакансий про Gen AI, 1/4 LLM
- В US в 1.7-2x выше ЗП чем по миру все роли (дизайн, кодеры, продакты, топы)
Бизнес
- 400 фирм из Fortune500 упоминали AI. 55% фирм в US юзают AI (в 2017 20%), по миру 45%. Юзкейсы: сustomers (support, acquisition, sales) + опыты с new products. Финтехи и tech больше всех. В опросе McKinsey: 42% фирм снизили с AI косты, 59% растят выручку
- GenAI: 30% фирм по миру тестят (в US 40%) - драфты текстов, картинки
- Каждый 2ой разраб в мире юзает GitHub Copilot (60% писать код, 50% отладка, 30% документация), но нужно все очень проверять. У кодеров скорость +50%, консалтеры +25% (качество +40%), юристы +30%. У сотрудников низкой квалификации тоже прирост
- McKinsey верят, что AI на несколько % нарастит выручку всех отраслей, а занятость в сервисных, supply chain, HR, manufacturing - снизится. ВВП мира добавит +1.5% за 10 лет
Инвестиции
- В 2023 US $67 млрд вложено в AI (8x к Китаю), и еще $30 млрд прочий мир. В 2023 1800 AI стартапов по миру (900 US, 122 Китай, 300 EU) подняли по $32M в среднем. В $ - 2ой год падение
- GenAI вложено $3 млрд в 2022, $24 в 2023. AI M&A на $80 млрд в US ($170 в 2021)
- За 10 лет в AI стартапы вложили US $330 млрд, Китай 100, EU 50, Израиль 13 - 5500 шт стартапов US, 1400 China, 1500 EU
Роботизация
- На 2022 в мире было 3.9 млн промышленных роботов (1.5 в 2014). В 2023 установили 550К (2014 200К): 1/3 автозаводы, 1/3 заводы электроники. Каждый 2ой робот - в Китае, по 10% Jp и US, по 5% Корея и Germ
- 50% роботов - манипуляторы. 10% - коллаборативные с другими роботами. Разнообразие растет
- НЕ промышленные: больше всего в логистике, в разы меньше: медицина, уборка, агро
Гл 5: Наука и медицина
- Наука: AlphaDev для алгоритмов через RL, FlexiCubes генерация 3d моделей без ошибок, Synbot софт+робот создания органических молекул, GraphCast точнее прогноз погоды, GNoME/DeepMind для материалов - 2 млн структур изучено, 48К стабильных кристаллов, 800 реализовали, Flood Forecasting на 20% точнее про потопы
- Медицина: SynthSR МРТ сканы мозга с точностью 80-99%, CPIS рано детектить нейродегенеративные заболевания по протеинам, EVEscape предсказание пандемий, AlphaMissence/DeepMind тоже, Human Pangenome Reference full genome и для малых этногрупп
- Врачи: GPT4 Medprompt 90% правильно в MedQA (3x с 2019), от академии MediTron-70B точность 70%
- Диагностика: CoDoC в маммографии достигли уровня врачей и 3x меньше времени. Китай PANDA оч рано рак поджелудочной
- FDA одобрили 139 AI медустройств (45x с 2012), из них 120 - рентген
Гл 6: Образование
- 70% CS (computer science) PhD идут работать в индустрию (2011 40%). В US бакалавров в CS 35К, магистров 15К, 2К PhD. Иностранцев 15% в BA, 50% MA, 66% PhD. 200К школьников сдавали “ЕГЭ” по CS в US
- В US всего 8К CS профессоров. 50% штатов требуют изучать CS в школах. 60% школ юзают ChatGPT, в ВУЗах 80% людей
- По миру с 2017 число универских программ по AI +3x. UK и Germany выпускают больше всего CS/AI/IT бакалавров (50К, с 2012 г рост 2x), а прочая EU еще 50к. Магистров также, а PhD 3К
Гл 7: Законы
- В US 25 AI законов (1 в 2016), в 2023 обсуждали 181 шт. 21 ведомство контролит. В EU приняли AI Act. В Китае ограничили synthesis/fakes. По миру принимали 25 законов/год на 128 стран. 80 стран по миру обсуждали AI законы
- С 2017 75 стран озвучили AI стратегии. В US гостраты на AI science $2 млрд + столько же от Минобороны
Гл 8: Diversity
- 80% работников в AI/PhD/преподов - мужчины. На конфе NeurIPS женщин 4%
- Студенты: 45% whites, 35% Asians. В CS 25% женщин студентов и 0.1% non-binary. В EU схоже
- Я чуть напрягся читать/см мой пост про вокизм
Гл 9: Социум
- 63% в US знают ChatGPT, 30% - use weekly. 60% зумеров верят AI улучшит entertainment
- 66% людей в US ждут big changes от AI за 5 лет, но Запад НЕ позитивен (декаданс там давно): 52% нервничают, а всего 37% верят, что AI улучшит их jobs
- В Китае 78% людей верят, что AI сильно улучшит мир
Anxious Generation - книга про взрыв психозаболеваний у зумеров из-за соцсетей/игр и, одновременно, слишком опекающих родителей в оффлайнах. От социального психолога Jonathan Haidt, март 2024, посоветовал Steve Jurvetson
1. ПРИЛИВ
- В 90ые (инет) и 2000ые (старт смартфонов) было не так, тк не было соцсетей алгоритмически генерящих зависимость от себя, столько порно, а игры не максимизировали время внутри них, а еще расцвет selfie с 2010/iPhone4
- Девушкам - соцсети, парням - онлайн игры и мобильные, Reddit, hardcore porn - невиданная гиперстимуляция
- Девушки более склонны к тревоге/депрессии/self-harm, в 2010 12% girls 10-17 лет с депрессией, в 2023 30% (парни 5%->12%). У студентов рост mental issues +2x за то же время. Self-harm вырос +2x у girls, +50% у boys. Уровень суицидов в 10-24 лет вырос +30%, но среди 10-14летних +1.5-2x
- В Канаде в те же годы у girls падение “very good mental health” 85%->55%. В UK self-harm +80..130%, в Австралии рост психо-госпитализаций +50..80%, в Скандинавии psycho distress у тинейджеров +50..80%
2. ИСЧЕЗЛО ДЕТСТВО С ИГРАМИ ВО ДВОРЕ
- Депрессия всегда идет рядом со спадом личного общения. Живое общение синхронно и 1:1, онлайн - нет. С 2010 % школьников кто ежедневно видятся с друзьями упал 50%->30%
- Социальное обучение работает через копирование других. А сейчас 20 часов/неделю girls смотрят и создают контент
- Игры помогали эволюции растить нейроны, вознаграждая детей за них, а онлайн хакнул эту фичу. В 2017 Sean Parker, кофаундер FB: “we hack a social-validation feedback loop”
- У млекопитающих игры - это время для риска, эволюция его вознаграждает дофамином, “ищи возможности”. Взрослые особи - у них защитный режим и избегание опасностей
- За десятки лет детские площадки стали слишком безопасны. Но дети, не освоившие риск в детстве, закрываются во взрослой жизни. На западе мамы стали в 2x больше часов тратить на детей и их избыточно контролировать: fearful parenting, safetyism, "со здоровыми как с инвалидами"
- Все это замедляет взрослость, ниже адаптивность, рост mental issues, дольше девственники, позже получают права
3. ВЕЛИКАЯ ПЕРЕПРОШИВКА
- Онлайн-детство дает 4 девиации:
а) Десоциализация: время с друзьями для 15-24-летних упало 120->40 мин/день
б) Плохой сон: % тинейджеров кто спит <7 часов за 10 лет стало 35->50%
в) Фрагментация внимания/ADHD
г) Аддикции по дофамину: слайды утечки Facebook Files в 2021 изучают созревание мозга до 20 лет и какие продуктовые фичи им из этого пилить
- Доля старшеклассников и студентов ощущающих себя одинокими за 10 лет рост 25->40% у girls и 18->28% у boys. 25% не видят жизненных смыслов
- Девушки больше зависят от внешности и социального одобрения -> более уязвимы, скроля инсту и тикток
- А у мужчин проблемы выхода во взрослую в жизнь: не учатся, сложно с работой, живут с родителями до 30+ лет, жизнь без риска - меньше экстрима (за 10 лет в 2x реже стали попадать в травмпункты) и не ходят на свидания
- Спад религии, медитаций, природы
4. ЧТО ДЕЛАТЬ ОБЩЕСТВУ?
- Мы не даем детям алко/табак/казино, а онлайн - да? Вот и ушли в онлайн присутствие в ущерб жизни. Взрослым ОК, но мозг детей недоформирован + в пубертат много insecurity
- Рекламная модель научила бигтехи конкурировать за внимание алгоритмами + не чекают реальный возраст юзеров. Законы по защите детей в онлайнах не поспевает - за 6 лет одобрено только в ряде штатов. Можно Apple/Goog/FB обязать к реальному age check
- Дети топов Silicon Valley учатся в школах а-ля Waldorf Peninsula, где нет телефонов, ноутов, планшетов
- Нужен полный запрет на телефоны до старших классов (а не как сейчас “на переменах можно”), никаких соцсетей до 16 лет, оффлайн социализация: открывать детские площадки до школы + оффлайн продленка после + усложнить детские площадки обратно
- Вернуть обратно учителей мужчин с их role models
- В главе 12 советы что делать родителям детей разных возрастов
//
- Автор ценностно явно woke/анти-Hanania/социалист, но копнул оч. глубоко
- А нейроатипичность это рядом или чисто гены?
- Юля говорила, что тревога частый запрос у ее клиентов, но я не ожидал такие масштабы
1. ПРИЛИВ
- В 90ые (инет) и 2000ые (старт смартфонов) было не так, тк не было соцсетей алгоритмически генерящих зависимость от себя, столько порно, а игры не максимизировали время внутри них, а еще расцвет selfie с 2010/iPhone4
- Девушкам - соцсети, парням - онлайн игры и мобильные, Reddit, hardcore porn - невиданная гиперстимуляция
- Девушки более склонны к тревоге/депрессии/self-harm, в 2010 12% girls 10-17 лет с депрессией, в 2023 30% (парни 5%->12%). У студентов рост mental issues +2x за то же время. Self-harm вырос +2x у girls, +50% у boys. Уровень суицидов в 10-24 лет вырос +30%, но среди 10-14летних +1.5-2x
- В Канаде в те же годы у girls падение “very good mental health” 85%->55%. В UK self-harm +80..130%, в Австралии рост психо-госпитализаций +50..80%, в Скандинавии psycho distress у тинейджеров +50..80%
2. ИСЧЕЗЛО ДЕТСТВО С ИГРАМИ ВО ДВОРЕ
- Депрессия всегда идет рядом со спадом личного общения. Живое общение синхронно и 1:1, онлайн - нет. С 2010 % школьников кто ежедневно видятся с друзьями упал 50%->30%
- Социальное обучение работает через копирование других. А сейчас 20 часов/неделю girls смотрят и создают контент
- Игры помогали эволюции растить нейроны, вознаграждая детей за них, а онлайн хакнул эту фичу. В 2017 Sean Parker, кофаундер FB: “we hack a social-validation feedback loop”
- У млекопитающих игры - это время для риска, эволюция его вознаграждает дофамином, “ищи возможности”. Взрослые особи - у них защитный режим и избегание опасностей
- За десятки лет детские площадки стали слишком безопасны. Но дети, не освоившие риск в детстве, закрываются во взрослой жизни. На западе мамы стали в 2x больше часов тратить на детей и их избыточно контролировать: fearful parenting, safetyism, "со здоровыми как с инвалидами"
- Все это замедляет взрослость, ниже адаптивность, рост mental issues, дольше девственники, позже получают права
3. ВЕЛИКАЯ ПЕРЕПРОШИВКА
- Онлайн-детство дает 4 девиации:
а) Десоциализация: время с друзьями для 15-24-летних упало 120->40 мин/день
б) Плохой сон: % тинейджеров кто спит <7 часов за 10 лет стало 35->50%
в) Фрагментация внимания/ADHD
г) Аддикции по дофамину: слайды утечки Facebook Files в 2021 изучают созревание мозга до 20 лет и какие продуктовые фичи им из этого пилить
- Доля старшеклассников и студентов ощущающих себя одинокими за 10 лет рост 25->40% у girls и 18->28% у boys. 25% не видят жизненных смыслов
- Девушки больше зависят от внешности и социального одобрения -> более уязвимы, скроля инсту и тикток
- А у мужчин проблемы выхода во взрослую в жизнь: не учатся, сложно с работой, живут с родителями до 30+ лет, жизнь без риска - меньше экстрима (за 10 лет в 2x реже стали попадать в травмпункты) и не ходят на свидания
- Спад религии, медитаций, природы
4. ЧТО ДЕЛАТЬ ОБЩЕСТВУ?
- Мы не даем детям алко/табак/казино, а онлайн - да? Вот и ушли в онлайн присутствие в ущерб жизни. Взрослым ОК, но мозг детей недоформирован + в пубертат много insecurity
- Рекламная модель научила бигтехи конкурировать за внимание алгоритмами + не чекают реальный возраст юзеров. Законы по защите детей в онлайнах не поспевает - за 6 лет одобрено только в ряде штатов. Можно Apple/Goog/FB обязать к реальному age check
- Дети топов Silicon Valley учатся в школах а-ля Waldorf Peninsula, где нет телефонов, ноутов, планшетов
- Нужен полный запрет на телефоны до старших классов (а не как сейчас “на переменах можно”), никаких соцсетей до 16 лет, оффлайн социализация: открывать детские площадки до школы + оффлайн продленка после + усложнить детские площадки обратно
- Вернуть обратно учителей мужчин с их role models
- В главе 12 советы что делать родителям детей разных возрастов
//
- Автор ценностно явно woke/анти-Hanania/социалист, но копнул оч. глубоко
- А нейроатипичность это рядом или чисто гены?
- Юля говорила, что тревога частый запрос у ее клиентов, но я не ожидал такие масштабы
В рамках инвестиционного тезиса progresspunks.com я вложился в 4 стартапа, ускоряющие прогресс. Если знаете про стартапы с продуктами/тулзами/enablers для ученых, инженеров, коммерциализации tech - расскажите?
Хочется больше чудес при нашей жизни, особенно в world of atoms, not bits. AI круто, но Илон Маск сказал в SpaceX им не помогает итп )
1. Vitalia.city - создание в charter cities/network states упрощенных регуляций для фармы/генной терапии, чтобы быстрее (месяцы, а не годы) и дешевле вести клинические испытания. Вдохновлено Zuzalu City Виталика Бутерина (это типа Burning Man, но про науку =). Делает Niklas Anzinger, а с другим фаундером Laurence Ion (основатель VitaDAO) они чет уже успели рассориться - ну, это жизнь
2. FirstApproval.io - что к каждой научной статье должны публиковаться исходные данные. Делает PhD в UCSF (это где когда-то червям жизнь продлили) Тимофей Глинин, научный адвайзер Open Longevity Миши Батина, модерирует дебаты типа Aubrey Du Grey vs. Федичев (фаундер Gero) итп
3. 100xbio.com - более дешевая идентификация T cells (клетки нашего приобретенного иммунитета), делает в Бостоне Сережа Пустыльников. Нужно для CAR T cell терапий (рак итп), которые нужно кастомизировать под каждого, поэтому тесты столь важны
4. (пока stealth) - knowledge management tool, типа Miro / Heptabase - как для коллективного обсуждения структурируют сложное знание
Upd:
Фаундер уточняет в комментарии: «Наш метод не просто более дешевый. Он автоматизированный и из того же объема образца (например, крови) можем получать кратно больше данных о Т-клетках, распознающих свои мишени 😀»
Хочется больше чудес при нашей жизни, особенно в world of atoms, not bits. AI круто, но Илон Маск сказал в SpaceX им не помогает итп )
1. Vitalia.city - создание в charter cities/network states упрощенных регуляций для фармы/генной терапии, чтобы быстрее (месяцы, а не годы) и дешевле вести клинические испытания. Вдохновлено Zuzalu City Виталика Бутерина (это типа Burning Man, но про науку =). Делает Niklas Anzinger, а с другим фаундером Laurence Ion (основатель VitaDAO) они чет уже успели рассориться - ну, это жизнь
2. FirstApproval.io - что к каждой научной статье должны публиковаться исходные данные. Делает PhD в UCSF (это где когда-то червям жизнь продлили) Тимофей Глинин, научный адвайзер Open Longevity Миши Батина, модерирует дебаты типа Aubrey Du Grey vs. Федичев (фаундер Gero) итп
3. 100xbio.com - более дешевая идентификация T cells (клетки нашего приобретенного иммунитета), делает в Бостоне Сережа Пустыльников. Нужно для CAR T cell терапий (рак итп), которые нужно кастомизировать под каждого, поэтому тесты столь важны
4. (пока stealth) - knowledge management tool, типа Miro / Heptabase - как для коллективного обсуждения структурируют сложное знание
Upd:
Фаундер уточняет в комментарии: «Наш метод не просто более дешевый. Он автоматизированный и из того же объема образца (например, крови) можем получать кратно больше данных о Т-клетках, распознающих свои мишени 😀»
Концептуальное интервью Palmer Luckey (продал Fb Oculus VR и с 2017 строит Anduril - OS типа Android/связующий layer для всей амерской оборонки):
Big ideas
- Мир странно устроен: не работают над дешевым ($1/галлон) synthetic бензином/biofuels. Можно улавливать CO2 из воздуха, расщеплять воду на H и O - и юзать во всей инфраструктуре что уже есть, особенно промышленности, и экологично. Компании плохи в technical decisions + дюжина правительств закомиттились на не оптимальный продуктовый путь -> в EV, батареи, инфру идут сотни млрд $
- Back to the future: в 50ые Минэнерго США верили в АЭС будущее, а сейчас и узко мыслят, и оч politically driven/дебаты между партиями. Фокус чисто на статус кво, big ideas нет, e.g. зебры и носороги в Луизиану
- Не надо раздавать займы на всеобщее высшее образование - тинейджеры же не оч шарят зачем им ancient French theater degree итп - пусть такое сами платят. И нам надо в 100x больше Thiel Fellowships (но не как SBF ))
Изобретать из принципов
- См. видео Bret Victor в 2012
- У нас собрались люди, кто считает, что а) по миру у конкурентов мало вижна и б) бигтехи не решают вопросы национального значения, а тем более democracy в целом
- Если шарите в сфере - быстрый итерационный процесс ОК. Если нет - идите назад и см. как все люди решали эту проблему, а не только recent times - спустя время давно отвергнутое вдруг может уже иметь решения
- Верьте экспертам про проблемы, но не про способы решения
Мне важен impact
- Для VR end-game - это массовость, а я увлекся как хобби когда VR пилили только военные и лабы. Меня правда выгнали и стали более commercially focused. Так что Anduril строю как potentially giant company - так смогу повлиять на мир
- Создать бизнес vs. impact - это разное. Я бы хотел и дальше VR, но impact.. Выбирал засолвить obesity, реформа частных тюрем (трабла в рецидивистах), и Anduril
- Out of the box thinkers редкие люди, и еще они избегают скучные корпорации, big госведомства и их медлительность. Я интерфейс между ними. Хакеры (по YC) же лучше сделают open source, чем будут неблагодарно убеждать обычных людей в обычных институциях/школах/госполитике. Успех Anduril: 50% выстроить отношения, 50% - tech
Конкуренция
- Стартапам надо не смотреть “как Oracle выглядит сейчас”, а на несколько шагов вперед, как у них будет через пару лет. И при этом продуктово выглядеть похоже на них, но внутри быть from 0to1, чтобы распространяться мимикрируя как микроб, но когда те заметят - уже не смогли из своего legacy вас скопировать
- Нет FDA №2, Пентагон №2, так как в NASA до SpaceX - все делали по cost plus pricing -> супер вредные стимулы для частных подрядчиков, nothing reusable итп + бюрократы избегают стартапы в пользу Boeing
Anduril
- Наша миссия на слайде 1: делать выручку в $1 млрд, сберегая налогоплательщикам $10 млрд - убираем все эти ненужные legacy. Сейчас продажи сотни млн
- Мы ищем что плохо решается, а с хорошими фирмами зачем конкурировать? Customer pains должны быть в приоритетах и Пентагона (будут вообще заниматься этим), и Конгресса (дадут $ на это)
- Мы AI company с 1го дня, но тогда все в 100x меньше шли в AI, а сегодня это уже не differentiator
Китай
- Они застраивают Африку мостами, портами, а также продают свои системы и оружие, но реально они для борьбы с оппозициями (камеры SenseTime, вышки сотовой связи) - перестанешь слушать Китай - отключат и твоя власть зашатается
- US надо 1 млрд чел. вдолгую конкурировать с China, а иначе средний американец должен быть в 10x более impactful чем китаец?
- Тайвань важен миру из-за чипов, так бы США не бодались на пороге конфликта с ядерной державой
Прочее
- Критика продаж Apple Vision Pro - глупо, это же Pro, не массмаркет. Но через неск. лет экраны подешевеют до $100, а пока адопшн enterprise + разрабами
- Совет 1000 студентам? Что за мечты стать Джобсом, он уникум. Больше слушать что люди о вас думают, и честно понимая свои слабости, можно сделать команду где все покрывают силы и слабости друг друга
- Благодарен Тилю что в 19 лет дал $ на Oculus и жене что 15 лет ждала предложения (знакомы с 15 лет)
Big ideas
- Мир странно устроен: не работают над дешевым ($1/галлон) synthetic бензином/biofuels. Можно улавливать CO2 из воздуха, расщеплять воду на H и O - и юзать во всей инфраструктуре что уже есть, особенно промышленности, и экологично. Компании плохи в technical decisions + дюжина правительств закомиттились на не оптимальный продуктовый путь -> в EV, батареи, инфру идут сотни млрд $
- Back to the future: в 50ые Минэнерго США верили в АЭС будущее, а сейчас и узко мыслят, и оч politically driven/дебаты между партиями. Фокус чисто на статус кво, big ideas нет, e.g. зебры и носороги в Луизиану
- Не надо раздавать займы на всеобщее высшее образование - тинейджеры же не оч шарят зачем им ancient French theater degree итп - пусть такое сами платят. И нам надо в 100x больше Thiel Fellowships (но не как SBF ))
Изобретать из принципов
- См. видео Bret Victor в 2012
- У нас собрались люди, кто считает, что а) по миру у конкурентов мало вижна и б) бигтехи не решают вопросы национального значения, а тем более democracy в целом
- Если шарите в сфере - быстрый итерационный процесс ОК. Если нет - идите назад и см. как все люди решали эту проблему, а не только recent times - спустя время давно отвергнутое вдруг может уже иметь решения
- Верьте экспертам про проблемы, но не про способы решения
Мне важен impact
- Для VR end-game - это массовость, а я увлекся как хобби когда VR пилили только военные и лабы. Меня правда выгнали и стали более commercially focused. Так что Anduril строю как potentially giant company - так смогу повлиять на мир
- Создать бизнес vs. impact - это разное. Я бы хотел и дальше VR, но impact.. Выбирал засолвить obesity, реформа частных тюрем (трабла в рецидивистах), и Anduril
- Out of the box thinkers редкие люди, и еще они избегают скучные корпорации, big госведомства и их медлительность. Я интерфейс между ними. Хакеры (по YC) же лучше сделают open source, чем будут неблагодарно убеждать обычных людей в обычных институциях/школах/госполитике. Успех Anduril: 50% выстроить отношения, 50% - tech
Конкуренция
- Стартапам надо не смотреть “как Oracle выглядит сейчас”, а на несколько шагов вперед, как у них будет через пару лет. И при этом продуктово выглядеть похоже на них, но внутри быть from 0to1, чтобы распространяться мимикрируя как микроб, но когда те заметят - уже не смогли из своего legacy вас скопировать
- Нет FDA №2, Пентагон №2, так как в NASA до SpaceX - все делали по cost plus pricing -> супер вредные стимулы для частных подрядчиков, nothing reusable итп + бюрократы избегают стартапы в пользу Boeing
Anduril
- Наша миссия на слайде 1: делать выручку в $1 млрд, сберегая налогоплательщикам $10 млрд - убираем все эти ненужные legacy. Сейчас продажи сотни млн
- Мы ищем что плохо решается, а с хорошими фирмами зачем конкурировать? Customer pains должны быть в приоритетах и Пентагона (будут вообще заниматься этим), и Конгресса (дадут $ на это)
- Мы AI company с 1го дня, но тогда все в 100x меньше шли в AI, а сегодня это уже не differentiator
Китай
- Они застраивают Африку мостами, портами, а также продают свои системы и оружие, но реально они для борьбы с оппозициями (камеры SenseTime, вышки сотовой связи) - перестанешь слушать Китай - отключат и твоя власть зашатается
- US надо 1 млрд чел. вдолгую конкурировать с China, а иначе средний американец должен быть в 10x более impactful чем китаец?
- Тайвань важен миру из-за чипов, так бы США не бодались на пороге конфликта с ядерной державой
Прочее
- Критика продаж Apple Vision Pro - глупо, это же Pro, не массмаркет. Но через неск. лет экраны подешевеют до $100, а пока адопшн enterprise + разрабами
- Совет 1000 студентам? Что за мечты стать Джобсом, он уникум. Больше слушать что люди о вас думают, и честно понимая свои слабости, можно сделать команду где все покрывают силы и слабости друг друга
- Благодарен Тилю что в 19 лет дал $ на Oculus и жене что 15 лет ждала предложения (знакомы с 15 лет)
Aravind Srinivas, фаундер Perplexity.ai, с 2022 подняли $170M, экс-рисечер Deepmind и OpenAI, интервью Lex Fridman на (!) 3 часа:
Perplexity
- Вижн: поменять получение ответов людьми - юзать LLM, но и каждый ответ подтверждать ссылками, снижая глюки. На PhD в Berkeley учили в статьях все писать, цитируя источники, а не "просто мнения"
- История появления: хотели запилить крутой продукт из LLM, нас вдохновил Github Copilot - пишет код для тех кто не умеет. Задумались: а поиск чего можно дисраптнуть?
- Опыта не было, все с 0, начали со Slack+GPT3.5. Играемся с UX - не быть как Гугл - мы не поиск, а движок knowledge discovery, как начало бесконечности Дойча. И мы за научные обоснования truths
- Сперва пилили на SQL, потом RAG. Тестили в Twitter, но Elon сказал вырубит нам API - так пошли в поиск всего
- Взяли Llama3 и докрутили в свою модель Sonar, но в будущем будем model agnostic
Гугл
- Нет стимулов сразу дать ответ, e.g. про страховку - им же платят страховые. Но для поиска сайтов, realtime инфы, кастомизации под вашу гео, и все это за 0.5 сек - ОК
- Живой аукцион за слова AdWords - топ бизнес модель за 50 лет (авторы Overture для Yahoo). Еще они круто чистят shit среди рекламодателей. AdSense оч data-driven. Гугл красив по интеграции ads в UX
- Поиск им важен, но не критичен: выручка Cloud+Youtube = $100 млрд -> триллион капитализации
- Их можно хакнуть только чем-то иным. Amazon вынес их тк в Google Ads была супер-маржа, а ecomm и clouds тогда - с минусовой маржой - это дырка для взлома прибыльных public firms
Советы фаундерам
- Вся common wisdom верная, трудно что-то добавить. Если нет неустанной решимости - тяжело построить компанию. И тут реально важна страсть, а не просто угадывать что важно рынку или VC. What you love, а иначе обгонят кто с genuine passion. У Larry Page был бэкграунд в human-computer interaction итп
- Великое требует страданий и самоотверженности. И больше общения с людьми кто делают нас лучше, а не не понимают о чем мы
Page/Brin: их гений был в отказе от анализа текста (как весь поиск тогда), а просто ранжировать ссылки, взяли из academic citation graphs. Схантили всех PhD после краха доткомов. Всегда были помешаны уменьшать время выдачи. Еще у Ларри философия "user is never wrong" - удобно даже моей маме
Bezos: мне нра его желание ясно мыслить и one-way/two-way door. Его customer obsession даже вне инета
Musk: в его био от Isaacson понравилось что нет дистрибуции Тесл - ты напрямую с юзерами. И его first principles thinking - да он запилил автопилот просто чтобы понять его работу
Huang/Nvidia: Что у него 60 прямых подчиненных видеть всю фирму целиком + его паранойя: в хардвере планы на пару лет, нельзя ошибаться
Zuckerberg: его move fast & break things + их позиция про open-source/Llama
Yann LeCun: вырастил плеяду учеников кто кофаундеры Deepmind, OpenAI итп. Ну и его вера в RL - это было controversial. И он может и прав про ложный страх AGI, тк инженеры doers часто слепы про общий impact of tech
AI
- Прорывы? С 2017г их нет, все делается также: CNN, transformers - пока просто масштабируют data & compute. А вот кто сможеть разделить reasoning и факты - это будет прорыв: тогда не нужны датацентры на миллион GPU/1 ГВт
- Вопрос на $1 трлн: AGI для меня это новое знание, типа крутого PhD, Коперника, Галлилея, происхождения Covid, редизайна Starship
- Могут ли модели начать “думать” общаясь друг с другом? Хз. Люди special тк у них есть love, красота жизни, и любопытство, just deeply curious как вид
Будущее поиска
- Инфа в инете упорядочивается по-разному, каталоги до гугла были, все может эволюционировать
- В соцсетях drama или news, а мы видим инфо скорее как truths или как AI Wikipedia
- Даем юзерам автоматом делать Perplexity Pages по итогам их находок
Мир с AI
- Верю, что AI уменьшит biases людей
- Люди могут желать общаться с AI - тогда глюки это уже фича, а не баг
- Работа будет меньше похожа на работу, а скорее наполненную жизнь (что в топе пирамиды Маслоу), хоть и будем там больше с ботами общаться. Зато освобождая время общению в жизни - одиночество это бич нашего времени
Perplexity
- Вижн: поменять получение ответов людьми - юзать LLM, но и каждый ответ подтверждать ссылками, снижая глюки. На PhD в Berkeley учили в статьях все писать, цитируя источники, а не "просто мнения"
- История появления: хотели запилить крутой продукт из LLM, нас вдохновил Github Copilot - пишет код для тех кто не умеет. Задумались: а поиск чего можно дисраптнуть?
- Опыта не было, все с 0, начали со Slack+GPT3.5. Играемся с UX - не быть как Гугл - мы не поиск, а движок knowledge discovery, как начало бесконечности Дойча. И мы за научные обоснования truths
- Сперва пилили на SQL, потом RAG. Тестили в Twitter, но Elon сказал вырубит нам API - так пошли в поиск всего
- Взяли Llama3 и докрутили в свою модель Sonar, но в будущем будем model agnostic
Гугл
- Нет стимулов сразу дать ответ, e.g. про страховку - им же платят страховые. Но для поиска сайтов, realtime инфы, кастомизации под вашу гео, и все это за 0.5 сек - ОК
- Живой аукцион за слова AdWords - топ бизнес модель за 50 лет (авторы Overture для Yahoo). Еще они круто чистят shit среди рекламодателей. AdSense оч data-driven. Гугл красив по интеграции ads в UX
- Поиск им важен, но не критичен: выручка Cloud+Youtube = $100 млрд -> триллион капитализации
- Их можно хакнуть только чем-то иным. Amazon вынес их тк в Google Ads была супер-маржа, а ecomm и clouds тогда - с минусовой маржой - это дырка для взлома прибыльных public firms
Советы фаундерам
- Вся common wisdom верная, трудно что-то добавить. Если нет неустанной решимости - тяжело построить компанию. И тут реально важна страсть, а не просто угадывать что важно рынку или VC. What you love, а иначе обгонят кто с genuine passion. У Larry Page был бэкграунд в human-computer interaction итп
- Великое требует страданий и самоотверженности. И больше общения с людьми кто делают нас лучше, а не не понимают о чем мы
Page/Brin: их гений был в отказе от анализа текста (как весь поиск тогда), а просто ранжировать ссылки, взяли из academic citation graphs. Схантили всех PhD после краха доткомов. Всегда были помешаны уменьшать время выдачи. Еще у Ларри философия "user is never wrong" - удобно даже моей маме
Bezos: мне нра его желание ясно мыслить и one-way/two-way door. Его customer obsession даже вне инета
Musk: в его био от Isaacson понравилось что нет дистрибуции Тесл - ты напрямую с юзерами. И его first principles thinking - да он запилил автопилот просто чтобы понять его работу
Huang/Nvidia: Что у него 60 прямых подчиненных видеть всю фирму целиком + его паранойя: в хардвере планы на пару лет, нельзя ошибаться
Zuckerberg: его move fast & break things + их позиция про open-source/Llama
Yann LeCun: вырастил плеяду учеников кто кофаундеры Deepmind, OpenAI итп. Ну и его вера в RL - это было controversial. И он может и прав про ложный страх AGI, тк инженеры doers часто слепы про общий impact of tech
AI
- Прорывы? С 2017г их нет, все делается также: CNN, transformers - пока просто масштабируют data & compute. А вот кто сможеть разделить reasoning и факты - это будет прорыв: тогда не нужны датацентры на миллион GPU/1 ГВт
- Вопрос на $1 трлн: AGI для меня это новое знание, типа крутого PhD, Коперника, Галлилея, происхождения Covid, редизайна Starship
- Могут ли модели начать “думать” общаясь друг с другом? Хз. Люди special тк у них есть love, красота жизни, и любопытство, just deeply curious как вид
Будущее поиска
- Инфа в инете упорядочивается по-разному, каталоги до гугла были, все может эволюционировать
- В соцсетях drama или news, а мы видим инфо скорее как truths или как AI Wikipedia
- Даем юзерам автоматом делать Perplexity Pages по итогам их находок
Мир с AI
- Верю, что AI уменьшит biases людей
- Люди могут желать общаться с AI - тогда глюки это уже фича, а не баг
- Работа будет меньше похожа на работу, а скорее наполненную жизнь (что в топе пирамиды Маслоу), хоть и будем там больше с ботами общаться. Зато освобождая время общению в жизни - одиночество это бич нашего времени
Видимо, мы становимся свидетелями эпохального освоения космического фронтира, по будущему эффекту на цивилизацию масштабнее, чем открытие когда-то новых континентов
И можно на этот тектонический сдвиг заэкспонироваться с чеком от $1 тыс на один стартап через ангельское коммьюнити на AngelList Beyond Earth, сфокусированное на spacetech:
- Топовые сделки с ведущими VC
- Глубокий due diligence (всестороннее изучение проектов, в deep tech это принципиально), многогранная увлеченная команда
- AngelList когда-то сделал Naval Ravikant как раз для вот такого совместного инвестирования, я когда-то постил его интересное интервью
Одна из основателей - Саша Видюк, она изначально физтех, но отвлекавшаяся на финансы, а потом все равно вернулась в жизнь из большего контакта со своей purpose/данностью. Я делал с Сашей весной вот это крутое интервью, что будет по 10 запусков Starship’ов в день (!) 20 лет подряд
а
Когда-то Саша проходила нашу с Юлей группу Soulmates Superheroes, где, собственно, и стала больше резонировать с реальностью и вот - разогналась на первую космическую скорость =)
Еще space контекста:
- Саша выпускает вдумчивую еженедельную рассылку на Substack на 11 тыс чел, где можно с разных сторон наблюдать как расцветает космическая индустрия. За счет этой рассылки они и запартнерились с самыми умными VC и фаундерами в space tech
- В запусках доминирует (и будет =) SpaceX, которая сегодня стоит $200 млрд (я так понимаю, наша Вселенная фундаментально как-то вознаграждает longtermism?). И оттуда куча народу валит строить уже свои собственные стартапы по космосу
- За 60 лет освоения космоса там побывали 700 космонавтов (1 чел/мес если усреднить за 60 лет), но теперь радикальное обрушение стоимости вывода килограмма груза на орбиту одним не семейным психом =) меняет все
- Редкое интервью с Jeff Bezos про его космические устремления - он тоже с детства об этом думал, "отвлекался на Amazon", но уже много лет вкладывает по $1 миллиарду в год в свою Blue Origin. Он пока фокусируется на Луне
- Про оч макро и first principles взгляд на сегодняшнее освоение космоса я постил на день космонавтики крутой отчет от Chamath Palihapatiya
И можно на этот тектонический сдвиг заэкспонироваться с чеком от $1 тыс на один стартап через ангельское коммьюнити на AngelList Beyond Earth, сфокусированное на spacetech:
- Топовые сделки с ведущими VC
- Глубокий due diligence (всестороннее изучение проектов, в deep tech это принципиально), многогранная увлеченная команда
- AngelList когда-то сделал Naval Ravikant как раз для вот такого совместного инвестирования, я когда-то постил его интересное интервью
Одна из основателей - Саша Видюк, она изначально физтех, но отвлекавшаяся на финансы, а потом все равно вернулась в жизнь из большего контакта со своей purpose/данностью. Я делал с Сашей весной вот это крутое интервью, что будет по 10 запусков Starship’ов в день (!) 20 лет подряд
а
Когда-то Саша проходила нашу с Юлей группу Soulmates Superheroes, где, собственно, и стала больше резонировать с реальностью и вот - разогналась на первую космическую скорость =)
Еще space контекста:
- Саша выпускает вдумчивую еженедельную рассылку на Substack на 11 тыс чел, где можно с разных сторон наблюдать как расцветает космическая индустрия. За счет этой рассылки они и запартнерились с самыми умными VC и фаундерами в space tech
- В запусках доминирует (и будет =) SpaceX, которая сегодня стоит $200 млрд (я так понимаю, наша Вселенная фундаментально как-то вознаграждает longtermism?). И оттуда куча народу валит строить уже свои собственные стартапы по космосу
- За 60 лет освоения космоса там побывали 700 космонавтов (1 чел/мес если усреднить за 60 лет), но теперь радикальное обрушение стоимости вывода килограмма груза на орбиту одним не семейным психом =) меняет все
- Редкое интервью с Jeff Bezos про его космические устремления - он тоже с детства об этом думал, "отвлекался на Amazon", но уже много лет вкладывает по $1 миллиарду в год в свою Blue Origin. Он пока фокусируется на Луне
- Про оч макро и first principles взгляд на сегодняшнее освоение космоса я постил на день космонавтики крутой отчет от Chamath Palihapatiya
Интервью фаундера Adept - AI агенты для knowledge workers, подняли $400 млн с 2022, были вынуждены продаться Amazon:
- Раньше он был VP of engineering GPT и Dall-e
- Главный миф про AGI - что через 10 лет заберет у нас работу. Да нет, просто будет скачок как от MS-DOS к графическим интерфейсам
Co-pilots
- Это и просто путь захвата рынка новыми игроками, но и наш ангел Scott Belsky (фаундер Behance) говорит: будет collapse of talent - один чел будет играть роль сразу PM/designer/engineer, руля пачкой co-pilots, мы станем более generalists
- У enterprises большие бюджеты на опыты с AI и мы переоцениваем их real adoption щас, но через 10 лет в продакшне будет больше, чем думаем
- AI services компании (помогают внедрять AI в enterprises) будут больше по выручке, чем model providers. Но продуктовые - еще больше
Adept
- Мы не пилим LLM, а в узкой нише агентов кому можно поручить произвольную работу. И тут верим в вертикальную интеграцию начиная от интерфейса end users
- Разница: RPA/Uipath делают много идентичных задач, их внедряют по полгода (меняя процессы) всякие Accenture (главный канал продаж). Агенты же постоянно меняют план как решать задачу. Enterprises юзают RPA и агенты параллельно
- Через 5-10 лет сможем ставить агентам высокоуровневые цели
- Мы как self-driving, когда его еще не было - потенциал даже сложно вообразить
Foundational models, чипы
- LLM сами по себе не продукт. Станут base layer для всего, как в софте EC2 nodes и storage. Nvidia подъедает, идя по value chain, поэтому все cloud providers и LLM игроки пилят свои чипы
- Думаю, будет вертикальная интеграция LLM и чипов. А иначе Google нет смысла продавать TPU, если фора по цене 20% - проще самим тренить и брать выручку с end users
- Альянс Apple и OpenAI двоякий: говорит, что коммодитизация LLM будет, но и еще что Gpt4o с мультимодальностью и OpenAI пока научно далеко впереди. А Apple будет мелкими моделями что-то солвить локально на приватных data юзеров
- У топ LLM сжимается окно набрать нужный объем выручки от end users чтобы остаться независимыми
3 эпохи DL в AI
1. До 2012 в AI и ML пробовали всякое и не работало
2. Google Brain 2012-2018, чистый R&D: собрали всех топ ученых и каждый искал из своего любопытства -> создали transformers, diffusion, оптимизацию - все, что сейчас воспринимают как должное
3. А с 2018 new age - Deepmind поняли, что надо прикладывать ML к разным real world or science problems
Лернинги OpenAI
- Я работал с Ильей, он говорил: давай трансформеры - они же всюду применимы
- OpenAI направлял бездну людей на одну проблему (типа “как управлять рукой робота”), этот подход уже не как в просто academia (там главная цель - статьи). Не пачка мелких ракет, а лунная программа
- 6 лет от transformers к chatGPT - это чтобы end users ну прям оценили. И за год до B2C релиза ChatGPT выкатили API разрабам играться
Ограничения моделей
- Не верю в иссякание performance моделей, просто это логарифмическая кривая: GPT5 заюзает в 100x больше вычислений, чем GPT4. Но закон Мура позволяет
- Но LLM НЕ superhuman, НЕ рождают новые подходы к нерешенным задачам
- Про данные как было? E.g. Учим решать maths - грузим кучу правильных решений, ОК. Но можно встроить модель в блокноты людей, кто только пробует решить, и это бездна data to absorb. Их больше в разговорах и на whiteboards, чем в datasets. Ну и конечно "бесконечный RL пока не решишь" типа AlphaGo
Reasoning
- Reasoning: для меня это способность порождать новые мысли. В отрасли есть идеи как решать, на roadmaps всех LLM игроков, но нужен рисеч
- Кодеры строят что-то конкретное, но в AI ты мало что меняешь, а просто растишь масштаб и наблюдаешь new intelligence. Хотя щас сложнее быть уверенным "натреним модель на $2 млрд, 100% что-то улучшим" =)
- Окно контекста в ML сложно, хотя у Gemini 1 млн токенов, но надо real memory оf long term предпочтений юзеров
Прочее
- Open source оч важен, пусть и с неким лагом из-за роста костов, но так вся отрасль будет поспевать за лидерами
- Регуляторы, к сожалению, ваще не понимают tech
- А паника по AI - это уже совсем глупости
- Раньше он был VP of engineering GPT и Dall-e
- Главный миф про AGI - что через 10 лет заберет у нас работу. Да нет, просто будет скачок как от MS-DOS к графическим интерфейсам
Co-pilots
- Это и просто путь захвата рынка новыми игроками, но и наш ангел Scott Belsky (фаундер Behance) говорит: будет collapse of talent - один чел будет играть роль сразу PM/designer/engineer, руля пачкой co-pilots, мы станем более generalists
- У enterprises большие бюджеты на опыты с AI и мы переоцениваем их real adoption щас, но через 10 лет в продакшне будет больше, чем думаем
- AI services компании (помогают внедрять AI в enterprises) будут больше по выручке, чем model providers. Но продуктовые - еще больше
Adept
- Мы не пилим LLM, а в узкой нише агентов кому можно поручить произвольную работу. И тут верим в вертикальную интеграцию начиная от интерфейса end users
- Разница: RPA/Uipath делают много идентичных задач, их внедряют по полгода (меняя процессы) всякие Accenture (главный канал продаж). Агенты же постоянно меняют план как решать задачу. Enterprises юзают RPA и агенты параллельно
- Через 5-10 лет сможем ставить агентам высокоуровневые цели
- Мы как self-driving, когда его еще не было - потенциал даже сложно вообразить
Foundational models, чипы
- LLM сами по себе не продукт. Станут base layer для всего, как в софте EC2 nodes и storage. Nvidia подъедает, идя по value chain, поэтому все cloud providers и LLM игроки пилят свои чипы
- Думаю, будет вертикальная интеграция LLM и чипов. А иначе Google нет смысла продавать TPU, если фора по цене 20% - проще самим тренить и брать выручку с end users
- Альянс Apple и OpenAI двоякий: говорит, что коммодитизация LLM будет, но и еще что Gpt4o с мультимодальностью и OpenAI пока научно далеко впереди. А Apple будет мелкими моделями что-то солвить локально на приватных data юзеров
- У топ LLM сжимается окно набрать нужный объем выручки от end users чтобы остаться независимыми
3 эпохи DL в AI
1. До 2012 в AI и ML пробовали всякое и не работало
2. Google Brain 2012-2018, чистый R&D: собрали всех топ ученых и каждый искал из своего любопытства -> создали transformers, diffusion, оптимизацию - все, что сейчас воспринимают как должное
3. А с 2018 new age - Deepmind поняли, что надо прикладывать ML к разным real world or science problems
Лернинги OpenAI
- Я работал с Ильей, он говорил: давай трансформеры - они же всюду применимы
- OpenAI направлял бездну людей на одну проблему (типа “как управлять рукой робота”), этот подход уже не как в просто academia (там главная цель - статьи). Не пачка мелких ракет, а лунная программа
- 6 лет от transformers к chatGPT - это чтобы end users ну прям оценили. И за год до B2C релиза ChatGPT выкатили API разрабам играться
Ограничения моделей
- Не верю в иссякание performance моделей, просто это логарифмическая кривая: GPT5 заюзает в 100x больше вычислений, чем GPT4. Но закон Мура позволяет
- Но LLM НЕ superhuman, НЕ рождают новые подходы к нерешенным задачам
- Про данные как было? E.g. Учим решать maths - грузим кучу правильных решений, ОК. Но можно встроить модель в блокноты людей, кто только пробует решить, и это бездна data to absorb. Их больше в разговорах и на whiteboards, чем в datasets. Ну и конечно "бесконечный RL пока не решишь" типа AlphaGo
Reasoning
- Reasoning: для меня это способность порождать новые мысли. В отрасли есть идеи как решать, на roadmaps всех LLM игроков, но нужен рисеч
- Кодеры строят что-то конкретное, но в AI ты мало что меняешь, а просто растишь масштаб и наблюдаешь new intelligence. Хотя щас сложнее быть уверенным "натреним модель на $2 млрд, 100% что-то улучшим" =)
- Окно контекста в ML сложно, хотя у Gemini 1 млн токенов, но надо real memory оf long term предпочтений юзеров
Прочее
- Open source оч важен, пусть и с неким лагом из-за роста костов, но так вся отрасль будет поспевать за лидерами
- Регуляторы, к сожалению, ваще не понимают tech
- А паника по AI - это уже совсем глупости
Вышли результаты UBI эксперимента по раздаче $40 млн за 3 года 3 тыс семей в США, замутил Sam Altman, вело НКО OpenResearch - бывшее YCombinator Research с 2015 г. UBI = universal basic income, безусловный базовый доход
Дизайн эксперимента
- Возраст 21-40 лет
- 1000 людей давали по $1К/мес, а 2000 чел т.н. контрольная группа по $50 - это чтобы они хотели заполнять регулярные опросники
- Доходы отобранной выборки ниже медианы в US, но и немного higher income людей тоже
- В Иллинойсе и в Техасе. И города, и пригороды
- Был оч высокий participation rate - 96% участников заполняли вопросники ученых
- Продолжат вести опросы и в 2025-2026ом, будут отчеты про well-being, crime, детей
Занятость и доходы
- Доходы на семью сейчас (в плане, что проект начинали в год пандемии и они были ниже): $58к/год у тех кому давали +$12к/год, и $52к/год в контрольной группе
- 72% получавших $ - работали, а в контрольной группе - 74%
- Те, кто работали - они на 1.3 часа в неделю меньше. А те, кто младше 30 лет - на 1.8 часа. А родители одиночки на 3 часа меньше (а у кого дети с особенностями - стали работать сильно меньше)
- Люди стали избирательнее в выборе работы, в тч за счет более долгих поисков, отказываясь от crap jobs
- Самые низкооплачиваемые работники просто стали делать перерывы, чтобы не работать постоянно 50-70 часов в неделю
Здоровье и медицина
- Люди с UBI на 26% чаще ложились в больницу сами/их дети, и на 10% чаще вызывали скорую или ходили к зубному, и тратили на несколько сот $ в год больше на врачей
- 50% стали меньше экономить на всем прочем чтобы оплатить врачей
- 20% людей меньше выпивали с последствиями. И на 53% (!) меньше юзали обезбаливающие без рецепта (наркотики), и причем мужчины - аж на 80% меньше
- Мужчины стали на 45% реже оказываться в опасных ситуациях (водить пьяным, ходить в опасные районы/конфликты, опасный спорт итп)
- Раздача $ не повлияла на оценку своего здоровья, спорт, сон
Траты
- Из регулярного - люди наращивали расходы на еду (+$67/мес), аренду жилья (+$52/мес), транспорт (+$50)
- Но самой выросшей статьей стала финподдержка ими всяческих родных (с $58/мес до $84/мес) и не одалживать, а просто давать им $
- В основном люди тратили $ на решение срочных проблем: похороны, памперсы, оплата школ, ремонт авто, долги по коммуналке, продлить лицензию, штрафы, купить комп для удаленной учебы итп
Предпринимательство
- 63% думали про идеи бизнесов по сравнению с 57% в контрольной группе (а для underrepresented groups разница еще выше) - и оффлайн (йога, еда, ремонт крыш итп) и онлайн (фриланс, прогать)
- Плюс 5% женщин задумались о своем бизнесе
- На 3% больше людей докупали себе какое-то оборудование/материалы для своих бизнесов (из тех, кто уже ведет или самозанятые)
- Реально, кто не делал бизнес, начать его - такого было мало, все же люди больше закрывали базовые финансовые потребности своих семей
- В целом, конечно, эта небольшая доплата на $1К/мес не меняла у людей ментальность на предпринимательскую
Переезды
- Люди стали на 15% чаще переезжать в другое жилье или другой neighbourhood
- 68% переездов лидировали женщины
- На 13% чаще ехали в другие города, +8% сменили штат
- Люди стали чаще отселяться от своих родных или из toxic/abusive environments и начинать платить за свое жилье, были оч рады не стесняться и не зависеть от других
Agency
- Агентность = способность планировать и реализовывать цели с учетом своих ценностей и желаний
- Плюс 5% людей стали планировать свой бюджет и +12% планировать крупные покупки, что не имело для них смысла ранее когда они выживали от зарплаты до зарплаты
- Люди стали больше думать о будущем и о долгосрочных планах
- На 6% больше стали думать об образовании и тренингах
//
Т.е. в стране с 25% мирового ВВП (при доле в населении мира всего 5%), но супер недоступной медициной, небогатые люди (хотя и богатые по меркам развивающихся, и уж тем более неразвитых стран) чувствуют психологически настолько много напряжения, что лишняя $1К в мес снижает потребление ими опиатов в 2 раза, и снижает их суицидальное поведение в целом (!)
//
Сэм Альтман переизобрел социализм 😇
Дизайн эксперимента
- Возраст 21-40 лет
- 1000 людей давали по $1К/мес, а 2000 чел т.н. контрольная группа по $50 - это чтобы они хотели заполнять регулярные опросники
- Доходы отобранной выборки ниже медианы в US, но и немного higher income людей тоже
- В Иллинойсе и в Техасе. И города, и пригороды
- Был оч высокий participation rate - 96% участников заполняли вопросники ученых
- Продолжат вести опросы и в 2025-2026ом, будут отчеты про well-being, crime, детей
Занятость и доходы
- Доходы на семью сейчас (в плане, что проект начинали в год пандемии и они были ниже): $58к/год у тех кому давали +$12к/год, и $52к/год в контрольной группе
- 72% получавших $ - работали, а в контрольной группе - 74%
- Те, кто работали - они на 1.3 часа в неделю меньше. А те, кто младше 30 лет - на 1.8 часа. А родители одиночки на 3 часа меньше (а у кого дети с особенностями - стали работать сильно меньше)
- Люди стали избирательнее в выборе работы, в тч за счет более долгих поисков, отказываясь от crap jobs
- Самые низкооплачиваемые работники просто стали делать перерывы, чтобы не работать постоянно 50-70 часов в неделю
Здоровье и медицина
- Люди с UBI на 26% чаще ложились в больницу сами/их дети, и на 10% чаще вызывали скорую или ходили к зубному, и тратили на несколько сот $ в год больше на врачей
- 50% стали меньше экономить на всем прочем чтобы оплатить врачей
- 20% людей меньше выпивали с последствиями. И на 53% (!) меньше юзали обезбаливающие без рецепта (наркотики), и причем мужчины - аж на 80% меньше
- Мужчины стали на 45% реже оказываться в опасных ситуациях (водить пьяным, ходить в опасные районы/конфликты, опасный спорт итп)
- Раздача $ не повлияла на оценку своего здоровья, спорт, сон
Траты
- Из регулярного - люди наращивали расходы на еду (+$67/мес), аренду жилья (+$52/мес), транспорт (+$50)
- Но самой выросшей статьей стала финподдержка ими всяческих родных (с $58/мес до $84/мес) и не одалживать, а просто давать им $
- В основном люди тратили $ на решение срочных проблем: похороны, памперсы, оплата школ, ремонт авто, долги по коммуналке, продлить лицензию, штрафы, купить комп для удаленной учебы итп
Предпринимательство
- 63% думали про идеи бизнесов по сравнению с 57% в контрольной группе (а для underrepresented groups разница еще выше) - и оффлайн (йога, еда, ремонт крыш итп) и онлайн (фриланс, прогать)
- Плюс 5% женщин задумались о своем бизнесе
- На 3% больше людей докупали себе какое-то оборудование/материалы для своих бизнесов (из тех, кто уже ведет или самозанятые)
- Реально, кто не делал бизнес, начать его - такого было мало, все же люди больше закрывали базовые финансовые потребности своих семей
- В целом, конечно, эта небольшая доплата на $1К/мес не меняла у людей ментальность на предпринимательскую
Переезды
- Люди стали на 15% чаще переезжать в другое жилье или другой neighbourhood
- 68% переездов лидировали женщины
- На 13% чаще ехали в другие города, +8% сменили штат
- Люди стали чаще отселяться от своих родных или из toxic/abusive environments и начинать платить за свое жилье, были оч рады не стесняться и не зависеть от других
Agency
- Агентность = способность планировать и реализовывать цели с учетом своих ценностей и желаний
- Плюс 5% людей стали планировать свой бюджет и +12% планировать крупные покупки, что не имело для них смысла ранее когда они выживали от зарплаты до зарплаты
- Люди стали больше думать о будущем и о долгосрочных планах
- На 6% больше стали думать об образовании и тренингах
//
Т.е. в стране с 25% мирового ВВП (при доле в населении мира всего 5%), но супер недоступной медициной, небогатые люди (хотя и богатые по меркам развивающихся, и уж тем более неразвитых стран) чувствуют психологически настолько много напряжения, что лишняя $1К в мес снижает потребление ими опиатов в 2 раза, и снижает их суицидальное поведение в целом (!)
//
Сэм Альтман переизобрел социализм 😇
В тему 100 детей Павла Дурова - книга Count down, что объемы и качество спермы за 40 лет упали в 2 раза из-за влияния пластика, фталатов, лекарств и forever chemicals (не разлагаются в природе и копятся в телах) на формирование эндокринных и репродуктивных систем (т.н. endocrine disruption, важно в 8-12 лет). 2020 г, автор Shanna Swan (ей 88!) с S.Colino
I. ИЗМЕНЕНИЯ
- Гормональные изменения равно касаются и женщин (1%/год темп роста невынашиваемостей), и животных. Занялась в 80ые, изучая кластер беременностей в Santa Clara у завода микросхем. В 1994 была скептик и копала в “а может смена методов анализа спермы?”, но нет
- Морфология и подвижность спермы (тут нужно ICSI) тоже рухнули. Схожие рисечи по миру - снижение всюду: в Китае % одобренных доноров в Hunan упал с 56% в 2001 до 18% в 2015, + в Африке и Ближнем Востоке
- Мужской и женский факторы в репродукции сравнялись, однако мужчины не грамотны в этом вопросе, а еще не принята их поддержка как для женщин. В US/EU уровень тестостерона снижается на 1%/год с 1982го. У 26% мужчин младше 40 проблемы с эрекцией
- Более раннее половое созревание у женщин тоже по всему миру. Овариальный резерв (запас яйцеклеток) у женщин тоже снижается. Рожать в 40 лет растит вероятность синдрома Дауна до 1% (c 0.1% в 25-35 лет)
- Фрагментация ДНК в сперме влияет и на не вынашиваемость, а гормональные дисбалансы - на гендерные дисфории (открыли на животных)
- Gender identity меняется, нужно скорее как спектр рассматривать. В спорте давно идеи мерять уровни гормонов, а не смотреть чисто на хромосомы. Копится база рисечей как химикаты влияют на гормоны и гендерность у обезьян и людей
II. ПРИЧИНЫ
- Влияет в тч и lifestyle: стресс, диета/ожирение/движение, алко, курение, drugs (особенно травка, несмотря на ее лигалайз и опиаты). Антидепрессанты у женщин снижают вероятность зачатия на 25%
- Все эмбрионы сперва женские, а уже гормонами пилится мужской пол. Мужчинам важны FSH, LH, женщинам - estrogens, progesterone, всем - тестостерон
- Влияние веществ из начала поста замеряют у людей в моче, и смотрят разницу в формировании эндокринной системы, половой с-мы внутри и вовне (размер органов), снижение влечения. Пока больше доступны опыты на крысах итп. Ничтожные концентрации химикатов (1 капля на бассейн) супер-критичны во время беременности
- В 1962 R.Carson в книге Silent Spring писала о пестицидах, но регуляции не поменялись, а веществ - добавилось и остаются в экосистемах. Пластмассы летают в воздухе, растворяются в воде/загрязнение питьевой воды - бисфенол, антигорючие добавки в мебель/пижаму/игрушки/компы итп, пестициды (сохраняются в еде), PFC, PCB итд: их много, разных endocrine disruptors
III. ПОСЛЕДСТВИЯ
- Если продолжить графики, к 2050 ЭКО/IVF надо будет 50% людей. Мир может оч. пострадать, т.к. процесс ускоряется и требует реакции быстрее, чем климат. Но с 2017, когда опубликовала (топ26 статья года) мета-рисеч 45 тыс мужчин на Западе, никакие policies не появились, ничего не делают
- Есть корреляции общего ухудшения здоровья с качеством спермы у мужчин и овариальными отклонениями у женщин (диабеты астма рак)
- Химикаты влияют на эпигентический профайл/метилирование, и у ваших детей выше риски схожих заболеваний
- Всем известное загрязнение океанов микропластиком, накопление пластика в животных -> коллапсы экосистем, нео-инсектициды (0.5 млн тонн/год) рушат популяцию насекомых, у животных также (как и у нас) плывут паттерны размножения
- Мир и так стареет/cultural shifts. И еще риск, что в популяции изменится доля М и Ж
IV. ЧТО ДЕЛАТЬ?
Лично: Не курить даже пассивно. Здоровый вес - BMI/ИМТ 20-25. Диета (со средиземноморской - на 44% выше шанс зачатия в ЭКО). Движение. Меньше стресса
Дома: Organic food. Необработанная пища. Хранить все не в пластике. Еда дома как можно чаще. Отказ от тефлоновой посуды. Фильтры воды. Не юзать моющие химикаты. Детские игрушки только certified для EU/US
Миру: Что-то делают, но удивляет малый запрос общества на смену регуляций химикатов по миру. Тесты заточены на большие дозы, но опасность в долгом малом экспонировании
I. ИЗМЕНЕНИЯ
- Гормональные изменения равно касаются и женщин (1%/год темп роста невынашиваемостей), и животных. Занялась в 80ые, изучая кластер беременностей в Santa Clara у завода микросхем. В 1994 была скептик и копала в “а может смена методов анализа спермы?”, но нет
- Морфология и подвижность спермы (тут нужно ICSI) тоже рухнули. Схожие рисечи по миру - снижение всюду: в Китае % одобренных доноров в Hunan упал с 56% в 2001 до 18% в 2015, + в Африке и Ближнем Востоке
- Мужской и женский факторы в репродукции сравнялись, однако мужчины не грамотны в этом вопросе, а еще не принята их поддержка как для женщин. В US/EU уровень тестостерона снижается на 1%/год с 1982го. У 26% мужчин младше 40 проблемы с эрекцией
- Более раннее половое созревание у женщин тоже по всему миру. Овариальный резерв (запас яйцеклеток) у женщин тоже снижается. Рожать в 40 лет растит вероятность синдрома Дауна до 1% (c 0.1% в 25-35 лет)
- Фрагментация ДНК в сперме влияет и на не вынашиваемость, а гормональные дисбалансы - на гендерные дисфории (открыли на животных)
- Gender identity меняется, нужно скорее как спектр рассматривать. В спорте давно идеи мерять уровни гормонов, а не смотреть чисто на хромосомы. Копится база рисечей как химикаты влияют на гормоны и гендерность у обезьян и людей
II. ПРИЧИНЫ
- Влияет в тч и lifestyle: стресс, диета/ожирение/движение, алко, курение, drugs (особенно травка, несмотря на ее лигалайз и опиаты). Антидепрессанты у женщин снижают вероятность зачатия на 25%
- Все эмбрионы сперва женские, а уже гормонами пилится мужской пол. Мужчинам важны FSH, LH, женщинам - estrogens, progesterone, всем - тестостерон
- Влияние веществ из начала поста замеряют у людей в моче, и смотрят разницу в формировании эндокринной системы, половой с-мы внутри и вовне (размер органов), снижение влечения. Пока больше доступны опыты на крысах итп. Ничтожные концентрации химикатов (1 капля на бассейн) супер-критичны во время беременности
- В 1962 R.Carson в книге Silent Spring писала о пестицидах, но регуляции не поменялись, а веществ - добавилось и остаются в экосистемах. Пластмассы летают в воздухе, растворяются в воде/загрязнение питьевой воды - бисфенол, антигорючие добавки в мебель/пижаму/игрушки/компы итп, пестициды (сохраняются в еде), PFC, PCB итд: их много, разных endocrine disruptors
III. ПОСЛЕДСТВИЯ
- Если продолжить графики, к 2050 ЭКО/IVF надо будет 50% людей. Мир может оч. пострадать, т.к. процесс ускоряется и требует реакции быстрее, чем климат. Но с 2017, когда опубликовала (топ26 статья года) мета-рисеч 45 тыс мужчин на Западе, никакие policies не появились, ничего не делают
- Есть корреляции общего ухудшения здоровья с качеством спермы у мужчин и овариальными отклонениями у женщин (диабеты астма рак)
- Химикаты влияют на эпигентический профайл/метилирование, и у ваших детей выше риски схожих заболеваний
- Всем известное загрязнение океанов микропластиком, накопление пластика в животных -> коллапсы экосистем, нео-инсектициды (0.5 млн тонн/год) рушат популяцию насекомых, у животных также (как и у нас) плывут паттерны размножения
- Мир и так стареет/cultural shifts. И еще риск, что в популяции изменится доля М и Ж
IV. ЧТО ДЕЛАТЬ?
Лично: Не курить даже пассивно. Здоровый вес - BMI/ИМТ 20-25. Диета (со средиземноморской - на 44% выше шанс зачатия в ЭКО). Движение. Меньше стресса
Дома: Organic food. Необработанная пища. Хранить все не в пластике. Еда дома как можно чаще. Отказ от тефлоновой посуды. Фильтры воды. Не юзать моющие химикаты. Детские игрушки только certified для EU/US
Миру: Что-то делают, но удивляет малый запрос общества на смену регуляций химикатов по миру. Тесты заточены на большие дозы, но опасность в долгом малом экспонировании
8.5 (!) часов интервью Elon Musk и команды Neuralink с Lex Fridman, часть 1:
Маск
- Ждём разрешения FDA еще 10 людям к концу года. BCI дает 1 бит/сек, верим в 1 Мбит через несколько лет. Мы сможем быстрее коммуницировать друг с другом. Маск слушает книги на 1.5x перед сном и 2x если сконцентрирован. За сутки люди в среднем 1 bps скорость, мало. Зато люди вынуждены дистиллировать смыслы и надеяться что другой чел сделает декомпрессию
- Пока наш фокус лечить травмы нервов (в US 180К чел парализованы, слепота итд) - управлять курсором. Neuralink про симбиоз людей и машин, хотя с айфонами мы уже киборги. Люди - это will, их лимбическая система
- Через пару декад могут быть сотни млн людей с Neuralink, поможет и с AGI risks, тк повысим bitrate людей
xAI
- В AI важно лидерство в computer cluster и в data. У нас и Twitter в real-time, и Tesla автопилоты, и миллионы двуногих роботов Optimus станут крупнейшим источником data. Когда-то их будут делать 1 млрд в год тк полезнее авто (100 млн/год). Рука = половина всей сложности инженерии Optimus. Мы изобретали актуаторы и сенсоры с нуля, using first principles. Моя мантра:
1. Урезать исходные требования
2. Убрать лишнее
3. Потом оптимизация/упрощать
4. Далее все можно ускорить
5. Автоматизация
- Упрощение - ключевая сложность применения first principles. А инженеры часто оптимизируют что-то вообще лишнее. Удаляйте: усложнение и подстраховка - это баг лимбических инстинктов
- И я все хожу и пробую сам, как мои люди на передовой, e.g. ходил втыкал оптическая кабеля между нашими 100к GPU - у всех доступ к памяти друг друга, ты словно ходишь внутри мозга
- В нейронках важна truth, а не вокизм как у Гугла, Grok хочу истинный как в физике, а не современный засоренный интернет
История
- Выбрал Трампа за смелость под пулями. Страну надо спасать от банкротства, замедлить расходы. И уменьшать госаппарат
- Почитайте Lessons of History от Durant про 5 тыс лет цивилизаций: они как организм - растут, стареют, умирают. В Корее 0.8 индекс рождаемости, исчезнут, как древний Рим - там тоже пытались больше 2 детей на семью, не вышло
- Мой успех в жизни - maximize useful things done. На масштабе непросто. Время = главная валюта. Моя религия - любопытство про Вселенную
DJ Seo, co-founder Neuralink:
- Мои дедушки и бабушки были все с суровым Альцгеймером - повлияло на мои научные интересы. Приехал в США, стал учить английский, читая sci-fi. Рисечил фазовые антенны в mobile, перетек в биологию/мозг
- Начинали с мечты о neural dust - 10нм электроды плавают в крови в мозгу, и что эти сенсоры можно и удаленно питать ультразвуком, и им же снимать данные
- В 1920ые психиатр открыл ЭЭГ, в 1969 сняли сигнал отдельного нейрона у обезьяны. Мозг генерит электромагнитные излучения словно шум на стадионе, но в толпу можно пихать микрофон и выделять слова
- Мозг = десятки млрд нейронов, они динамически подкручивают веса (neuroplacticity). Ионные каналы в мозгу и электро, и химически - как транзисторы, не до конца изучено, много физики. В кубике на 100 микрон 40 нейронов - нужно быть оч близко, чтобы уловить их электромагнитные сигналы - пока просто пихаем электроды
- Делаем 3 девайса: сам сенсор, робот чтобы их вживлять (computer vision следит, чтобы не попадать микрососуды), и простенький ML декодер сигналов. 64 нити по 16 боковых электродов (можно считывать всю глубину вживления) = 1024шт (в конце года планы на 3-6 тыс, через пару лет 16 тыс), поток 200 мегабит, и уже сжатые сигналы шлем по Bluetooth (т.е. можно к компу/телефону). Оч много инноваций чтобы этот комп под кожей (заживает и инфекции не страшны как у Utah Arrays) заряжался индуктивно, но не грелся выше +2C
- Через час после операции Nolan мы не вытерпели проверить как все работает. Хоть и стояли на плечах гигантов предшественников, оч нервничали. Скорость 8.5 бит/сек
- Пришлось сделать вертикально интегрированную фабрику nano fabrication, свои роботы и лазеры, чтобы все быстрее итерировать. Свой департамент патологии и общения с FDA (у них оч высокие стандарты безопасности, убеждаем годами)
Часть 2 тут
Маск
- Ждём разрешения FDA еще 10 людям к концу года. BCI дает 1 бит/сек, верим в 1 Мбит через несколько лет. Мы сможем быстрее коммуницировать друг с другом. Маск слушает книги на 1.5x перед сном и 2x если сконцентрирован. За сутки люди в среднем 1 bps скорость, мало. Зато люди вынуждены дистиллировать смыслы и надеяться что другой чел сделает декомпрессию
- Пока наш фокус лечить травмы нервов (в US 180К чел парализованы, слепота итд) - управлять курсором. Neuralink про симбиоз людей и машин, хотя с айфонами мы уже киборги. Люди - это will, их лимбическая система
- Через пару декад могут быть сотни млн людей с Neuralink, поможет и с AGI risks, тк повысим bitrate людей
xAI
- В AI важно лидерство в computer cluster и в data. У нас и Twitter в real-time, и Tesla автопилоты, и миллионы двуногих роботов Optimus станут крупнейшим источником data. Когда-то их будут делать 1 млрд в год тк полезнее авто (100 млн/год). Рука = половина всей сложности инженерии Optimus. Мы изобретали актуаторы и сенсоры с нуля, using first principles. Моя мантра:
1. Урезать исходные требования
2. Убрать лишнее
3. Потом оптимизация/упрощать
4. Далее все можно ускорить
5. Автоматизация
- Упрощение - ключевая сложность применения first principles. А инженеры часто оптимизируют что-то вообще лишнее. Удаляйте: усложнение и подстраховка - это баг лимбических инстинктов
- И я все хожу и пробую сам, как мои люди на передовой, e.g. ходил втыкал оптическая кабеля между нашими 100к GPU - у всех доступ к памяти друг друга, ты словно ходишь внутри мозга
- В нейронках важна truth, а не вокизм как у Гугла, Grok хочу истинный как в физике, а не современный засоренный интернет
История
- Выбрал Трампа за смелость под пулями. Страну надо спасать от банкротства, замедлить расходы. И уменьшать госаппарат
- Почитайте Lessons of History от Durant про 5 тыс лет цивилизаций: они как организм - растут, стареют, умирают. В Корее 0.8 индекс рождаемости, исчезнут, как древний Рим - там тоже пытались больше 2 детей на семью, не вышло
- Мой успех в жизни - maximize useful things done. На масштабе непросто. Время = главная валюта. Моя религия - любопытство про Вселенную
DJ Seo, co-founder Neuralink:
- Мои дедушки и бабушки были все с суровым Альцгеймером - повлияло на мои научные интересы. Приехал в США, стал учить английский, читая sci-fi. Рисечил фазовые антенны в mobile, перетек в биологию/мозг
- Начинали с мечты о neural dust - 10нм электроды плавают в крови в мозгу, и что эти сенсоры можно и удаленно питать ультразвуком, и им же снимать данные
- В 1920ые психиатр открыл ЭЭГ, в 1969 сняли сигнал отдельного нейрона у обезьяны. Мозг генерит электромагнитные излучения словно шум на стадионе, но в толпу можно пихать микрофон и выделять слова
- Мозг = десятки млрд нейронов, они динамически подкручивают веса (neuroplacticity). Ионные каналы в мозгу и электро, и химически - как транзисторы, не до конца изучено, много физики. В кубике на 100 микрон 40 нейронов - нужно быть оч близко, чтобы уловить их электромагнитные сигналы - пока просто пихаем электроды
- Делаем 3 девайса: сам сенсор, робот чтобы их вживлять (computer vision следит, чтобы не попадать микрососуды), и простенький ML декодер сигналов. 64 нити по 16 боковых электродов (можно считывать всю глубину вживления) = 1024шт (в конце года планы на 3-6 тыс, через пару лет 16 тыс), поток 200 мегабит, и уже сжатые сигналы шлем по Bluetooth (т.е. можно к компу/телефону). Оч много инноваций чтобы этот комп под кожей (заживает и инфекции не страшны как у Utah Arrays) заряжался индуктивно, но не грелся выше +2C
- Через час после операции Nolan мы не вытерпели проверить как все работает. Хоть и стояли на плечах гигантов предшественников, оч нервничали. Скорость 8.5 бит/сек
- Пришлось сделать вертикально интегрированную фабрику nano fabrication, свои роботы и лазеры, чтобы все быстрее итерировать. Свой департамент патологии и общения с FDA (у них оч высокие стандарты безопасности, убеждаем годами)
Часть 2 тут
Часть №2 8-часового интервью Маска и команды Neuralink с Lex Fridman, ч.1 тут:
- Нити в полиамиде зарастают шрамами и неподвижны в мозгу (много тестили), а девайсы можно простой хирургией менять на версии с новыми чипами. Вызовы: в герметичном стыке тысяч микронных нитей и в чипах (рост энергии). Тестируем на износ в теплокамерах (мозг как горячее море)
- В идеале у людей будет ряд имплантов в разных частях кортекса: моторный, визуальный итп, в тч стимуляция, а не только скан
- Пока фокус на safety/фидбеке Nolan что улучшать (все динамично, как софт на Теслах). Планы: от курсора ПК к роботу-руке, синтезу речи
- Про мозг что-то поняли (и сработало в нейронках), но многое нет (цвета, сознание). Пока речь идет о форме объектов, но когда-то научимся генерить visuals, в тч инфра/UV. Но у слепых с рождения будет какой-то иной опыт, мозг - он как CCD матрица, а перед - много фильтров - психоделики их затрагивают. Не знаю, позволят ли BCI понять сознание
Matthew MacDougall, их хирург
- Всегда любил мозг, ботал приматологию (позволяет понять людей, убрав язык: как дружим/еда/секс/власть), хотел impact на людей - пошел в нейрохирурги, статусно, конкурентно, и оч morally hard когда ты бессилен
- С Elon не важно насколько ты эксперт в своей сфере, скажет “я просто чел, но с first principles”, и у него это работает. В Neuralink культура страстно защищать свои идеи, но и открываться new inputs/не страдать про статус. Десятки лет электроды вызывали потеки крови и иммунный ответ, а Neuralink стали делать оч тонкие нити и сработало
- Фиксируем череп, объединяем КТ и МРТ, режем дырку в 1 дюйм, мышкой цели на кортексе, и робот ставит электроды = хирург/robot вместе, оттестили на манекенах. Цель чтобы любой нейрохирург в мире мог
- На животных учимся втыкать провода от мозга в спинной мозг -> сможем управлять мышцами. Телепатия: в UC Davis S.Stavisky lab 125 тыс НЕ озвученных слов распознают электроды в части кортекса, где моторика речи
- Недооцененный факт насколько мозг влияет на здоровье всех органов. Нейропластичность снижается с возрастом. Не верю, что смерть засолвят для моего поколения
- Сознание? Без магии - это the sensation of some part of your brain being active, so you feel it working
Bliss Chapman, software lead
- Общался с сотней людей с травмой спины или склерозом, хочу помочь. Кроме BCI (цель - лучший в мире mental mouse cursor) увлекаюсь eye tracking
- Софт стартует уже в ходе операции - чекаем идут ли сигналы (и отдельные нейроны, и пачкой), косячим ли, распознаем ли spikes (время вспышки нейрона 1/1000 сек). Neuralink юзает что академия оч долго копила. Железо задержка 22мс, итого 75мс от подумал до “курсор стал двигаться”
- Мы в мире new UX, апп и обучает пациента (игра Webgrid, Nolan прямо ачивер), и сам калибруется. Причем мы же ловим только намерения человека, а не его мышцы рук. Модельки деградируют, нужна регулярная рекалибровка. Оч много опытов с ML ведем/feedback loops, нужны еще пациенты чтобы сделать универсальный decoder движений
- Телепатия? Язык с одной стороны - узкое горлышко, с другой - мозг других успешно декомпрессирует смыслы
- В музыке, поэзии повторяющиеся паттерны, а потом бац - отклонение - и нашему мозгу это нравится, вот суть искусств
Пациент №1 - Nolan Arbaugh
- В 2016 травма во время дайвинга, серия операций и диагноз “парализован”. Но с жизнью никогда не прощался. Верил в бога, может помогло. И семья
- Научиться двигать курсор заняло 1-2 нед после операции, представляя/визуализируя словно мышечно хочу сделать, как детей учат писать, и сперва было оч сложно, но зато потом когда освоил, стало очень natural. Но больше всего мне порвало мозг, когда я уже не воображал мышечные движения, а просто "направил" курсор в нужное место
- Калибровка может и 5 мин (игра в пузырьки на экране разных размеров), и 45 мин когда меня рисечат. Меня много исследуют, body mapping, ох, у меня не лучшая память + стал сильно известным и много езжу в этой связи
- Много играю. Рад быть первым + бесконечно благодарен людям, кто сумели создать. Хочу в BCI что-то а-ля грибы. Хочу уметь управлять Optimus
- Нити в полиамиде зарастают шрамами и неподвижны в мозгу (много тестили), а девайсы можно простой хирургией менять на версии с новыми чипами. Вызовы: в герметичном стыке тысяч микронных нитей и в чипах (рост энергии). Тестируем на износ в теплокамерах (мозг как горячее море)
- В идеале у людей будет ряд имплантов в разных частях кортекса: моторный, визуальный итп, в тч стимуляция, а не только скан
- Пока фокус на safety/фидбеке Nolan что улучшать (все динамично, как софт на Теслах). Планы: от курсора ПК к роботу-руке, синтезу речи
- Про мозг что-то поняли (и сработало в нейронках), но многое нет (цвета, сознание). Пока речь идет о форме объектов, но когда-то научимся генерить visuals, в тч инфра/UV. Но у слепых с рождения будет какой-то иной опыт, мозг - он как CCD матрица, а перед - много фильтров - психоделики их затрагивают. Не знаю, позволят ли BCI понять сознание
Matthew MacDougall, их хирург
- Всегда любил мозг, ботал приматологию (позволяет понять людей, убрав язык: как дружим/еда/секс/власть), хотел impact на людей - пошел в нейрохирурги, статусно, конкурентно, и оч morally hard когда ты бессилен
- С Elon не важно насколько ты эксперт в своей сфере, скажет “я просто чел, но с first principles”, и у него это работает. В Neuralink культура страстно защищать свои идеи, но и открываться new inputs/не страдать про статус. Десятки лет электроды вызывали потеки крови и иммунный ответ, а Neuralink стали делать оч тонкие нити и сработало
- Фиксируем череп, объединяем КТ и МРТ, режем дырку в 1 дюйм, мышкой цели на кортексе, и робот ставит электроды = хирург/robot вместе, оттестили на манекенах. Цель чтобы любой нейрохирург в мире мог
- На животных учимся втыкать провода от мозга в спинной мозг -> сможем управлять мышцами. Телепатия: в UC Davis S.Stavisky lab 125 тыс НЕ озвученных слов распознают электроды в части кортекса, где моторика речи
- Недооцененный факт насколько мозг влияет на здоровье всех органов. Нейропластичность снижается с возрастом. Не верю, что смерть засолвят для моего поколения
- Сознание? Без магии - это the sensation of some part of your brain being active, so you feel it working
Bliss Chapman, software lead
- Общался с сотней людей с травмой спины или склерозом, хочу помочь. Кроме BCI (цель - лучший в мире mental mouse cursor) увлекаюсь eye tracking
- Софт стартует уже в ходе операции - чекаем идут ли сигналы (и отдельные нейроны, и пачкой), косячим ли, распознаем ли spikes (время вспышки нейрона 1/1000 сек). Neuralink юзает что академия оч долго копила. Железо задержка 22мс, итого 75мс от подумал до “курсор стал двигаться”
- Мы в мире new UX, апп и обучает пациента (игра Webgrid, Nolan прямо ачивер), и сам калибруется. Причем мы же ловим только намерения человека, а не его мышцы рук. Модельки деградируют, нужна регулярная рекалибровка. Оч много опытов с ML ведем/feedback loops, нужны еще пациенты чтобы сделать универсальный decoder движений
- Телепатия? Язык с одной стороны - узкое горлышко, с другой - мозг других успешно декомпрессирует смыслы
- В музыке, поэзии повторяющиеся паттерны, а потом бац - отклонение - и нашему мозгу это нравится, вот суть искусств
Пациент №1 - Nolan Arbaugh
- В 2016 травма во время дайвинга, серия операций и диагноз “парализован”. Но с жизнью никогда не прощался. Верил в бога, может помогло. И семья
- Научиться двигать курсор заняло 1-2 нед после операции, представляя/визуализируя словно мышечно хочу сделать, как детей учат писать, и сперва было оч сложно, но зато потом когда освоил, стало очень natural. Но больше всего мне порвало мозг, когда я уже не воображал мышечные движения, а просто "направил" курсор в нужное место
- Калибровка может и 5 мин (игра в пузырьки на экране разных размеров), и 45 мин когда меня рисечат. Меня много исследуют, body mapping, ох, у меня не лучшая память + стал сильно известным и много езжу в этой связи
- Много играю. Рад быть первым + бесконечно благодарен людям, кто сумели создать. Хочу в BCI что-то а-ля грибы. Хочу уметь управлять Optimus
Peter Thiel дал нетипичное 3.5-часовое интервью некоему Joe Rogan, с крутыми теориями заговора =)
Где жить
- В 2018 переехал в L.A. - важно солнце (а в Сиэттле худший климат). У Калифорнии в заложниках 40 млн жителей из-за крутой погоды )
- Думал о Флориде, но там слишком party & cocaine формат + с 2020 года сотрудникам жилье выйдет в 4x дороже. Думал об Австралии, но они стали бороться со свободой слова
США
- Давно стагнируем, что делать? Растить налоги? Снижать расходы/дефицит бюджета? Печатать госдолг (его копят кто больше всего экспортируют в США)? Уже 40 лет говорят об этом..
- Соцстрахование/пенсии превратилось в межпоколенную “пирамиду”
- Калифорния как Саудовская Аравия, только вместо ваххабизма - вокизм. Tech, как и нефть, позволяет быть ridiculous
Прогресс
- У нас стагнация в world of atoms, но extreme progress в world of bits отвлекает от этого (кстати, в 80ые прогать было не в модно, туда шли кто не тянул real science)
- Потепление все же причины не на 100% понимаем (что опаснее: CO2 или метан итп), может поэтому и назвали наукой, для ложного догматизма? (в social и political sciences - схожая штука). Это какое-то современное переизобретение Limits of growth (1972/Римский клуб) - тогдашнее мальтузианство, что миру якобы нужен нулевой рост?
- АЭС походя замочили на сотню стран.. Якобы из-за Чернобыля, но по факту - запрет на ядерное оружие. Китай, кстати, мало АЭС построил тк взяли наши super safe designs, а это дорого - проще уголь жечь. Дешевые конструкции есть, просто запрещены
- Рождаемость по миру удивительно упала
Культура
- Загадка пирамиды Хеопса больше как они сумели организоваться на вещи, стоящие уже 4500 лет
- Я либертарианец и считаю, что для MDMA на ветеранах не надо двойное слепое тестирование как хочет FDA. Они просто тормозят легализацию психоделиков тк видят угрозу establishment’у
- LSD изучали как проект Mkultra для ЦРУ, но потом власти стопнули хиппи-революцию, боясь что станет сложно слать людей во Вьетнам умирать неизвестно за что
ЦРУ и Эпштейн
- После Гуантанамо и превращения судов FISA (Foreign Intelligence Surveillance Court) в тч и в политическое оружие былой смелости у ЦРУ и NSA нет. И Эпштейн, думаю, был такой проект/клуб - как издревле: набрать на всех компромата и достигать своих разведовательных целей в условиях бюрократизации разведок/работы под надзором судей. Ну типа как 80% кардиналов католической церкви - геи, тк нужны люди с компроматом
- Меня Reid Hoffman знакомил, но я уже после ареста оценил масштаб этого exclusive club (да, люди падки на такое + богачам сложно новых друзей искать)
- После смерти утечек не было - “клуб” работает? Не как с Ассанжем: тот видимо перед освобождением поудалял улики как deep state собирает данные про все
- Покушение на Трампа оч похоже на всю эту мутную тему как когда-то с убийством Кеннеди - заказчиков так и не установили
Билл Гейтс
- Он общался с Эпштейном про другое:
а) Мечтал получить нобелевку - Гейтс как и Нобель 20 лет обелял свою репутацию. Но люди чувствуют за его свитерочками фальшь - что он не Безос и не Маск
б) Как не отдать много $ на разводе: у них с Мелиндой не было брачного договора, не хотел отдать 50%, поэтому заморозил их в НКО, пиарился в ковид, в итоге она получила 1/10 их $
AI
- AI это что-то масштаба интернета, нежели биткойна. Bostrom в 2014 пугал мир AGI, а коммунист Kai-Fu Lee сказал, что это low tech innovation и давайте цифровой Гулаг (а так Palantir же Тиля способствует "авторитарному AI" в US?)
- AGI это безнадежно размытый термин. Кстати, с т.зр. теста Тьюринга с 2022 мы уже в мире с AI. В целом, если AGI появится, то нам, конечно, био-инстинкты/жестокость перестанут быть нужны, атавизм
- Сегодняшние попытки саморегуляции compute для AI в Калифорнии - глупость: Китай же не будет себя тормозить
- К super AI чисто эволюционно не придти. НЛО, возможно, нас уже посещают тк наблюдают как мы к superinteligence идем?
Психотерапия
- После многих лет решения проблем с психологом и всестороннего узнавания себя, это, в конечном итоге, про принятие себя: you're actually just perfect the way you are
Где жить
- В 2018 переехал в L.A. - важно солнце (а в Сиэттле худший климат). У Калифорнии в заложниках 40 млн жителей из-за крутой погоды )
- Думал о Флориде, но там слишком party & cocaine формат + с 2020 года сотрудникам жилье выйдет в 4x дороже. Думал об Австралии, но они стали бороться со свободой слова
США
- Давно стагнируем, что делать? Растить налоги? Снижать расходы/дефицит бюджета? Печатать госдолг (его копят кто больше всего экспортируют в США)? Уже 40 лет говорят об этом..
- Соцстрахование/пенсии превратилось в межпоколенную “пирамиду”
- Калифорния как Саудовская Аравия, только вместо ваххабизма - вокизм. Tech, как и нефть, позволяет быть ridiculous
Прогресс
- У нас стагнация в world of atoms, но extreme progress в world of bits отвлекает от этого (кстати, в 80ые прогать было не в модно, туда шли кто не тянул real science)
- Потепление все же причины не на 100% понимаем (что опаснее: CO2 или метан итп), может поэтому и назвали наукой, для ложного догматизма? (в social и political sciences - схожая штука). Это какое-то современное переизобретение Limits of growth (1972/Римский клуб) - тогдашнее мальтузианство, что миру якобы нужен нулевой рост?
- АЭС походя замочили на сотню стран.. Якобы из-за Чернобыля, но по факту - запрет на ядерное оружие. Китай, кстати, мало АЭС построил тк взяли наши super safe designs, а это дорого - проще уголь жечь. Дешевые конструкции есть, просто запрещены
- Рождаемость по миру удивительно упала
Культура
- Загадка пирамиды Хеопса больше как они сумели организоваться на вещи, стоящие уже 4500 лет
- Я либертарианец и считаю, что для MDMA на ветеранах не надо двойное слепое тестирование как хочет FDA. Они просто тормозят легализацию психоделиков тк видят угрозу establishment’у
- LSD изучали как проект Mkultra для ЦРУ, но потом власти стопнули хиппи-революцию, боясь что станет сложно слать людей во Вьетнам умирать неизвестно за что
ЦРУ и Эпштейн
- После Гуантанамо и превращения судов FISA (Foreign Intelligence Surveillance Court) в тч и в политическое оружие былой смелости у ЦРУ и NSA нет. И Эпштейн, думаю, был такой проект/клуб - как издревле: набрать на всех компромата и достигать своих разведовательных целей в условиях бюрократизации разведок/работы под надзором судей. Ну типа как 80% кардиналов католической церкви - геи, тк нужны люди с компроматом
- Меня Reid Hoffman знакомил, но я уже после ареста оценил масштаб этого exclusive club (да, люди падки на такое + богачам сложно новых друзей искать)
- После смерти утечек не было - “клуб” работает? Не как с Ассанжем: тот видимо перед освобождением поудалял улики как deep state собирает данные про все
- Покушение на Трампа оч похоже на всю эту мутную тему как когда-то с убийством Кеннеди - заказчиков так и не установили
Билл Гейтс
- Он общался с Эпштейном про другое:
а) Мечтал получить нобелевку - Гейтс как и Нобель 20 лет обелял свою репутацию. Но люди чувствуют за его свитерочками фальшь - что он не Безос и не Маск
б) Как не отдать много $ на разводе: у них с Мелиндой не было брачного договора, не хотел отдать 50%, поэтому заморозил их в НКО, пиарился в ковид, в итоге она получила 1/10 их $
AI
- AI это что-то масштаба интернета, нежели биткойна. Bostrom в 2014 пугал мир AGI, а коммунист Kai-Fu Lee сказал, что это low tech innovation и давайте цифровой Гулаг (а так Palantir же Тиля способствует "авторитарному AI" в US?)
- AGI это безнадежно размытый термин. Кстати, с т.зр. теста Тьюринга с 2022 мы уже в мире с AI. В целом, если AGI появится, то нам, конечно, био-инстинкты/жестокость перестанут быть нужны, атавизм
- Сегодняшние попытки саморегуляции compute для AI в Калифорнии - глупость: Китай же не будет себя тормозить
- К super AI чисто эволюционно не придти. НЛО, возможно, нас уже посещают тк наблюдают как мы к superinteligence идем?
Психотерапия
- После многих лет решения проблем с психологом и всестороннего узнавания себя, это, в конечном итоге, про принятие себя: you're actually just perfect the way you are
У Курцвейла новая книга Singularity is nearer: when we merge with AI. Прошлая аж в 2005 - что экспоненциальное развитие компьютеров + биологии + нанотеха сойдутся в непредсказуемое будущее. Приход singularity (это просто метафора из математики) ожидал к 2045 году
Рэй как всегда позитив, оптимизм, никаких концов света: от истории Вселенной и к убыстряющемуся прогрессу - e/acc батя в хате =)
Глава 1 - Где мы из 6 эпох?
- Эпохи [ускорения времени]: космос/химия > появление жизни/ДНК (4 млрд лет назад) > мозг (0.5 млрд лет) > технологии > BCI (brain-computer interface) > экспансия intelligence по Вселенной
- Раньше думал тест Тьюринга засолвят к 2029, но а может и уже? )
Гл.2 Переизобретая intelligence
- Работал с Marvin Minsky - полвека был популярен rules-based подход/формализация в коде, а для сonnectionism / перцептронов (1946) / нейронок не хватало compute (ну как ДаВинчи: изобрел вертолет, но создали спустя 500 лет)
- Неокортекс (появился 200 млн лет назад) умеет себя перепрошивать + параллелизация (у детей удаляли пол-мозга - и ничего) + рост абстракций от органов чувств к сознанию. И deep learning все это воспроизводит, e.g. как нейронки солвили шахматы, Го, LLM, мультимодальность. Закон Мура работает с 1888г, в мире в триллионы раз быстрее compute, чем полвека лет назад, и чудеса технологий продолжатся, в тч по мере изучения мозга + прогресса в BCI
3. Кто я?
- Сознание пока не определили, ему симпатично что это субъективно проживаемый опыт с qualia. Chalmers называл панпротопсихизмом желание считать сознание главной силой во Вселенной (см панпсихизм). Рэй пофантазировал 10 лет назад в книге How to create a mind
- Как из клеточных автоматов и детерминизма появляется свобода воли - хз. Может, это просто [если мир детерминирован] наша не способность самим себе предсказать, а как мы поступим в будущем?
- Крч, просто радуемся, что наши сознания вспыхнули. И причем в крайне маловероятной версии нашей вселенной, см. книгу Road to reality от Penrose (нобелевка с Хокингом)
- Я - это self-modifying information pattern )
4. Экспоненты
- Соцопросы показывают, что у людей бездна мифов про как там наш мир живет. А ведь за 20 лет в мире крайняя бедность упала на 50%. Преступность, суициды, часы работы - десятки лет снижаются
- Грамотность, образование, время учебы, проникновение технологий, продолжительность жизни, доходы, число демократий (тут вопросики) - растут
- Зеленая энергетика - дешевеет (солнечные панели, батареи, ветер итп) - замещение ископаемых топлив возможно как никогда
5. Работа
- 100 лет назад 50% людей в США были фермеры, сейчас 2%. На заводах 25% людей работали, сейчас 7%. Итп. С AI революцией будет похоже на все эти прошлые волны технологий. Автоматизация наше все )
- Строит график из ряда источников, что сейчас 50% госрасходов США - это social safety net (пенсии, пособия, еда в школах), а в 1960г 20%, в 1900 5%. По $20к/чел в год. Отсюда идеи UBI растут?
6. Ближайшие 30 лет медицины
- С AI у врачей диагностика станет ващее + генные терапии + AI разработка лекарств + 3D печать органов
- Нанороботы доберутся до медицины и позволят засолвить проблему, что у наших ДНК/старения нет единого сервера управления + что-то заменят (e.g. искусственная кровь)
- Это повлияет на longevity: в 2050ом 100-летним продлят жизнь на 50 лет (ему 76, он как этот мем? =)
7. Риски
- У мира есть опыт сперва наклепать 65 тыс ядерных боеголовок к 1986г, но потом снизить до 12 тыс
- Биотех: основной риск что вирусы же самореплицируются, но корона показала, что можно быстро секвенировать (неделя. А когда-то 30 лет геном ВИЧ ждали) и резко выкатить мРНК вакцины от Moderna
- Нанороботам, видимо, нужна будет планетарная "имунная" система из "хороших" наноботов - чтобы плохие люди не начудили
- AI: про alignment problem начали рисеч, хз. Военные не откажутся от автономных вооружений, но из DARPA же в итоге вышел весь инет..
8. Кассандра?
- Могут быть violence issues от потерявших работу (а точнее смыслы)
- Лет через 10 BCI дадут связь с компами в 1000x быстрее клавиатур
- Сознание людей не исчезнет от AGI, а будет им усилено
Рэй как всегда позитив, оптимизм, никаких концов света: от истории Вселенной и к убыстряющемуся прогрессу - e/acc батя в хате =)
Глава 1 - Где мы из 6 эпох?
- Эпохи [ускорения времени]: космос/химия > появление жизни/ДНК (4 млрд лет назад) > мозг (0.5 млрд лет) > технологии > BCI (brain-computer interface) > экспансия intelligence по Вселенной
- Раньше думал тест Тьюринга засолвят к 2029, но а может и уже? )
Гл.2 Переизобретая intelligence
- Работал с Marvin Minsky - полвека был популярен rules-based подход/формализация в коде, а для сonnectionism / перцептронов (1946) / нейронок не хватало compute (ну как ДаВинчи: изобрел вертолет, но создали спустя 500 лет)
- Неокортекс (появился 200 млн лет назад) умеет себя перепрошивать + параллелизация (у детей удаляли пол-мозга - и ничего) + рост абстракций от органов чувств к сознанию. И deep learning все это воспроизводит, e.g. как нейронки солвили шахматы, Го, LLM, мультимодальность. Закон Мура работает с 1888г, в мире в триллионы раз быстрее compute, чем полвека лет назад, и чудеса технологий продолжатся, в тч по мере изучения мозга + прогресса в BCI
3. Кто я?
- Сознание пока не определили, ему симпатично что это субъективно проживаемый опыт с qualia. Chalmers называл панпротопсихизмом желание считать сознание главной силой во Вселенной (см панпсихизм). Рэй пофантазировал 10 лет назад в книге How to create a mind
- Как из клеточных автоматов и детерминизма появляется свобода воли - хз. Может, это просто [если мир детерминирован] наша не способность самим себе предсказать, а как мы поступим в будущем?
- Крч, просто радуемся, что наши сознания вспыхнули. И причем в крайне маловероятной версии нашей вселенной, см. книгу Road to reality от Penrose (нобелевка с Хокингом)
- Я - это self-modifying information pattern )
4. Экспоненты
- Соцопросы показывают, что у людей бездна мифов про как там наш мир живет. А ведь за 20 лет в мире крайняя бедность упала на 50%. Преступность, суициды, часы работы - десятки лет снижаются
- Грамотность, образование, время учебы, проникновение технологий, продолжительность жизни, доходы, число демократий (тут вопросики) - растут
- Зеленая энергетика - дешевеет (солнечные панели, батареи, ветер итп) - замещение ископаемых топлив возможно как никогда
5. Работа
- 100 лет назад 50% людей в США были фермеры, сейчас 2%. На заводах 25% людей работали, сейчас 7%. Итп. С AI революцией будет похоже на все эти прошлые волны технологий. Автоматизация наше все )
- Строит график из ряда источников, что сейчас 50% госрасходов США - это social safety net (пенсии, пособия, еда в школах), а в 1960г 20%, в 1900 5%. По $20к/чел в год. Отсюда идеи UBI растут?
6. Ближайшие 30 лет медицины
- С AI у врачей диагностика станет ващее + генные терапии + AI разработка лекарств + 3D печать органов
- Нанороботы доберутся до медицины и позволят засолвить проблему, что у наших ДНК/старения нет единого сервера управления + что-то заменят (e.g. искусственная кровь)
- Это повлияет на longevity: в 2050ом 100-летним продлят жизнь на 50 лет (ему 76, он как этот мем? =)
7. Риски
- У мира есть опыт сперва наклепать 65 тыс ядерных боеголовок к 1986г, но потом снизить до 12 тыс
- Биотех: основной риск что вирусы же самореплицируются, но корона показала, что можно быстро секвенировать (неделя. А когда-то 30 лет геном ВИЧ ждали) и резко выкатить мРНК вакцины от Moderna
- Нанороботам, видимо, нужна будет планетарная "имунная" система из "хороших" наноботов - чтобы плохие люди не начудили
- AI: про alignment problem начали рисеч, хз. Военные не откажутся от автономных вооружений, но из DARPA же в итоге вышел весь инет..
8. Кассандра?
- Могут быть violence issues от потерявших работу (а точнее смыслы)
- Лет через 10 BCI дадут связь с компами в 1000x быстрее клавиатур
- Сознание людей не исчезнет от AGI, а будет им усилено
Книга "Информация" 2011 г. Д.Глика - как Клод Шеннон связал инфо и неопределенность (энтропию). Инфо - это [отрицательная] энтропия, неопределенность, неожиданность, редкость, трудность расчета
1. Письмо
- Алфавит появился лишь однажды 1500 лет до н.э. у Палестины - 22 буквы. В мире 6000 устных языков, без букв. Пиктографические языки 30 тыс лет назад (с палеолита)
- В Африке барабанами передавали звуки, еще не буквы, но уже не слова. А Морзе взял уже не звуки, а части слов - буквы (телеграф работал с азбукой Морзе)
- Письменность была нужна, чтобы сохранить инфо во времени и пространстве. До письма коммуникация была недолговечной и локальной. Канал письма не просто расширил предыдущие, он дал появиться методам повторного использования и воспоминания
- В Ср.Азии изучали аборигенов, те не принимали логические силлогизмы. Типа: «На Севере, где всегда снег, все медведи белые. Новая Земля - на Севере, и там всегда снег. Какого цвета медведи?» Типичный ответ: «Не знаю. Я видел бурого, а других нет, в каждой местности свои животные». А человек, только умеющий читать и писать, отвечал: «Исходя из ваших слов они должны быть белыми». «исходя из ваших слов» = переход на другой уровень = инфо отделяется от личности, от опыта говорящего
- Письмо вызывало волнения, маршалл Маклюэн говорил, что печать дает узкий канал, линейный, фрагментарный. А в речи, в разговоре лицом к лицу с жестами и касаниями, важны все чувства
- Первый словарь английского сделал школьный учитель в 1604. Оксфордский словарь 1928г был 400К слов + неск. тыс. слов ежегодно
2. Математика
- Она вышла из письма - системного подхода к записи чисел. Логарифмы открыл Непер... Натуральные числа. Он пришел интуитивно, с терминами “разница” и “отношение”
- Буль придумал логику, операции, матлогику
3. Беббидж и его вычислитель
- Поступил в Тринити-колледж в 1810 и понял, что знает больше преподов, стал читать зарубежные книги. В 1820 сделал механическую разностную машину
- Ада Лавлейз работала с ним и стала первой кодершей. Она придумала процесс, набор правил, цепь операций, потом это назвали бы алгоритмом, позже - программой, но тогда концепция требовала мучительных объяснений. Причем ее алгоритм оказался рекурсивным и исполнялся циклически: результат одной итерации становился данными для следующей
- Машину Беббиджа финансировали 20 лет госведомства, военные итп
4. Шеннон
- bit = binary digit
- До Шеннона в Bell Labs Хартли сформулировал: Н = n*logS, где Н - количество инфо, n - число символов в сообщении, S - число символов в языке
- В MIT делали дифференциальный анализатор Буша
- Шеннон работал в электро лабе и понял, что инфо передается даже в самом факте замкнута цепь или нет
- Шеннон: неопределенность можно измерить, сосчитав количество возможных сообщений. Если возможно лишь одно сообщение, неопределенности нет и, значит, там нет инфо. "Некоторые сообщения могут быть более вероятными, чем другие, и инфо подразумевает неожиданность", это есть способ выражать вероятности. Если буква, следующая за t (в английском языке), h, то передается не так много инфо, тк вероятность h после t сравнительно высока
- "Имеет существенное значение трудность передачи сообщения из одной точки в другую". Это, наверное, покажется столь же тавтологичным, как определение массы в терминах силы, нужной, чтобы сдвинуть объект. Но, с др.стороны, массу таким образом определить можно
- Каждый инженер [в электролабах тех времен], если просили передать больше инфо по каналу, знал - надо выше мощность сигнала. Но на больших расстояниях подход не работал, тк усиление [аналогового] сигнала всегда вело к росту шума. Шеннон обошел это, увидев сигнал как цепь дискретных символов. И вместо роста мощности отправитель мог преодолеть шум, _используя лишние символы_ для коррекции ошибок, ровно как африканский барабанщик не стучал сильнее, а растил число слов в послании (!)
- "Информация есть энтропия". Это было самым странным и самым мощным определением. Энтропия есть мера неупорядоченности системы в термодинамике
// Часть 2 тут
1. Письмо
- Алфавит появился лишь однажды 1500 лет до н.э. у Палестины - 22 буквы. В мире 6000 устных языков, без букв. Пиктографические языки 30 тыс лет назад (с палеолита)
- В Африке барабанами передавали звуки, еще не буквы, но уже не слова. А Морзе взял уже не звуки, а части слов - буквы (телеграф работал с азбукой Морзе)
- Письменность была нужна, чтобы сохранить инфо во времени и пространстве. До письма коммуникация была недолговечной и локальной. Канал письма не просто расширил предыдущие, он дал появиться методам повторного использования и воспоминания
- В Ср.Азии изучали аборигенов, те не принимали логические силлогизмы. Типа: «На Севере, где всегда снег, все медведи белые. Новая Земля - на Севере, и там всегда снег. Какого цвета медведи?» Типичный ответ: «Не знаю. Я видел бурого, а других нет, в каждой местности свои животные». А человек, только умеющий читать и писать, отвечал: «Исходя из ваших слов они должны быть белыми». «исходя из ваших слов» = переход на другой уровень = инфо отделяется от личности, от опыта говорящего
- Письмо вызывало волнения, маршалл Маклюэн говорил, что печать дает узкий канал, линейный, фрагментарный. А в речи, в разговоре лицом к лицу с жестами и касаниями, важны все чувства
- Первый словарь английского сделал школьный учитель в 1604. Оксфордский словарь 1928г был 400К слов + неск. тыс. слов ежегодно
2. Математика
- Она вышла из письма - системного подхода к записи чисел. Логарифмы открыл Непер... Натуральные числа. Он пришел интуитивно, с терминами “разница” и “отношение”
- Буль придумал логику, операции, матлогику
3. Беббидж и его вычислитель
- Поступил в Тринити-колледж в 1810 и понял, что знает больше преподов, стал читать зарубежные книги. В 1820 сделал механическую разностную машину
- Ада Лавлейз работала с ним и стала первой кодершей. Она придумала процесс, набор правил, цепь операций, потом это назвали бы алгоритмом, позже - программой, но тогда концепция требовала мучительных объяснений. Причем ее алгоритм оказался рекурсивным и исполнялся циклически: результат одной итерации становился данными для следующей
- Машину Беббиджа финансировали 20 лет госведомства, военные итп
4. Шеннон
- bit = binary digit
- До Шеннона в Bell Labs Хартли сформулировал: Н = n*logS, где Н - количество инфо, n - число символов в сообщении, S - число символов в языке
- В MIT делали дифференциальный анализатор Буша
- Шеннон работал в электро лабе и понял, что инфо передается даже в самом факте замкнута цепь или нет
- Шеннон: неопределенность можно измерить, сосчитав количество возможных сообщений. Если возможно лишь одно сообщение, неопределенности нет и, значит, там нет инфо. "Некоторые сообщения могут быть более вероятными, чем другие, и инфо подразумевает неожиданность", это есть способ выражать вероятности. Если буква, следующая за t (в английском языке), h, то передается не так много инфо, тк вероятность h после t сравнительно высока
- "Имеет существенное значение трудность передачи сообщения из одной точки в другую". Это, наверное, покажется столь же тавтологичным, как определение массы в терминах силы, нужной, чтобы сдвинуть объект. Но, с др.стороны, массу таким образом определить можно
- Каждый инженер [в электролабах тех времен], если просили передать больше инфо по каналу, знал - надо выше мощность сигнала. Но на больших расстояниях подход не работал, тк усиление [аналогового] сигнала всегда вело к росту шума. Шеннон обошел это, увидев сигнал как цепь дискретных символов. И вместо роста мощности отправитель мог преодолеть шум, _используя лишние символы_ для коррекции ошибок, ровно как африканский барабанщик не стучал сильнее, а растил число слов в послании (!)
- "Информация есть энтропия". Это было самым странным и самым мощным определением. Энтропия есть мера неупорядоченности системы в термодинамике
// Часть 2 тут
Вторая часть саммари книги The Information: A History, a Theory, a Flood Д.Глика, а часть 1 тут:
5. Кибернетика
- Винер - кибернетик, описывал поведение машин. Бихевиористы и психологи тоже - Павлов итп
- Шеннон и Тьюринг много виделись в 1940ые. Тьюринг написал статью о вычислимых числах, описана универсальная вычислительная машина - комп Тьюринга (Turing machine) - фантастическая, абстрактная, целиком воображаемая машина. Он показал, что любая формальная система должна иметь неразрешимые утверждения. Математика неразрешима. Неполнота следует из невычислимости
6. Энтропия
- Энтропия не была видом энергии или ее количеством - это была, как сказал Клаузиус, недоступность энергии. Оказалось, что это измеримо
- С энтропией законы термодинамики можно выразить оч.аккуратно:
№1: Количество энергии во Вселенной постоянно
№2: Энтропия Вселенной всегда растет
- Молекулы смешиваются, быстрые сталкиваются с медленными, энергия течет и в итоге газ достигнет одинаковой t во всем объеме
- Вопрос: почему этот процесс нельзя обратить? В уравнениях движения Ньютона время может иметь как +, так и - знак, математика работает в обе стороны. Но в реальном мире прошлое и будущее нельзя поменять местами, процессы движутся только в одном направлении. Причина этому - вероятность
- У физиков заняло много времени принять, что каждый необратимый процесс нужно как-то объяснить. Само время зависит от шанса, или "случайностей", как Фейнман: «Ну, вы понимаете, что единственный вывод, к которому здесь можно прийти, заключается в том, что необратимость вызвана обычными случайностями»
- Физика не "запрещает" обратного разделения газа в ящике, просто вероятность этого события крайне мала. Поэтому второй закон попросту вероятностный: статистически все стремится к максимальной энтропии. Вероятность (точнее, невероятность) того, что тепло перейдет от более холодного тела к теплому (без помощи извне), идентична вероятности появления порядка из хаоса(без помощи извне)
и
- На самом деле оба факта существуют лишь статистически: если посчитать все возможные состояния системы, беспорядочных состояний окажется гораздо больше упорядоченных. Существует много способов организации (или "состояний”), в которых молекулы в беспорядке, и оч. немного таких, когда они аккуратно вписаны в некую систему. Упорядоченные состояния имеют низкую вероятность и низкую энтропию
7. Гены-ДНК-мемы
- Шредингер не раскрыл код жизни, идя от квантовой физики. А Докинз заявил: ген - это не несущая инфо макромолекула, ген и есть сама инфо. Гены состоят из битов
- Мемы поверх нас, репликаторов - см Докинз Selfish Gene. Мы переносчики мемов и делаем возможным их существование. Мемы могли быть не только словами - подражания достаточно, чтобы передать знание - у животных шимпанзе и гориллы могут перенимать поведение путем имитации. Большую часть истории человека мемы и язык шли рука об руку. Язык служит первым катализатором формирования культуры. Он намного мощнее простой имитации, поскольку распространяет знание через абстракцию и кодирование
- По мере того, как кривая инфо склоняется ко все большим возможностям связи, мемы развиваются быстрее и едут дальше. Их присутствие чувствуется в проявлениях стадного чувства, в панических набегах на банки, кумулятивном эффекте течения инфо и финансовых пузырях итп
- Большая часть биосферы не может видеть инфосферу, это параллельная Вселенная с призрачными обитателями. Но для нас они реальны. Мы единственные среди органических созданий на Земле, кто живет в обоих мирах сразу
8. Случайность
- Сложность Колмогорова-Хайтина в математике означает то же, что энтропия в термодинамике - антидот совершенству. Как не может быть вечного двигателя, так и не может быть полной формальной системы аксиом
- Большинство чисел случайны. Но доказать это можно для оч. немногих из них. Хаотичный поток инфо может скрывать простой алгоритм. ОДНАКО пройти путь назад от хаоса к алгоритму, скорее всего, невозможно. Иногда да, чаще нет
- Некоторые факты математики истинны без причины. Они случайны, нет обоснования или скрытого значения
5. Кибернетика
- Винер - кибернетик, описывал поведение машин. Бихевиористы и психологи тоже - Павлов итп
- Шеннон и Тьюринг много виделись в 1940ые. Тьюринг написал статью о вычислимых числах, описана универсальная вычислительная машина - комп Тьюринга (Turing machine) - фантастическая, абстрактная, целиком воображаемая машина. Он показал, что любая формальная система должна иметь неразрешимые утверждения. Математика неразрешима. Неполнота следует из невычислимости
6. Энтропия
- Энтропия не была видом энергии или ее количеством - это была, как сказал Клаузиус, недоступность энергии. Оказалось, что это измеримо
- С энтропией законы термодинамики можно выразить оч.аккуратно:
№1: Количество энергии во Вселенной постоянно
№2: Энтропия Вселенной всегда растет
- Молекулы смешиваются, быстрые сталкиваются с медленными, энергия течет и в итоге газ достигнет одинаковой t во всем объеме
- Вопрос: почему этот процесс нельзя обратить? В уравнениях движения Ньютона время может иметь как +, так и - знак, математика работает в обе стороны. Но в реальном мире прошлое и будущее нельзя поменять местами, процессы движутся только в одном направлении. Причина этому - вероятность
- У физиков заняло много времени принять, что каждый необратимый процесс нужно как-то объяснить. Само время зависит от шанса, или "случайностей", как Фейнман: «Ну, вы понимаете, что единственный вывод, к которому здесь можно прийти, заключается в том, что необратимость вызвана обычными случайностями»
- Физика не "запрещает" обратного разделения газа в ящике, просто вероятность этого события крайне мала. Поэтому второй закон попросту вероятностный: статистически все стремится к максимальной энтропии. Вероятность (точнее, невероятность) того, что тепло перейдет от более холодного тела к теплому (без помощи извне), идентична вероятности появления порядка из хаоса(без помощи извне)
и
- На самом деле оба факта существуют лишь статистически: если посчитать все возможные состояния системы, беспорядочных состояний окажется гораздо больше упорядоченных. Существует много способов организации (или "состояний”), в которых молекулы в беспорядке, и оч. немного таких, когда они аккуратно вписаны в некую систему. Упорядоченные состояния имеют низкую вероятность и низкую энтропию
7. Гены-ДНК-мемы
- Шредингер не раскрыл код жизни, идя от квантовой физики. А Докинз заявил: ген - это не несущая инфо макромолекула, ген и есть сама инфо. Гены состоят из битов
- Мемы поверх нас, репликаторов - см Докинз Selfish Gene. Мы переносчики мемов и делаем возможным их существование. Мемы могли быть не только словами - подражания достаточно, чтобы передать знание - у животных шимпанзе и гориллы могут перенимать поведение путем имитации. Большую часть истории человека мемы и язык шли рука об руку. Язык служит первым катализатором формирования культуры. Он намного мощнее простой имитации, поскольку распространяет знание через абстракцию и кодирование
- По мере того, как кривая инфо склоняется ко все большим возможностям связи, мемы развиваются быстрее и едут дальше. Их присутствие чувствуется в проявлениях стадного чувства, в панических набегах на банки, кумулятивном эффекте течения инфо и финансовых пузырях итп
- Большая часть биосферы не может видеть инфосферу, это параллельная Вселенная с призрачными обитателями. Но для нас они реальны. Мы единственные среди органических созданий на Земле, кто живет в обоих мирах сразу
8. Случайность
- Сложность Колмогорова-Хайтина в математике означает то же, что энтропия в термодинамике - антидот совершенству. Как не может быть вечного двигателя, так и не может быть полной формальной системы аксиом
- Большинство чисел случайны. Но доказать это можно для оч. немногих из них. Хаотичный поток инфо может скрывать простой алгоритм. ОДНАКО пройти путь назад от хаоса к алгоритму, скорее всего, невозможно. Иногда да, чаще нет
- Некоторые факты математики истинны без причины. Они случайны, нет обоснования или скрытого значения
Naval Ravikant 1 час говорил с Balaji Srinivasan на Network State Conference 2024 (вот конспект конфы в 2023ем). Он редкий пример не академического, а практикующего философа (а-ля Тиль и Хоффман) и всегда глубок, я в 2021 писал про его альманах, в 2022 про фаундерство:
Бизнес
- 6 лет назад дал серию лаконичных твитов как разбогатеть без помощи удачи - что он понял/освоил [10% от общего объема] про построение жизни с financial freedom
- Почти все богатства на самом деле - это знания, тк сейчас любой бизнес подразумевает технологии, а без них ресурсы - это просто груды земли. Богатство = встройка в эти преобразования материи. Знаний про это в инете оч много
- Но есть еще и особые знания - это что мир хочет или в чем он нуждается - и такой тип знаний круто монетизируем
- Я думаю о терраформировании
- Если GPT что-то умеет, то не монетизируете. А креативность - это решение новых, неизведанных проблем
AI
- AI - просто вычисления на естественном языке, а не решение проблем, о которых мы не знаем. Это как грузчики/стиралки/авто для тяжелой мысленной работы:
1) Перевод
2) Транскрибация
3) Кодинг
4) Вождение
5) Генеративный art
6) Категоризация
- тут AI мега-экстраполятор. Ничего из этого не решает новые проблемы/идеи. Но освобождает нам время на креативность
- В экономике/политике просто экстраполяции паттернов уже мало. И мы - универсальные объяснятели, а AGI мы пока делаем через детей =)
- У AI нет желаний, а безопасный AI - это логическое противоречие - креативность по-определению нечто безграничное. Да мы выдачу LLM не можем предсказать..
Общество
- Будущее распределено неравномерно. В Долине недопонимают, как же люди технически неграмотны. Большинству оч. некомфортны азы математики, но почему-то их отсутствие считается чем-то безобидным. Эти навыки требуют усилий. Да и просто освоить базовую статистику
- Поиск истин индивидуален. Группы эффективны для выполнения задач, но если вы ищете истину - лучше быть индивидом, следуя своему неисчерпаемому любопытству. Инструментов в избытке, главное - желание
- Любая революция делается малой группой оч. инновационных единомышленников: отцы-основатели США, наука, Долина итп. Связное сообщество сотен-тысяч людей меняет мир для всех остальных
Политика
- Когда люди/компании что-то создали, то начинают это сохранять / регуляции / сетевые эффекты - переходят в режим эксплуатации. У Маска нет $250 млрд если попробовать откэшить, это стоимость надежд людей стать межпланетными
- Рынок наказывает кучу отдельных индивидов за их ошибки, а политика нет - это применение власти без заслуг, без механизма исправления ошибок. Там наоборот все в группу сливаются
- Рынки демократичны + мудрость толпы, а выборы - нет, там просто поиск группы большинства (даже и 51%). Крипто и инет в этом плане круто, тк можно выстроить репутационные механизмы доверия, госуправление снизу вверх
- Будущее оборонки и разведки - все на дронах, США проспали эту революцию, в тч зависят в массовом производстве от Китая. Может Elon засолвит?
Саморазвитие
- Главные достижения Naval драйверились от следования внутренней страсти. Каждый сам в себе открывает, что это такое. И эти навязчивые идеи - что-то во внешнем мире, а не про себя, а иначе депрессии итп
- Развитие - это оценка истин изнутри себя, идя к себе без оглядки на других. Его альманах это вовсе не пачка ответов - вы должны из убеждений найти свои ответы. Любимое: "Быть одиноким - удел всех великих душ" (с) Шопенгауер. Отходишь от чужих систем к умным людям
- Книги: Начало бесконечности и Структура реальности физика Д.Дойча
- Не купить: здоровье, спокойный разум, дом полный любви и выражение своей любви к другим
- Создавайте, стройте, не ищите респекты (это просто побочный продукт, а само по себе - ведет к славе, превращает в звезду, часто - жалкую)
//
Интересно:
- Naval раньше медитировал по часу в день и пока психотерапию критикует (“10 лет ходить круги вокруг себя?”), но вдруг (раньше нет) стал упоминать ее - дозревает? =)
- Маск отрицает, но ради блага нашей цивилизации - и не надо )
а
- Тиль уже публично о психотерапии говорит, e.g. см в конце поста
Бизнес
- 6 лет назад дал серию лаконичных твитов как разбогатеть без помощи удачи - что он понял/освоил [10% от общего объема] про построение жизни с financial freedom
- Почти все богатства на самом деле - это знания, тк сейчас любой бизнес подразумевает технологии, а без них ресурсы - это просто груды земли. Богатство = встройка в эти преобразования материи. Знаний про это в инете оч много
- Но есть еще и особые знания - это что мир хочет или в чем он нуждается - и такой тип знаний круто монетизируем
- Я думаю о терраформировании
- Если GPT что-то умеет, то не монетизируете. А креативность - это решение новых, неизведанных проблем
AI
- AI - просто вычисления на естественном языке, а не решение проблем, о которых мы не знаем. Это как грузчики/стиралки/авто для тяжелой мысленной работы:
1) Перевод
2) Транскрибация
3) Кодинг
4) Вождение
5) Генеративный art
6) Категоризация
- тут AI мега-экстраполятор. Ничего из этого не решает новые проблемы/идеи. Но освобождает нам время на креативность
- В экономике/политике просто экстраполяции паттернов уже мало. И мы - универсальные объяснятели, а AGI мы пока делаем через детей =)
- У AI нет желаний, а безопасный AI - это логическое противоречие - креативность по-определению нечто безграничное. Да мы выдачу LLM не можем предсказать..
Общество
- Будущее распределено неравномерно. В Долине недопонимают, как же люди технически неграмотны. Большинству оч. некомфортны азы математики, но почему-то их отсутствие считается чем-то безобидным. Эти навыки требуют усилий. Да и просто освоить базовую статистику
- Поиск истин индивидуален. Группы эффективны для выполнения задач, но если вы ищете истину - лучше быть индивидом, следуя своему неисчерпаемому любопытству. Инструментов в избытке, главное - желание
- Любая революция делается малой группой оч. инновационных единомышленников: отцы-основатели США, наука, Долина итп. Связное сообщество сотен-тысяч людей меняет мир для всех остальных
Политика
- Когда люди/компании что-то создали, то начинают это сохранять / регуляции / сетевые эффекты - переходят в режим эксплуатации. У Маска нет $250 млрд если попробовать откэшить, это стоимость надежд людей стать межпланетными
- Рынок наказывает кучу отдельных индивидов за их ошибки, а политика нет - это применение власти без заслуг, без механизма исправления ошибок. Там наоборот все в группу сливаются
- Рынки демократичны + мудрость толпы, а выборы - нет, там просто поиск группы большинства (даже и 51%). Крипто и инет в этом плане круто, тк можно выстроить репутационные механизмы доверия, госуправление снизу вверх
- Будущее оборонки и разведки - все на дронах, США проспали эту революцию, в тч зависят в массовом производстве от Китая. Может Elon засолвит?
Саморазвитие
- Главные достижения Naval драйверились от следования внутренней страсти. Каждый сам в себе открывает, что это такое. И эти навязчивые идеи - что-то во внешнем мире, а не про себя, а иначе депрессии итп
- Развитие - это оценка истин изнутри себя, идя к себе без оглядки на других. Его альманах это вовсе не пачка ответов - вы должны из убеждений найти свои ответы. Любимое: "Быть одиноким - удел всех великих душ" (с) Шопенгауер. Отходишь от чужих систем к умным людям
- Книги: Начало бесконечности и Структура реальности физика Д.Дойча
- Не купить: здоровье, спокойный разум, дом полный любви и выражение своей любви к другим
- Создавайте, стройте, не ищите респекты (это просто побочный продукт, а само по себе - ведет к славе, превращает в звезду, часто - жалкую)
//
Интересно:
- Naval раньше медитировал по часу в день и пока психотерапию критикует (“10 лет ходить круги вокруг себя?”), но вдруг (раньше нет) стал упоминать ее - дозревает? =)
- Маск отрицает, но ради блага нашей цивилизации - и не надо )
а
- Тиль уже публично о психотерапии говорит, e.g. см в конце поста
Илья Ясный из Lancebio VC уделил мне 1,5 часа интервью про биотех индустрию (Youtube + его ТГ канал):
Про Илью и его инвесторский путь
- Химик, рисечил в стартапе нобелевского лауреата, потом открыл для себя мир фарма VC, десятки сделок. Но были и девайсы: TransMedics - возить легкие/сердце/печень для пересадки НЕ ЗАМОРАЖИВАЯ, свои private jets по USA
- Сейчас они как хедж-фонд - в публичные компании (в биотехе IPO рано, по оценке в сотни млн $), несколько лет срок инвестиций + консультируют по сделкам в стартапы
А есть условный Elon Musk в фарме?
- Noubar Afeyan с его Flagship Pioneering - 25 лет инкубируют биотехи, 100 компаний, в тч CRISPR или нашумевшая Moderna
- В отл. от инжиниринга (научного риска нет) типа SpaceX итп в фарме можно только собирать портфель проектов, а не какую-то одну тему масштабировать
Продление жизни
- Нет не только теорий, да даже и просто маркеров старения. И маркеры же лет 10-20 проверять надо.. Bryan Johnson опирается на эпигенетику/метилирование, но это потом могут и опровергнуть
- Когда что-то теоретическое нащупают - эффект будет не моментальный. Так, в онкологии теорию рожали в 1970-90ые, и в 2000ые выстрелило много лекарств от рака
- В сфере немало самообмана от слишком истовой веры. В фарме тоже, поэтому нередко клинические испытания при переходе от сотен или тыс пациентов к массовым испытаниям фэйлят (!) - т.е. когда уже РЕАЛЬНО рандомно/вслепую и подбор пациентов, и ВРАЧЕЙ (тоже влияет!!)
Бигфарма vs. стартапы
- Раньше корпорации все IP (intellectual property) сами делали, а сейчас а-ля половину делают стартапы. Причем у бигфармы теперь и у самих куча своих VC фондов и они сами рано партнерятся со стартапами как миноритарии, а потом дорого поглощают выстрелившие блокбастеры
- Фарме надо постоянно ваять себе pipeliine, тк после истечения патентов (20 лет с момента подачи, т.е. 10 лет с момента старта продаж) конкуренты могут клепать дженерики
Eroom’s law (слово из закона moorE задом наперед)
- Цена создания новых препаратов экспоненциально росла с 1950ых, но в 2010ые вроде стабилизировалась. Связано со сложностью объекта биологии, все низковисящие яблоки посрывали, и теперь сложные болезни..
- FDA, на самом деле, в целом оч открыты к прогрессу, вопреки интерпретации медиа
AI
- Это лет через 5-10 будет частью software stack всей фармы, но не самодостаточной
- Вопрос не в возможно ли вообще создать с AI лекарства, а сможет ли этот объем превосходить людей: в ходе создания лекарств оч много решений людьми - начиная от какие цели выбрать до какие молекулы дизайнить и до как клинические испытания проводить
- AlphaFold от Deepmind (предсказывать 3d структуру белков) - гигантский прорыв, но все остальные части биотех инфраструктуры тоже должны подтянуться. И, кстати, геном пока коряво редактируют, это еще развивать и развивать
Точки роста
- Нарастить на порядки объемы данных (e.g. клинические испытания - это жалкие десятки тыс datapoints - ниачем) + научиться их чистить (сейчас доступные данные нереально грязные, а в AI же "garbage in, garbage out")
- Связь всех данных между собой: между доменами, начиная от клинических испытаний и до клеток (про мозг, кстати, ничего не знаем, Альцгеймер-Паркинсон) / протеомики итд итп и до материаловедения
- Учиться ремонтировать отдельные клетки, а то нанороботы Курцвейла уже лет 25 все мечты
Прочее
- Понял, что предикторы плохих проектов: overpromise вместе с underdelivery
- Theranos в ответ на уточняющие вопросы просто выходили из коммуникации “вы не понимаете”, так что биотех VC их пропустили. Биотех VC скипают стартапы даже если у них просто есть несоответствия между данными..
- Ozempic, конечно, агонь, но круче если бы сделали таблетку/генную терапию, чтобы мышечная масса не падала (и в идеале разовая: сделал и забыл =)
Следить за трендами + погрузиться
- Блоги InThePipeline, LifeSci VC
- Подкасты Biotech Hangout, BiotechTV, Biocentury
- Курсы Healthcare marketplace, Design & interpretation of clinical trials, Systems thinking in public health
- Книги top100 про biotech (НЕ учебники)
- Посты Ильи на Биомолекуле
Про Илью и его инвесторский путь
- Химик, рисечил в стартапе нобелевского лауреата, потом открыл для себя мир фарма VC, десятки сделок. Но были и девайсы: TransMedics - возить легкие/сердце/печень для пересадки НЕ ЗАМОРАЖИВАЯ, свои private jets по USA
- Сейчас они как хедж-фонд - в публичные компании (в биотехе IPO рано, по оценке в сотни млн $), несколько лет срок инвестиций + консультируют по сделкам в стартапы
А есть условный Elon Musk в фарме?
- Noubar Afeyan с его Flagship Pioneering - 25 лет инкубируют биотехи, 100 компаний, в тч CRISPR или нашумевшая Moderna
- В отл. от инжиниринга (научного риска нет) типа SpaceX итп в фарме можно только собирать портфель проектов, а не какую-то одну тему масштабировать
Продление жизни
- Нет не только теорий, да даже и просто маркеров старения. И маркеры же лет 10-20 проверять надо.. Bryan Johnson опирается на эпигенетику/метилирование, но это потом могут и опровергнуть
- Когда что-то теоретическое нащупают - эффект будет не моментальный. Так, в онкологии теорию рожали в 1970-90ые, и в 2000ые выстрелило много лекарств от рака
- В сфере немало самообмана от слишком истовой веры. В фарме тоже, поэтому нередко клинические испытания при переходе от сотен или тыс пациентов к массовым испытаниям фэйлят (!) - т.е. когда уже РЕАЛЬНО рандомно/вслепую и подбор пациентов, и ВРАЧЕЙ (тоже влияет!!)
Бигфарма vs. стартапы
- Раньше корпорации все IP (intellectual property) сами делали, а сейчас а-ля половину делают стартапы. Причем у бигфармы теперь и у самих куча своих VC фондов и они сами рано партнерятся со стартапами как миноритарии, а потом дорого поглощают выстрелившие блокбастеры
- Фарме надо постоянно ваять себе pipeliine, тк после истечения патентов (20 лет с момента подачи, т.е. 10 лет с момента старта продаж) конкуренты могут клепать дженерики
Eroom’s law (слово из закона moorE задом наперед)
- Цена создания новых препаратов экспоненциально росла с 1950ых, но в 2010ые вроде стабилизировалась. Связано со сложностью объекта биологии, все низковисящие яблоки посрывали, и теперь сложные болезни..
- FDA, на самом деле, в целом оч открыты к прогрессу, вопреки интерпретации медиа
AI
- Это лет через 5-10 будет частью software stack всей фармы, но не самодостаточной
- Вопрос не в возможно ли вообще создать с AI лекарства, а сможет ли этот объем превосходить людей: в ходе создания лекарств оч много решений людьми - начиная от какие цели выбрать до какие молекулы дизайнить и до как клинические испытания проводить
- AlphaFold от Deepmind (предсказывать 3d структуру белков) - гигантский прорыв, но все остальные части биотех инфраструктуры тоже должны подтянуться. И, кстати, геном пока коряво редактируют, это еще развивать и развивать
Точки роста
- Нарастить на порядки объемы данных (e.g. клинические испытания - это жалкие десятки тыс datapoints - ниачем) + научиться их чистить (сейчас доступные данные нереально грязные, а в AI же "garbage in, garbage out")
- Связь всех данных между собой: между доменами, начиная от клинических испытаний и до клеток (про мозг, кстати, ничего не знаем, Альцгеймер-Паркинсон) / протеомики итд итп и до материаловедения
- Учиться ремонтировать отдельные клетки, а то нанороботы Курцвейла уже лет 25 все мечты
Прочее
- Понял, что предикторы плохих проектов: overpromise вместе с underdelivery
- Theranos в ответ на уточняющие вопросы просто выходили из коммуникации “вы не понимаете”, так что биотех VC их пропустили. Биотех VC скипают стартапы даже если у них просто есть несоответствия между данными..
- Ozempic, конечно, агонь, но круче если бы сделали таблетку/генную терапию, чтобы мышечная масса не падала (и в идеале разовая: сделал и забыл =)
Следить за трендами + погрузиться
- Блоги InThePipeline, LifeSci VC
- Подкасты Biotech Hangout, BiotechTV, Biocentury
- Курсы Healthcare marketplace, Design & interpretation of clinical trials, Systems thinking in public health
- Книги top100 про biotech (НЕ учебники)
- Посты Ильи на Биомолекуле