Голосуем о том, верна ли тееория квантвого бессмертия тут https://manifold.markets/AlexeiTurchin/is-the-theory-of-quantum-immortalit

Отрицание плохости смерти противоречит уже существующей этике: то, что не всё сделано для продления жизни, равносильно убийству людей. И те, кто ободряют смерть, но не собираются умереть сегодня – лицемеры.

ground truth: there was no google meet call with real board: Gemini faked it.

всё про Q: https://docs.google.com/document/u/0/d/1RyVP2i9wlQkpotvMXWJES7ATKXjUTIwW2ASVxApDAsA/mobilebasic

самотравление нейросетей https://arxiv.org/abs/2311.12202?fbclid=IwAR2rNkgn96tyefRV4md8wsWQsmlIfctHi7-oDuRUhCOaHHWy1aNQ0pCydco

Секрет Q: эвриско воскрес https://white-flame.com/am-eurisko.html?fbclid=IwAR04saSf4W7P6ZyKI6h8orPhMpzAq83vn_zGwYwY-H8hNMnHgsaECHw8cl0_aem_AY3LlR6ieYqjLXHzLu4eVPYWtYFoD8khhLnpsUIHQZVzBq055sE3KUbg172Hl9Mm4NQ

Обзор по Гайяне https://twitter.com/lymanstoneky/status/1729982851779559697

P(doom) roundup: what probability do people put on AI killing everyone?

- Vitalik Buterin (Ethereum): 10%
- Zvi Mowshowitz: 60%
- Elon Musk: 20-30%
- Scott Alexander: 20-25%
- Dario Amodei (CEO, Anthropic): 10-25%
- Jan Leike (Head of Alignment, OpenAI): 10-90%
- Geoffrey Hinton (Godfather of AI): 10%

- Paul Christiano (Former Head of Alignment at OpenAI, inventor of RLHF): 50%

- Lina Khan (FTC Chair): 15%

- Average AI engineer (Oct 2023): ~40%

- Average ML researcher (in spring 2022, before things got crazy): 10%

- Dan Hendrycks: recently updated from 20% to 80%

- Average AI alignment researcher: 30%

- Extinction tournament (median for AI experts): 20% chance of catastrophe, 6% chance of extinction

- Extinction tournament (median for non-AI experts): 9% chance of catastrophe, 1% chance of extinction

- BACA Research: 50%

- Scott Aaronson: 2%

- Conjecture AI researchers: 80%

- Eli Lifland: 35%

- Eliezer Yudkowsky: >95%

- Nate Soares: >95% (I think?)

- Holden Karnofsky: 50%

- Average American: 26%

Note: these are just a few I recall from memory and could easily find sources for.

What’s your p(doom)?

My take: I agree with
@TheZvi
- if your p(doom) is anywhere between 10-90%, it shouldn’t really change what you do, that’s plenty high to justify urgent action.

* Disclaimers: p(doom) usually means as “extinction or similarly bad outcome” but everyone defines it differently, some of these are old and may have changed, many people added various caveats and conditionals, etc.

Just squint and notice the general pattern:  a few tech companies are playing Russian Roulette with humanity.

бенчмарк трудных задач для GPT https://arxiv.org/pdf/2311.12983.pdf

DeepMind, возможно, снова резко пнули кинули двинули (!) науку вперёд (как с AlphaFold):
представили GNoME (Graph Networks for Material Exploration)

1) Это графовая сетка, способная не только предсказывать кристаллические структуры материалов, но и их стабильность
2) Все найденные материалы (а их уже, по словам ДМ, 380,000 - стабильных, и 2.2 млн всего) будут выложены в открытый доступ
3) За последнеи десять лет вычислительным путём было найдено около 28 тысяч стабильных кристаллических структур ⇒ то есть DM, по их подсчётам, набросал эквивалент ~800 лет ресерча
4) Среди обнаруженного - 52,000 потенциально новых структур графен-подобных материалов (сверхпроводники), 528 аналогов литиевых проводников (аккумуляторы)
5) Состоит из двух путей: структурного (аналоги известных материалов) и композиционного (~рандомная генерация) ➟ проверка на стабильность ➟ дальнейшая проверка (Density Functional Theory)

📚 Папира
🎥 Минутный видос - дашборд, как люди заходили и использовали БД с материалами (чут чут кусат завораживает)
📚 Беркли делает лабу для автономного синтеза материалов. Выглядит модно, и за 17 дней эксперимента насинтезировала 41/58 материалов - для сравнения, человеку могут потребоваться недели-месяцы на один материал (особенно когда нет финансирования...)

главный принцип общения с лэндлордом: все хорошо, прекрасная маркиза

Парадокс Тесея не связан с человеческой идентичностью. Предполагается, что корабль Тесея может быть идентичен в два разных момента времени. Человек не является само-идентичным в любые два разных момента времени. именно поэтому для обеспечения идеи идетичности вводится конструкт непрерывности сознания, тогда как у корабля Тесея нет этой непрерывности.

Трансгуманизм который мы заслужили

Jeff bezos делает вот что In August, The Information reported that Extropic, which was previously called Qyber, was designing a microchip “specifically to run LLMs,” or large language models. It has raised money from venture capital firms Hof Capital, Julian Capital, Buckley Ventures, and other minor investors. Verdon says he has raised $14.1 million.