Ещё одно интервью с Ильёй Суцкевером (co-founder & chief AI scientist в OpenAI, компании, создающей ChatGPT)

https://youtu.be/Yf1o0TQzry8

Из интересного:

• Экономический эффект от AI растёт с экспоненциальными темпами, и к 2030 AI будет занимать значимый процент мирового ВВП;
• Главное препятствие для распространения AI сейчас: надёжность;
• Задача Next-token-predicion не просто заставляет модель выучить статистические паттерны языка, но и понять стоящую за ними модель мира, включая поведение людей, их мысли и т.п.
• AI сейчас плохо продумывает ответ перед тем как его сказать, но если ему разрешить думать вслух (“let’s think step by step”) – то проблема решается;
• В какой-то момент мы упрёмся в нехватку новых данных для обучения, но пока ситуация хорошая;
• Чтобы AI пришёл в робототехнику, нужно построить 10,000 роботов и начать собирать с них данные;
• Проблему Human Alignment надо решать комбинацию подходов: смотреть на поведение, проводить стресс-тесты, заглядывать внутрь модели и т.д.
• Идея Alignment Criteria Competition с призом в 1 млрд долларов;
• Анализ и понимание прошлых результатов (своих и чужих) – существенно важнее, чем генерация новых идей;
• Дешевое железо породило персональный компьютер. Персональный компьютер породил геймеров и интернет (Web). Интернет породил большие данные. Геймеры породили GPU. Большие данные и GPU породили AI. Это не было случайным совпадением факторов. Появление AI было неизбежно.
• Вдохновляться человеческим мозгом при разработке AI систем дело полезное, если уметь отделять, что существенно, а что нет.

P.S. В общем, если AGI поработит мир, винить во всём будем геймеров.

#openai #gpt3 #gpt4 #ai #agi #interview #ml #chatgpt #takeways

Cal Newport (автор книг "Deep Work", "Digital Minimalism" и других) дискутирует по поводу статьи "There Is No Turning Back on AI. The only question is: will we learn how to live in moving history?" от Tyler Cowen, экономиста и профессора в George Mason University.

• AI ввергает нас в эру, когда историческая хуйня происходит, буквально, каждый день. AI кардинально поменяет и продолжит менять нашу цивилизацию: будет много очень "плохого", но "хорошего" будет существенно больше.

• Уже избитая аналогия, что ChatGPT это как изобретение печатной машины Гутенберга: да, это облегчает письмо для писателей, журналистов, учёных – но также облегчило Ленину, Гитлеру и Мао напечатать свои труды, которые привели к "нехорошему".

• Сейчас никто не скажет внятно, что будет происходить в мире, ни Эльезер Юдковский, ни Сэм Альман, ни Игорь Котенков. Долгосрочным и среднесрочным горизонтам планирования можете сказать "пака!". Никто не мог сказать как зааффектит наше общество изобретение печатного станка и тем более огня.

• Разрушать проще, чем строить. Поэтому Эльезер и его LessWrong-банда любят сгущать краски своими пессимистичными прогнозами как мы все умрём. Это лишь даёт иллюзии предсказуемости будущего. Такие однозначные "предсказания" изготавливать и распространять проще.

• Вообще говоря, риск AGI-катастрофы должен быть отнесён в ту же папочку, что и риск падения астероида как тот, что убил динозавров, или гамма-всплеск WR104, которая на расстоянии вытянутой руки (8000 световых лет) от нас.

• Короче говоря, сейчас кто слишком конкретен в своих предсказаниях об импакте AGI на наше общество, – мутные, реактивные чуваки, не доверяйте им. Смотрите на данные: какие индустрии поменялись, где увольняют 50% сотрудников, – это самый надёжный ориентир того, что фактически происходит.

• Нулевая гипотеза, что AI нихуя не поменяет в следующие 5 лет, и мы не собрали пока достаточно наблюдений, чтобы статистически значимо её отвергнуть.

#ml #ai #agi #chatgpt #calnewpork #followup #takeaway #thesis #youtube