Ilya Sutskever – сооснователь OpenAI, ведущий исследователь в области AI, создатель ChatGPT и просто человек, формирующий наше будущее.

https://youtu.be/SjhIlw3Iffs

Из интересного:

• Next thing prediction is all you need. Ещё недавно все носились с идеей, что обучение без учителя – Грааль машинного обучения, а сегодня задача решена полностью, и об этом никто даже не говорит.
• Наши представления о границах больших языковых моделей меняются из года в год, и мы забываем, насколько сильно.
• Большие языковые модели уже понимают весь мир и все процессы в нём, и отдельная задача: как достать из эти знания из них.
• Подавать картинки на вход модели (делать её мультимодальной, как GPT-4) – помогает быстрее понять отдельные концепты, но не необходимо.
• Предстоящие вызовы: как учить модели понимать всё больше, используя всё меньше данных?
• Будущая роль ИИ в принятии политических и экономических решений. Люди будут голосовать не за партии, а за алгоритмы.

Extremely valuable to watch.

#interview #youtube #ai #ml #chatgpt #gpt3 #gpt4 #openai

Сэм Альтман – CEO и сооснователь OpenAI (компании, создавшей ChatGPT), экс-президент Y-Combinator (самый успешный стартап-акселератор) и ещё один человек, формирующий облик нашего будущего.

https://www.youtube.com/watch?v=L_Guz73e6fw

Выжимка ключевых высказываний:
• Часть 1
• Часть 2
• О разделении OpenAI на 2 компании: non-profit и limited-partnership

Extremely valuable to watch.

#interview #youtube #ai #ml #chatgpt #gpt3 #gpt4 #openai

Ещё одно интервью с Ильёй Суцкевером (co-founder & chief AI scientist в OpenAI, компании, создающей ChatGPT)

https://youtu.be/Yf1o0TQzry8

Из интересного:

• Экономический эффект от AI растёт с экспоненциальными темпами, и к 2030 AI будет занимать значимый процент мирового ВВП;
• Главное препятствие для распространения AI сейчас: надёжность;
• Задача Next-token-predicion не просто заставляет модель выучить статистические паттерны языка, но и понять стоящую за ними модель мира, включая поведение людей, их мысли и т.п.
• AI сейчас плохо продумывает ответ перед тем как его сказать, но если ему разрешить думать вслух (“let’s think step by step”) – то проблема решается;
• В какой-то момент мы упрёмся в нехватку новых данных для обучения, но пока ситуация хорошая;
• Чтобы AI пришёл в робототехнику, нужно построить 10,000 роботов и начать собирать с них данные;
• Проблему Human Alignment надо решать комбинацию подходов: смотреть на поведение, проводить стресс-тесты, заглядывать внутрь модели и т.д.
• Идея Alignment Criteria Competition с призом в 1 млрд долларов;
• Анализ и понимание прошлых результатов (своих и чужих) – существенно важнее, чем генерация новых идей;
• Дешевое железо породило персональный компьютер. Персональный компьютер породил геймеров и интернет (Web). Интернет породил большие данные. Геймеры породили GPU. Большие данные и GPU породили AI. Это не было случайным совпадением факторов. Появление AI было неизбежно.
• Вдохновляться человеческим мозгом при разработке AI систем дело полезное, если уметь отделять, что существенно, а что нет.

P.S. В общем, если AGI поработит мир, винить во всём будем геймеров.

#openai #gpt3 #gpt4 #ai #agi #interview #ml #chatgpt #takeways