Excited to dive into the world of Large Language Models (LLMs) today!
Many of you have probably heard about LLMs through popular names like ChatGPT from OpenAI, Claude from Anthropic, Google's Gemini, and Meta's LLaMA
Today, I'll be giving an overview of how these powerful chatbots work
We'll touch upon the key components essential for training these models.
The focus is not on architecture (especially since I recently covered transformers extensively), but on other critical components like training data, evaluation methods, and systems
These elements are crucial but often less talked about
We'll explore how LLMs are pre-trained to understand vast probabilities of language and then post-trained to function as adept AI assistants, tailored for specific tasks
We'll also discuss challenges in training these models, from managing compute resources to ensuring ethical data use
Feel free to interrupt and ask questions during the lecture—your curiosity could help others too!
Stay tuned for insights into the practical applications and limitations of LLMs, and why data and systems are as critical as the models themselves in the industry
Looking forward to a lively and informative session!
Many of you have probably heard about LLMs through popular names like ChatGPT from OpenAI, Claude from Anthropic, Google's Gemini, and Meta's LLaMA
Today, I'll be giving an overview of how these powerful chatbots work
We'll touch upon the key components essential for training these models.
The focus is not on architecture (especially since I recently covered transformers extensively), but on other critical components like training data, evaluation methods, and systems
These elements are crucial but often less talked about
We'll explore how LLMs are pre-trained to understand vast probabilities of language and then post-trained to function as adept AI assistants, tailored for specific tasks
We'll also discuss challenges in training these models, from managing compute resources to ensuring ethical data use
Feel free to interrupt and ask questions during the lecture—your curiosity could help others too!
Stay tuned for insights into the practical applications and limitations of LLMs, and why data and systems are as critical as the models themselves in the industry
Looking forward to a lively and informative session!
Алан Тьюринг в 1950 году сформулировал простой критерий: если в слепой беседе человека от машины отличить не удаётся, машина мыслит
Группа из Калифорнийского университета в Сан-Диего впервые официально провела этот тест в исходной форме. Результаты опубликованы в Proceedings of the National Academy of Sciences
Машины тест выиграли
Методика — без отступлений от оригинала
Около 500 испытуемых (студенты UCSD плюс онлайн-аудитория, привлечённая через платформу платных исследований) садились перед разделённым экраном и одновременно вели диалог с двумя собеседниками — одним живым и одной моделью
Через пять минут — в отдельной серии через пятнадцать — нужно было указать, где из двоих машина
Что показали цифры:
GPT-4.5 с подготовительным промптом признавали человеком в 73 % случаев
Это чаще, чем настоящего собеседника
LLaMa-3.1-405B с тем же промптом — 56 %
На уровне людей
Без промпта те же модели падают: GPT-4.5 — 36 %, LLaMa-3.1 — 38 %
ELIZA, чат-бот шестидесятых, исторический контрольный образец — 23 %
GPT-4o без подсказки — 21 %
Промпт здесь — не инструкция по теме, а инструкция по роли: какого характера придерживаться, в каком стиле общаться, какие именно человеческие ошибки допускать
Кэмерон Джонс, психолог, ведущий это исследование в рамках докторской по когнитивистике в UCSD, говорит, что модели научились передавать тон, прямоту, юмор — и, что важнее, типичные сбои живой речи
Соавтор работы профессор Бен Берген обозначает границу: «У них есть способность казаться похожими на людей, но они не в состоянии самостоятельно понять, что для этого нужно»
То есть имитация работает только при внешней настройке
Из этого следует практический риск
Если в обычной переписке человек больше не отличает живого собеседника от LLM — пять минут диалога этого больше не дают, — то применений хватает с лихвой
Берген называет очевидных пользователей напрямую: те, кому нужно выманить у людей номера социальных страховок, голос на выборах или конкретную покупку
Джонс короче: тест Тьюринга — игра в обман, и модели в неё играют успешно
Группа из Калифорнийского университета в Сан-Диего впервые официально провела этот тест в исходной форме. Результаты опубликованы в Proceedings of the National Academy of Sciences
Машины тест выиграли
Методика — без отступлений от оригинала
Около 500 испытуемых (студенты UCSD плюс онлайн-аудитория, привлечённая через платформу платных исследований) садились перед разделённым экраном и одновременно вели диалог с двумя собеседниками — одним живым и одной моделью
Через пять минут — в отдельной серии через пятнадцать — нужно было указать, где из двоих машина
Что показали цифры:
GPT-4.5 с подготовительным промптом признавали человеком в 73 % случаев
Это чаще, чем настоящего собеседника
LLaMa-3.1-405B с тем же промптом — 56 %
На уровне людей
Без промпта те же модели падают: GPT-4.5 — 36 %, LLaMa-3.1 — 38 %
ELIZA, чат-бот шестидесятых, исторический контрольный образец — 23 %
GPT-4o без подсказки — 21 %
Промпт здесь — не инструкция по теме, а инструкция по роли: какого характера придерживаться, в каком стиле общаться, какие именно человеческие ошибки допускать
Кэмерон Джонс, психолог, ведущий это исследование в рамках докторской по когнитивистике в UCSD, говорит, что модели научились передавать тон, прямоту, юмор — и, что важнее, типичные сбои живой речи
Соавтор работы профессор Бен Берген обозначает границу: «У них есть способность казаться похожими на людей, но они не в состоянии самостоятельно понять, что для этого нужно»
То есть имитация работает только при внешней настройке
Из этого следует практический риск
Если в обычной переписке человек больше не отличает живого собеседника от LLM — пять минут диалога этого больше не дают, — то применений хватает с лихвой
Берген называет очевидных пользователей напрямую: те, кому нужно выманить у людей номера социальных страховок, голос на выборах или конкретную покупку
Джонс короче: тест Тьюринга — игра в обман, и модели в неё играют успешно
США отключили Fable 5 и Mythos 5 для всего мира.
Официальная причина: был обнаружен способ использовать Fable 5 для поиска уязвимостей в коде
Проблема в том, что подобные возможности есть практически у всех современных AI-моделей и давно используются разработчиками для защиты программ, а не только для атак
Поэтому главная новость не в самой уязвимости
Главная новость в том, что США фактически показали: передовые AML-модели теперь рассматриваются как стратегическая технология, доступ к которой может ограничиваться по политическим причинам
Что это значит:
• доступ к лучшим моделям больше не гарантирован
• государство может вмешаться даже после запуска продукта
• строить бизнес на одной AI-модели становится рискованно
• рынок всё сильнее движется к разделению на отдельные технологические блоки
Это важный урок: выбирать модель теперь нужно не только по качеству и цене, но и по политическим рискам
Похоже, эпоха «глобального AML для всех» заканчивается быстрее, чем ожидали
Официальная причина: был обнаружен способ использовать Fable 5 для поиска уязвимостей в коде
Проблема в том, что подобные возможности есть практически у всех современных AI-моделей и давно используются разработчиками для защиты программ, а не только для атак
Поэтому главная новость не в самой уязвимости
Главная новость в том, что США фактически показали: передовые AML-модели теперь рассматриваются как стратегическая технология, доступ к которой может ограничиваться по политическим причинам
Что это значит:
• доступ к лучшим моделям больше не гарантирован
• государство может вмешаться даже после запуска продукта
• строить бизнес на одной AI-модели становится рискованно
• рынок всё сильнее движется к разделению на отдельные технологические блоки
Это важный урок: выбирать модель теперь нужно не только по качеству и цене, но и по политическим рискам
Похоже, эпоха «глобального AML для всех» заканчивается быстрее, чем ожидали
В "Principia Mathematica" (1910–1913) Рассел и Уайтхед приходят к выводу «1 + 1 = 2» лишь ближе к концу первого тома, примерно на 362-й странице
Но они вовсе не стремились доказать именно это
Их цель была куда более амбициозной: построить всю математику как логическую систему — без неясностей, парадоксов и «очевидностей по умолчанию»
Чтобы добраться до выражения «1 + 1 = 2», им пришлось начать с нуля: определить, что такое высказывание, что такое логическая связка, как устроено множество, как возникает число как кардинальность, как строится операция сложения и как определяется равенство
Всё, что обычно воспринимается как «по умолчанию», они выстроили шаг за шагом — строго, формально, в логике высших порядков
Когда на странице 362 они наконец подводят:
«Из этого следует, что после определения арифметического сложения 1 + 1 = 2», — они добавляют ироничную сноску:
«Это утверждение иногда бывает полезным»
Юмор в том, что на формальное доказательство базового школьного факта действительно уходит множество предварительных слоёв — настолько, что сам результат кажется несерьёзным по сравнению с тем, что было проделано
Позже, в 1931 году, Курт Гёдель покажет, что даже такая титаническая система не может быть ни полной, ни абсолютно непротиворечивой
Но попытка Рассела и Уайтхеда не была напрасной
Она стала важнейшей вехой в истории логики, повлияла на создание языков программирования, формальных доказательств и представлений о математической строгости
Но они вовсе не стремились доказать именно это
Их цель была куда более амбициозной: построить всю математику как логическую систему — без неясностей, парадоксов и «очевидностей по умолчанию»
Чтобы добраться до выражения «1 + 1 = 2», им пришлось начать с нуля: определить, что такое высказывание, что такое логическая связка, как устроено множество, как возникает число как кардинальность, как строится операция сложения и как определяется равенство
Всё, что обычно воспринимается как «по умолчанию», они выстроили шаг за шагом — строго, формально, в логике высших порядков
Когда на странице 362 они наконец подводят:
«Из этого следует, что после определения арифметического сложения 1 + 1 = 2», — они добавляют ироничную сноску:
«Это утверждение иногда бывает полезным»
Юмор в том, что на формальное доказательство базового школьного факта действительно уходит множество предварительных слоёв — настолько, что сам результат кажется несерьёзным по сравнению с тем, что было проделано
Позже, в 1931 году, Курт Гёдель покажет, что даже такая титаническая система не может быть ни полной, ни абсолютно непротиворечивой
Но попытка Рассела и Уайтхеда не была напрасной
Она стала важнейшей вехой в истории логики, повлияла на создание языков программирования, формальных доказательств и представлений о математической строгости
👍1
Статья от команды DeepMind, которая сформировала главный тезис: достижение AGI - не финал, а начало другого вопроса: что будет дальше?
Для начала авторы дают нам определения понятий:
AGI - система, которая достигает медианного человеческого уровня интеллекта на большинстве когнитивных задач
ASI - система, которая превосходит десятки тысяч специалистов, работающих годами во всех областях
UAI (Universal AI / AIXI) - агент, максимизирующий ожидаемое вознаграждение по всем вычислимым задачам
Авторы используют шкалу Легга–Хаттера как формальное основание: интеллект - это средняя производительность агента по всем вычислимым задачам с весами по обратной сложности Колмогорова
На этой шкале существует непрерывный континуум от сегодняшних систем до UAI
Google DeepMind выделяет 4 пути к ASI:
1. Масштабирование — продолжение текущего тренда
Даже без улучшения отдельной модели: миллион копий AGI, работающих параллельно - это уже другая реальность
2. Смена парадигмы - трансформеры + RLHF не дотянут до ASI
Нужны принципиально новые архитектуры: нейроморфные чипы, аналоговые вычисления, RL-предобучение, явные мировые модели
3. Рекурсивное самоулучшение
Полная автономия - открытый вопрос
4. Мультиагентные коллективы - ASI как коллективное свойствоя, не один сверхумный агент, а миллионы AGI-агентов, организованных в корпорации, рынки, коллективы с высокополосной коммуникацией
Авторы ставят вопрос: нужны «законы масштабирования для многоагентных систем»
Что реально может остановить прогресс?
1. Рост моделей опережает производство текстов людьми
Синтетические данные пока деградируют при итеративном обучении. Спасение - симуляции и агентное взаимодействие с реальным миром
2. Барьер абстракции. Гипотеза: AML, обученные на человеческих символах и концепциях, принципиально не способны открывать новые концепции из сырых данных
Мысленный эксперимент, если обучить современную LLM на знаниях до ньютоновской эпохи выведет ли она общую теорию относительности?
Почти наверняка нет.
Это ограничение может поставить потолок у уровня AGI для отдельной модели и потребовать перехода к воплощённому обучению через физическое взаимодействие с миром
3. Регуляция и замедление
Страны, вводящие ограничения в одностороннем порядке, проигрывают конкурентно
Авторы отмечают, что ASI не будет всемогущим
Скорость света, теорема Гёделя, NP-полнота, физическая невозможность произвольных конфигураций материи - ASI остаётся в рамках физики и теории вычислимости
https://arxiv.org/pdf/2606.12683
Для начала авторы дают нам определения понятий:
AGI - система, которая достигает медианного человеческого уровня интеллекта на большинстве когнитивных задач
ASI - система, которая превосходит десятки тысяч специалистов, работающих годами во всех областях
UAI (Universal AI / AIXI) - агент, максимизирующий ожидаемое вознаграждение по всем вычислимым задачам
Авторы используют шкалу Легга–Хаттера как формальное основание: интеллект - это средняя производительность агента по всем вычислимым задачам с весами по обратной сложности Колмогорова
На этой шкале существует непрерывный континуум от сегодняшних систем до UAI
Google DeepMind выделяет 4 пути к ASI:
1. Масштабирование — продолжение текущего тренда
Даже без улучшения отдельной модели: миллион копий AGI, работающих параллельно - это уже другая реальность
2. Смена парадигмы - трансформеры + RLHF не дотянут до ASI
Нужны принципиально новые архитектуры: нейроморфные чипы, аналоговые вычисления, RL-предобучение, явные мировые модели
3. Рекурсивное самоулучшение
Полная автономия - открытый вопрос
4. Мультиагентные коллективы - ASI как коллективное свойствоя, не один сверхумный агент, а миллионы AGI-агентов, организованных в корпорации, рынки, коллективы с высокополосной коммуникацией
Авторы ставят вопрос: нужны «законы масштабирования для многоагентных систем»
Что реально может остановить прогресс?
1. Рост моделей опережает производство текстов людьми
Синтетические данные пока деградируют при итеративном обучении. Спасение - симуляции и агентное взаимодействие с реальным миром
2. Барьер абстракции. Гипотеза: AML, обученные на человеческих символах и концепциях, принципиально не способны открывать новые концепции из сырых данных
Мысленный эксперимент, если обучить современную LLM на знаниях до ньютоновской эпохи выведет ли она общую теорию относительности?
Почти наверняка нет.
Это ограничение может поставить потолок у уровня AGI для отдельной модели и потребовать перехода к воплощённому обучению через физическое взаимодействие с миром
3. Регуляция и замедление
Страны, вводящие ограничения в одностороннем порядке, проигрывают конкурентно
Авторы отмечают, что ASI не будет всемогущим
Скорость света, теорема Гёделя, NP-полнота, физическая невозможность произвольных конфигураций материи - ASI остаётся в рамках физики и теории вычислимости
https://arxiv.org/pdf/2606.12683