Часть 3. Q&A с Андреем Карпаты
Q: В чем разница между сенсорным восприятием, в частности зрением, и ИИ с точки зрения обработки данных и моделирования?
- Разнообразие восприятия: Существует множество способов восприятия мира, каждый из которых имеет свои уникальные характеристики и проблемы.
- Концентрированное восприятие: Текст - чрезвычайно концентрированная модальность по сравнению с другими модальностями, например зрением.
- Обработка визуальной информации, например видео, требует значительно большего объема памяти, зачастую исчисляемого петабайтами.
- Опыт Tesla: В Tesla значительная часть усилий была направлена на оптимизацию пайплайна поглощения данных для обработки огромного количества визуальных данных.
- Соотношение сигнал/шум: Соотношение сигнал/шум варьируется в разных модальностях. Текстовые данные, как правило, имеют более высокое отношение сигнал/шум, в то время как видео часто содержит больше шума по сравнению с релевантной информацией. В случае с видео шум означает, что лишь небольшая часть пикселей может быть полезна для решения конкретной задачи (например, задний красный фонарь автомобиля занимает всего 6 пикселей), в то время как остальные миллионы пикселей по сути бесполезны.
- Фундаментальные (foundational) модели зрения в настоящее время обучаются с использованием дискриминативных подходов, в отличие от генеративных методов, применяемых при обучении больших языковых моделей (LLM). Это различие в методологии обучения влияет на возможности и сферы применения визуального ИИ по сравнению с языковым ИИ.
Q: Что такое искусственный интеллект общего назначения (AGI) и что общего между AGI и агентами?
- Определение AGI: Общепринятое определение AGI - это компьютерная система, которая может выполнять задачи на уровне человека с высшим образованием.
- Агенты и LLM: Агенты - это подход к автоматизации, который предполагает построение while loops вокруг больших языковых моделей (LLM). Эти циклы позволяют LLM взаимодействовать и выполнять задачи в различных средах.
- Текущие ограничения: В настоящее время агенты не отличаются высокой надежностью, что препятствует их широкому распространению и практическому применению.
- Подход компании Tesla: При разработке автономного вождения в Tesla масштабировали возможности системы по частям, начиная с базовых функций, таких как движение по прямой и удержание полосы, и постепенно переходя к более сложным задачам.
- Проектирование агентов: При создании агентов очень важно продумать пользовательский интерфейс и пользовательский опыт (UI/UX), особенно для сценариев, в которых агент может работать не так, как ожидалось. Проектирование агентов с учетом их надежности (reliability) необходимо для их комерческого успеха.
Часть 1.
Часть 2.
Часть 4.
Часть 5.
Часть 6.
Часть 7.
Часть 8.
Часть 9.
Часть 10.
Часть 11.
Часть 12.
Часть 13.
Продолжение следует
Q: В чем разница между сенсорным восприятием, в частности зрением, и ИИ с точки зрения обработки данных и моделирования?
- Разнообразие восприятия: Существует множество способов восприятия мира, каждый из которых имеет свои уникальные характеристики и проблемы.
- Концентрированное восприятие: Текст - чрезвычайно концентрированная модальность по сравнению с другими модальностями, например зрением.
- Обработка визуальной информации, например видео, требует значительно большего объема памяти, зачастую исчисляемого петабайтами.
- Опыт Tesla: В Tesla значительная часть усилий была направлена на оптимизацию пайплайна поглощения данных для обработки огромного количества визуальных данных.
- Соотношение сигнал/шум: Соотношение сигнал/шум варьируется в разных модальностях. Текстовые данные, как правило, имеют более высокое отношение сигнал/шум, в то время как видео часто содержит больше шума по сравнению с релевантной информацией. В случае с видео шум означает, что лишь небольшая часть пикселей может быть полезна для решения конкретной задачи (например, задний красный фонарь автомобиля занимает всего 6 пикселей), в то время как остальные миллионы пикселей по сути бесполезны.
- Фундаментальные (foundational) модели зрения в настоящее время обучаются с использованием дискриминативных подходов, в отличие от генеративных методов, применяемых при обучении больших языковых моделей (LLM). Это различие в методологии обучения влияет на возможности и сферы применения визуального ИИ по сравнению с языковым ИИ.
Q: Что такое искусственный интеллект общего назначения (AGI) и что общего между AGI и агентами?
- Определение AGI: Общепринятое определение AGI - это компьютерная система, которая может выполнять задачи на уровне человека с высшим образованием.
- Агенты и LLM: Агенты - это подход к автоматизации, который предполагает построение while loops вокруг больших языковых моделей (LLM). Эти циклы позволяют LLM взаимодействовать и выполнять задачи в различных средах.
- Текущие ограничения: В настоящее время агенты не отличаются высокой надежностью, что препятствует их широкому распространению и практическому применению.
- Подход компании Tesla: При разработке автономного вождения в Tesla масштабировали возможности системы по частям, начиная с базовых функций, таких как движение по прямой и удержание полосы, и постепенно переходя к более сложным задачам.
- Проектирование агентов: При создании агентов очень важно продумать пользовательский интерфейс и пользовательский опыт (UI/UX), особенно для сценариев, в которых агент может работать не так, как ожидалось. Проектирование агентов с учетом их надежности (reliability) необходимо для их комерческого успеха.
Часть 1.
Часть 2.
Часть 4.
Часть 5.
Часть 6.
Часть 7.
Часть 8.
Часть 9.
Часть 10.
Часть 11.
Часть 12.
Часть 13.
Продолжение следует
Telegram
AI Для Всех
Q&A с Андреем Карпаты
Вчера сходил на закрытую встречу с Андреем Карпаты - одним из самых интересных людей в мире искусственного интеллекта.
Андрей один из фаундеров OpenAI, и бывший директор по искусственному интеллекту в Tesla. Сейчас он, по его собственным…
Вчера сходил на закрытую встречу с Андреем Карпаты - одним из самых интересных людей в мире искусственного интеллекта.
Андрей один из фаундеров OpenAI, и бывший директор по искусственному интеллекту в Tesla. Сейчас он, по его собственным…
Часть 4. Q&A с Андреем Карпаты
Q: Почему вы не работаете в Nvidia, учитывая, что масштаб имеет решающее значение для ИИ и требует большего количества параллельных вычислений?
- Нейронные сети (NN) против обычных компьютеров: NN имеют соврешенно другую структуру вычислений по сравнению с обычными компьютерами. В то время как обычные компьютеры часто используют 32-битную точность с плавающей запятой (Float32), NN могут хорошо работать всего с несколькими битами. Это различие требует значительных изменений в вычислительных процессах.
- Личные интересы: Хотя в университетские годы Андрей не особенно увлекался математикой и алгоритмами, его очень интересовали системы. Он считает, что системы играют решающую роль в развитии и прогрессе ИИ.
- Конкуренция на рынке ускорителей ИИ: Многие компании пытались конкурировать с Nvidia на рынке ускорителей для ИИ. Однако в настоящее время Nvidia занимает доминирующее положение, и ситуация развивается по сценарию "победитель получает все".
- Важность масштаба: Масштаб - самый важный фактор в развитии ИИ. Большие модели и наборы данных, как правило, дают более высокую производительность и впечатляющие результаты.
- Фокус на данных: В настоящее время все больше внимания уделяется созданию и хранению данных для обучения ИИ. Организации серьезно относятся к масштабированию, а некоторые даже подключают атомные электростанции к центрам обработки данных, чтобы обеспечить достаточное энергоснабжение для масштабных рабочих нагрузок ИИ. Эти усилия являются частью пайплайна к AGI (those efforts are down the pipe for some orgs for the next couple of years)
Q: Как далеко может завести нас масштаб больших языковых моделей (LLM)? Есть ли предел для имитационного обучения?
- Современный подход к AGI: AlphaGO, система ИИ, освоившая игру Го, вероятно, является лучшим современным подходом к AGI.
Она включает в себя два этапа:
Этап 1: immitation learning, когда ИИ учится на основе данных и поведения человека.
Этап 2: обучение с подкреплением (RL), когда ИИ играет в игры и учится на собственном опыте.
- LLM и имитационное обучение: В своем нынешнем состоянии LLM находятся только на первой стадии - имитационного обучения. Они учатся на огромных объемах данных, генерируемых человеком, но не участвуют в настоящем RL.
- Ограничения RLHF: RLHF, хотя и имеет в своем названии слово "RL", на самом деле не является RL в смысле Стадии 2. Вместо этого RLHF - это скорее vibe check model, которая алайнит LLM с тем, что нравится человеку. Однако у нее нет конкретной цели, такой как победа или поражение в игре.
- Масштабирование LLM и имитационное обучение: Хотя дальнейшее масштабирование данных для LLM скорее всего приведет к их значительному улучшению, возможно, существует предел того, как далеко этот подход может завести нас с точки зрения достижения AGI.
- Требования к RL: Для того, что бы называть систему - RL системой, она должна иметь четко определенную цель и ключевые метрики для измерения успеха. В случае с языковыми моделями неясно, какой должна быть функция вознаграждения для таких задач, как письмо.
- Психология модели по сравнению с психологией человека: Психология моделей ИИ отличается от психологии людей. Модели могут находить легкими определенные задачи, которые человек считает сложными, и наоборот (а еще существует reward hacking). Полагаться только на человеческую интуицию при разработке ИИ может быть недостаточно, поскольку человек не всегда понимает, что модель знает, а чего не знает.
Часть 1.
Часть 2.
Часть 3.
Часть 5.
Часть 6.
Часть 7.
Часть 8.
Часть 9.
Часть 10.
Часть 11.
Часть 12.
Часть 13.
Продолжение следует
Q: Почему вы не работаете в Nvidia, учитывая, что масштаб имеет решающее значение для ИИ и требует большего количества параллельных вычислений?
- Нейронные сети (NN) против обычных компьютеров: NN имеют соврешенно другую структуру вычислений по сравнению с обычными компьютерами. В то время как обычные компьютеры часто используют 32-битную точность с плавающей запятой (Float32), NN могут хорошо работать всего с несколькими битами. Это различие требует значительных изменений в вычислительных процессах.
- Личные интересы: Хотя в университетские годы Андрей не особенно увлекался математикой и алгоритмами, его очень интересовали системы. Он считает, что системы играют решающую роль в развитии и прогрессе ИИ.
- Конкуренция на рынке ускорителей ИИ: Многие компании пытались конкурировать с Nvidia на рынке ускорителей для ИИ. Однако в настоящее время Nvidia занимает доминирующее положение, и ситуация развивается по сценарию "победитель получает все".
- Важность масштаба: Масштаб - самый важный фактор в развитии ИИ. Большие модели и наборы данных, как правило, дают более высокую производительность и впечатляющие результаты.
- Фокус на данных: В настоящее время все больше внимания уделяется созданию и хранению данных для обучения ИИ. Организации серьезно относятся к масштабированию, а некоторые даже подключают атомные электростанции к центрам обработки данных, чтобы обеспечить достаточное энергоснабжение для масштабных рабочих нагрузок ИИ. Эти усилия являются частью пайплайна к AGI (those efforts are down the pipe for some orgs for the next couple of years)
Q: Как далеко может завести нас масштаб больших языковых моделей (LLM)? Есть ли предел для имитационного обучения?
- Современный подход к AGI: AlphaGO, система ИИ, освоившая игру Го, вероятно, является лучшим современным подходом к AGI.
Она включает в себя два этапа:
Этап 1: immitation learning, когда ИИ учится на основе данных и поведения человека.
Этап 2: обучение с подкреплением (RL), когда ИИ играет в игры и учится на собственном опыте.
- LLM и имитационное обучение: В своем нынешнем состоянии LLM находятся только на первой стадии - имитационного обучения. Они учатся на огромных объемах данных, генерируемых человеком, но не участвуют в настоящем RL.
- Ограничения RLHF: RLHF, хотя и имеет в своем названии слово "RL", на самом деле не является RL в смысле Стадии 2. Вместо этого RLHF - это скорее vibe check model, которая алайнит LLM с тем, что нравится человеку. Однако у нее нет конкретной цели, такой как победа или поражение в игре.
- Масштабирование LLM и имитационное обучение: Хотя дальнейшее масштабирование данных для LLM скорее всего приведет к их значительному улучшению, возможно, существует предел того, как далеко этот подход может завести нас с точки зрения достижения AGI.
- Требования к RL: Для того, что бы называть систему - RL системой, она должна иметь четко определенную цель и ключевые метрики для измерения успеха. В случае с языковыми моделями неясно, какой должна быть функция вознаграждения для таких задач, как письмо.
- Психология модели по сравнению с психологией человека: Психология моделей ИИ отличается от психологии людей. Модели могут находить легкими определенные задачи, которые человек считает сложными, и наоборот (а еще существует reward hacking). Полагаться только на человеческую интуицию при разработке ИИ может быть недостаточно, поскольку человек не всегда понимает, что модель знает, а чего не знает.
Часть 1.
Часть 2.
Часть 3.
Часть 5.
Часть 6.
Часть 7.
Часть 8.
Часть 9.
Часть 10.
Часть 11.
Часть 12.
Часть 13.
Продолжение следует
Часть 5. Q&A с Андреем Карпаты
Q: Каковы перспективы носимых устройств с искусственным интеллектом?
- Текущее положение Apple: В настоящее время Apple испытывает трудности на рынке носимых устройств с искусственным интеллектом, несмотря на наличие многих необходимых компонентов для успеха.
- Преимущества Apple: Одним из ключевых преимуществ Apple являются собственные чипы, который хорошо подходят для приложений искусственного интеллекта и машинного обучения. Используя собственные чипы, Apple может создать мощные и эффективные носимые устройства с искусственным интеллектом.
- Существующая инфраструктура: У Apple уже есть сильная экосистема и инфраструктура, включая аппаратное и программное обеспечение, а также большая пользовательская база. Это ставит их в выгодное положение для успеха на рынке носимых устройств с искусственным интеллектом, если они смогут воспользоваться этими ресурсами.
- Необходим мощный толчок: Чтобы добиться успеха на рынке носимых устройств с искусственным интеллектом, Apple необходимо приложить согласованные усилия и выделить достаточное количество ресурсов на эту сферу. Карпаты надеется, что Apple осознает эту возможность и приложит необходимые усилия, чтобы стать лидером на рынке.
- Библиотека MLX: Apple разработала MLX, фреймворк для исследований в области машинного обучения на кремнии Apple. MLX имеет удобный Python API, похожий на NumPy, а также C++, C и Swift API. Он поддерживает композитные преобразования функций, ленивые вычисления, динамическое построение графов и операции с несколькими устройствами. MLX разработан так, чтобы быть эффективным и легким для исследователей в плане расширения и улучшения. Но с ним есть одна проблема, кажется - это усилия довольно маленькиой и маргинальной группы внутри Apple.
Q: Как должно измениться определение 10x-инженеров и учебная программа по мере совершенствования генерации кода?
- 10x инженеры останутся: Несмотря на прогресс в генерации кода, 10x инженеры будут оставаться ценными до тех пор, пока не будет создан полностью автономный искусственный интеллект (AGI). Их навыки и опыт будут востребованы по мере развития технологий.
- Изменения в программировании: Появление больших языковых моделей (LLM) уже начало менять ландшафт программирования. По мере совершенствования возможностей генерации кода будут меняться методы работы разработчиков и необходимые им навыки.
- Появление "прото-репетиторов": В сфере образования набирают популярность "прото-тьюторы". Эти управляемые искусственным интеллектом обучающие системы способны совершить революцию в том, как студенты учатся и получают знания.
- Проблемы UI/UX: Несмотря на многообещающие возможности прототипов, все еще существуют проблемы, которые необходимо решить с точки зрения пользовательского интерфейса и пользовательского опыта (UI/UX). Разработка эффективного и увлекательного образовательного опыта с использованием ИИ потребует постоянных исследований и разработок.
- Отказ от традиционного школьного образования: Андрей выразил свой скептицизм по поводу будущего традиционного школьного образования в свете этих технологических достижений. Он считает, что образование движется в сторону более автономного и персонализированного подхода, обусловленного ИИ и другими развивающимися технологиями.
- Прогресс на пути к полной автономии: Конечной целью является достижение полной автономии в различных сферах, включая образование и разработку программного обеспечения. По мере того как системы ИИ будут становиться все более сложными и способными, они будут все чаще брать на себя задачи, которые раньше были уделом человеческих экспертов.
Часть 1.
Часть 2.
Часть 3.
Часть 4.
Часть 6.
Часть 7.
Часть 8.
Часть 9.
Часть 10.
Часть 11.
Часть 12.
Часть 13.
Продолжение следует
Q: Каковы перспективы носимых устройств с искусственным интеллектом?
- Текущее положение Apple: В настоящее время Apple испытывает трудности на рынке носимых устройств с искусственным интеллектом, несмотря на наличие многих необходимых компонентов для успеха.
- Преимущества Apple: Одним из ключевых преимуществ Apple являются собственные чипы, который хорошо подходят для приложений искусственного интеллекта и машинного обучения. Используя собственные чипы, Apple может создать мощные и эффективные носимые устройства с искусственным интеллектом.
- Существующая инфраструктура: У Apple уже есть сильная экосистема и инфраструктура, включая аппаратное и программное обеспечение, а также большая пользовательская база. Это ставит их в выгодное положение для успеха на рынке носимых устройств с искусственным интеллектом, если они смогут воспользоваться этими ресурсами.
- Необходим мощный толчок: Чтобы добиться успеха на рынке носимых устройств с искусственным интеллектом, Apple необходимо приложить согласованные усилия и выделить достаточное количество ресурсов на эту сферу. Карпаты надеется, что Apple осознает эту возможность и приложит необходимые усилия, чтобы стать лидером на рынке.
- Библиотека MLX: Apple разработала MLX, фреймворк для исследований в области машинного обучения на кремнии Apple. MLX имеет удобный Python API, похожий на NumPy, а также C++, C и Swift API. Он поддерживает композитные преобразования функций, ленивые вычисления, динамическое построение графов и операции с несколькими устройствами. MLX разработан так, чтобы быть эффективным и легким для исследователей в плане расширения и улучшения. Но с ним есть одна проблема, кажется - это усилия довольно маленькиой и маргинальной группы внутри Apple.
Q: Как должно измениться определение 10x-инженеров и учебная программа по мере совершенствования генерации кода?
- 10x инженеры останутся: Несмотря на прогресс в генерации кода, 10x инженеры будут оставаться ценными до тех пор, пока не будет создан полностью автономный искусственный интеллект (AGI). Их навыки и опыт будут востребованы по мере развития технологий.
- Изменения в программировании: Появление больших языковых моделей (LLM) уже начало менять ландшафт программирования. По мере совершенствования возможностей генерации кода будут меняться методы работы разработчиков и необходимые им навыки.
- Появление "прото-репетиторов": В сфере образования набирают популярность "прото-тьюторы". Эти управляемые искусственным интеллектом обучающие системы способны совершить революцию в том, как студенты учатся и получают знания.
- Проблемы UI/UX: Несмотря на многообещающие возможности прототипов, все еще существуют проблемы, которые необходимо решить с точки зрения пользовательского интерфейса и пользовательского опыта (UI/UX). Разработка эффективного и увлекательного образовательного опыта с использованием ИИ потребует постоянных исследований и разработок.
- Отказ от традиционного школьного образования: Андрей выразил свой скептицизм по поводу будущего традиционного школьного образования в свете этих технологических достижений. Он считает, что образование движется в сторону более автономного и персонализированного подхода, обусловленного ИИ и другими развивающимися технологиями.
- Прогресс на пути к полной автономии: Конечной целью является достижение полной автономии в различных сферах, включая образование и разработку программного обеспечения. По мере того как системы ИИ будут становиться все более сложными и способными, они будут все чаще брать на себя задачи, которые раньше были уделом человеческих экспертов.
Часть 1.
Часть 2.
Часть 3.
Часть 4.
Часть 6.
Часть 7.
Часть 8.
Часть 9.
Часть 10.
Часть 11.
Часть 12.
Часть 13.
Продолжение следует
Telegram
AI Для Всех
Q&A с Андреем Карпаты
Вчера сходил на закрытую встречу с Андреем Карпаты - одним из самых интересных людей в мире искусственного интеллекта.
Андрей один из фаундеров OpenAI, и бывший директор по искусственному интеллекту в Tesla. Сейчас он, по его собственным…
Вчера сходил на закрытую встречу с Андреем Карпаты - одним из самых интересных людей в мире искусственного интеллекта.
Андрей один из фаундеров OpenAI, и бывший директор по искусственному интеллекту в Tesla. Сейчас он, по его собственным…
Часть 6. Q&A с Андреем Карпаты
Q: В чем заключается концепция LLM OS и чем она отличается от традиционных операционных систем?
- Принципиально иная парадигма: В отличие от традиционных операционных систем, которые работают с битами и байтами, ОС LLM оперирует весами, словами и токенами. Это значительный сдвиг в нашем понимании вычислительных систем и взаимодействия с нимии.
- Ранняя стадия развития: Карпаты сравнил текущее состояние LLM с началом 1970-х годов. Как компьютеры с тех пор сильно эволюционировали, так и LLM и связанные с ними технологии, как ожидается, претерпят значительные изменения и усовершенствования в ближайшие годы.
- Трансформация вычислений: По мере становления систем на базе LLM, будут меняться и привычные нам вычисления. Возможности и области применения этих систем будут расширяться трудно предсказуемыми способами, что в конечном счете приведет к совершенно иному вычислительному ландшафту.
- Индивидуальные агенты vs роя: Хотя LLM OS можно рассматривать как отдельного агента, Карпаты предлагает рассматривать их как рои агентов (более распределенный и совместный подход к решению проблем и выполнению задач).
- Роевой интеллект: Концептуализируя системы на основе LLM как рои агентов, мы можем провести параллели с поведением природных роев, таких как муравьиные колонии или птичьи стаи. Эти рои демонстрируют коллективный разум и могут выполнять сложные задачи за счет простого индивидуального поведения и взаимодействия.
Q: Как олигополистическая природа технологической индустрии влияет на разработку и внедрение больших языковых моделей (LLM)?
- Олигополия: Многие аспекты технологической индустрии, включая разработку и внедрение LLM, приобретают олигополический характер. Это означает, что несколько крупных игроков доминируют на рынке, затрудняя мелким конкурентам возможность закрепиться на нем.
- Важность центров обработки данных: В контексте LLM наличие доступа к огромным центрам обработки данных имеет решающее значение для успеха. Компании с самыми крупными и современными центрами обработки данных имеют значительное преимущество в обучении и масштабном инференсе LLM.
- Динамика "победитель получает все": Учитывая важность центров обработки данных, рынок LLM, скорее всего, будет демонстрировать динамику "победитель получает все". Компании, обладающие наиболее обширными центрами обработки данных и вычислительными ресурсами, будут доминировать на рынке, оставляя мало места для более мелких игроков.
- Объединение поставщиков LLM и владельцев центров обработки данных: Многие провайдеры LLM объединяются с владельцами крупных центров обработки данных, чтобы получить доступ к необходимым вычислительным ресурсам. Например, OpenAI сотрудничает с Microsoft, более того, Андрей утверждает, что OpenAI для Microsoft уже практически как DeepMind для Google.
- Масштаб как определяющий фактор: Если масштаб действительно является единственным фактором, имеющим значение при разработке и внедрении LLM, то олигополистический характер отрасли, скорее всего, станет еще более выраженным. Компании, способные наращивать свои центры обработки данных и вычислительные ресурсы, получат практически непреодолимое преимущество.
Часть 1.
Часть 2.
Часть 3.
Часть 4.
Часть 5.
Часть 7.
Часть 8.
Часть 9.
Часть 10.
Часть 11.
Часть 12.
Часть 13.
Продолжение следует
Q: В чем заключается концепция LLM OS и чем она отличается от традиционных операционных систем?
- Принципиально иная парадигма: В отличие от традиционных операционных систем, которые работают с битами и байтами, ОС LLM оперирует весами, словами и токенами. Это значительный сдвиг в нашем понимании вычислительных систем и взаимодействия с нимии.
- Ранняя стадия развития: Карпаты сравнил текущее состояние LLM с началом 1970-х годов. Как компьютеры с тех пор сильно эволюционировали, так и LLM и связанные с ними технологии, как ожидается, претерпят значительные изменения и усовершенствования в ближайшие годы.
- Трансформация вычислений: По мере становления систем на базе LLM, будут меняться и привычные нам вычисления. Возможности и области применения этих систем будут расширяться трудно предсказуемыми способами, что в конечном счете приведет к совершенно иному вычислительному ландшафту.
- Индивидуальные агенты vs роя: Хотя LLM OS можно рассматривать как отдельного агента, Карпаты предлагает рассматривать их как рои агентов (более распределенный и совместный подход к решению проблем и выполнению задач).
- Роевой интеллект: Концептуализируя системы на основе LLM как рои агентов, мы можем провести параллели с поведением природных роев, таких как муравьиные колонии или птичьи стаи. Эти рои демонстрируют коллективный разум и могут выполнять сложные задачи за счет простого индивидуального поведения и взаимодействия.
Q: Как олигополистическая природа технологической индустрии влияет на разработку и внедрение больших языковых моделей (LLM)?
- Олигополия: Многие аспекты технологической индустрии, включая разработку и внедрение LLM, приобретают олигополический характер. Это означает, что несколько крупных игроков доминируют на рынке, затрудняя мелким конкурентам возможность закрепиться на нем.
- Важность центров обработки данных: В контексте LLM наличие доступа к огромным центрам обработки данных имеет решающее значение для успеха. Компании с самыми крупными и современными центрами обработки данных имеют значительное преимущество в обучении и масштабном инференсе LLM.
- Динамика "победитель получает все": Учитывая важность центров обработки данных, рынок LLM, скорее всего, будет демонстрировать динамику "победитель получает все". Компании, обладающие наиболее обширными центрами обработки данных и вычислительными ресурсами, будут доминировать на рынке, оставляя мало места для более мелких игроков.
- Объединение поставщиков LLM и владельцев центров обработки данных: Многие провайдеры LLM объединяются с владельцами крупных центров обработки данных, чтобы получить доступ к необходимым вычислительным ресурсам. Например, OpenAI сотрудничает с Microsoft, более того, Андрей утверждает, что OpenAI для Microsoft уже практически как DeepMind для Google.
- Масштаб как определяющий фактор: Если масштаб действительно является единственным фактором, имеющим значение при разработке и внедрении LLM, то олигополистический характер отрасли, скорее всего, станет еще более выраженным. Компании, способные наращивать свои центры обработки данных и вычислительные ресурсы, получат практически непреодолимое преимущество.
Часть 1.
Часть 2.
Часть 3.
Часть 4.
Часть 5.
Часть 7.
Часть 8.
Часть 9.
Часть 10.
Часть 11.
Часть 12.
Часть 13.
Продолжение следует
Telegram
AI Для Всех
Q&A с Андреем Карпаты
Вчера сходил на закрытую встречу с Андреем Карпаты - одним из самых интересных людей в мире искусственного интеллекта.
Андрей один из фаундеров OpenAI, и бывший директор по искусственному интеллекту в Tesla. Сейчас он, по его собственным…
Вчера сходил на закрытую встречу с Андреем Карпаты - одним из самых интересных людей в мире искусственного интеллекта.
Андрей один из фаундеров OpenAI, и бывший директор по искусственному интеллекту в Tesla. Сейчас он, по его собственным…
Часть 7. Q&A с Андреем Карпаты
Q: Что вы думаете о Devin и как он сопоставляется с другими инструментами, такими как Workspace от Microsoft?
Андрей поделился своим мнением о Devin, программном инженере искусственного интеллекта, разработанном компанией Cognition, и сравнил его с GitHub Copilot Workspace от Microsoft:
- Участие Карпаты: Андрей упомянул, что он является ангелом-инвестором Devin, что говорит о его вере в потенциал платформы.
- Возможности Devin: Devin - полностью автономный программный инженер ИИ, который может изучать незнакомые технологии, создавать и развертывать приложения, находить и исправлять ошибки в кодовых базах, обучать и настраивать модели ИИ и решать проблемы в репозиториях.
- Метрики на SWE-bench: Девин установил новый рекорд на кодовом бенчмарке SWE-bench, правильно решив 13,86 % реальных проблем GitHub, что значительно превышает предыдущий рекорд в 1,96 %.
- Workspace от Microsoft как конкурент: Microsoft представила GitHub Copilot Workspace - инструмент, который напрямую конкурирует с Devin. Карпаты признал, что Workspace является грозным конкурентом и, скорее всего, победит на рынке.
- Приобретение или уничтожение: Учитывая конкурентную среду, Андрей предположил, что лучшим сценарием для Devin будет приобретение компании более крупным игроком. Однако он также признал возможность того, что Devin может быть раздавлена конкурентами, особенно таким устоявшимся технологическим гигантом, как Microsoft.
Q: Имеет ли смысл обучать большие языковые модели на национальных языках, учитывая нынешнее доминирование английского языка в ИИ?
- Доминирование английского языка в ИИ: В настоящее время ИИ и LLM в основном разрабатываются и обучаются на англоязычных данных. Это связано с огромным количеством англоязычного контента, доступного в Интернете, а также с тем, что многие исследователи и компании, занимающиеся разработкой ИИ, базируются в англоязычных странах.
- Корреляция количества данных и качетсва LLM: Качество LLM напрямую зависит от объема данных, на которых они обучаются. Большее количество данных, как правило, приводит к повышению качества и созданию более способных моделей.
- Распределение языков в Llama 3: В качестве примера Карпаты упомянул, что Llama 3 обучается на наборе данных, состоящем на 90 % из английского и лишь на 10 % из других языков. Он подчеркнул, что это был осознанный выбор разработчиков.
- Качество на английском языке соответствует GPT-4: качество Llama 3 на английском языке соответствует GPT-4, одной из самых передовых LLM на сегодняшний день. Однако высокое качество достигается за счет игнорирования других языков.
- Компромисс в языковом потенциале: Разработка LLM на национальных языках потребует выделения части ресурсов модели для этих языков, что, в свою очередь, приведет к сокращению ресурсов, доступных для английского языка. Такой компромисс потенциально может привести к снижению качетсва на английском языке по сравнению с монолингвальными англоязычными моделями.
- Качество GPT на исландском языке: Несмотря на доминирование английского языка, GPT отлично работает на исландском языке. Это объясняется тем, что исландское правительство специально запросило языковую поддержку, что подчеркивает потенциал LLM для достижения высоких результатов на неанглийских языках, если им уделяется достаточное внимание и выделяются соответствующие ресурсы (а еще это неплохая бизнес модель, плати нам деньги, и твои граждане смогут пожинать плоды прогресса).
- Инвестиции в модели, ориентированные на конкретные языки: Учитывая потенциал высоких результатов на неанглийских языках и отсутствие конкуренции на некоторых языковых рынках, возможно, имеет смысл инвестировать в разработку моделей для конкретных языков. Такой подход может способствовать развитию языкового разнообразия и расширению доступа к технологиям ИИ для людей, не говорящих по-английски.
Часть 1.
Часть 2.
Часть 3.
Часть 4.
Часть 5.
Часть 6.
Часть 8.
Часть 9.
Часть 10.
Часть 11.
Часть 12.
Часть 13.
Продолжение следует
Q: Что вы думаете о Devin и как он сопоставляется с другими инструментами, такими как Workspace от Microsoft?
Андрей поделился своим мнением о Devin, программном инженере искусственного интеллекта, разработанном компанией Cognition, и сравнил его с GitHub Copilot Workspace от Microsoft:
- Участие Карпаты: Андрей упомянул, что он является ангелом-инвестором Devin, что говорит о его вере в потенциал платформы.
- Возможности Devin: Devin - полностью автономный программный инженер ИИ, который может изучать незнакомые технологии, создавать и развертывать приложения, находить и исправлять ошибки в кодовых базах, обучать и настраивать модели ИИ и решать проблемы в репозиториях.
- Метрики на SWE-bench: Девин установил новый рекорд на кодовом бенчмарке SWE-bench, правильно решив 13,86 % реальных проблем GitHub, что значительно превышает предыдущий рекорд в 1,96 %.
- Workspace от Microsoft как конкурент: Microsoft представила GitHub Copilot Workspace - инструмент, который напрямую конкурирует с Devin. Карпаты признал, что Workspace является грозным конкурентом и, скорее всего, победит на рынке.
- Приобретение или уничтожение: Учитывая конкурентную среду, Андрей предположил, что лучшим сценарием для Devin будет приобретение компании более крупным игроком. Однако он также признал возможность того, что Devin может быть раздавлена конкурентами, особенно таким устоявшимся технологическим гигантом, как Microsoft.
Q: Имеет ли смысл обучать большие языковые модели на национальных языках, учитывая нынешнее доминирование английского языка в ИИ?
- Доминирование английского языка в ИИ: В настоящее время ИИ и LLM в основном разрабатываются и обучаются на англоязычных данных. Это связано с огромным количеством англоязычного контента, доступного в Интернете, а также с тем, что многие исследователи и компании, занимающиеся разработкой ИИ, базируются в англоязычных странах.
- Корреляция количества данных и качетсва LLM: Качество LLM напрямую зависит от объема данных, на которых они обучаются. Большее количество данных, как правило, приводит к повышению качества и созданию более способных моделей.
- Распределение языков в Llama 3: В качестве примера Карпаты упомянул, что Llama 3 обучается на наборе данных, состоящем на 90 % из английского и лишь на 10 % из других языков. Он подчеркнул, что это был осознанный выбор разработчиков.
- Качество на английском языке соответствует GPT-4: качество Llama 3 на английском языке соответствует GPT-4, одной из самых передовых LLM на сегодняшний день. Однако высокое качество достигается за счет игнорирования других языков.
- Компромисс в языковом потенциале: Разработка LLM на национальных языках потребует выделения части ресурсов модели для этих языков, что, в свою очередь, приведет к сокращению ресурсов, доступных для английского языка. Такой компромисс потенциально может привести к снижению качетсва на английском языке по сравнению с монолингвальными англоязычными моделями.
- Качество GPT на исландском языке: Несмотря на доминирование английского языка, GPT отлично работает на исландском языке. Это объясняется тем, что исландское правительство специально запросило языковую поддержку, что подчеркивает потенциал LLM для достижения высоких результатов на неанглийских языках, если им уделяется достаточное внимание и выделяются соответствующие ресурсы (а еще это неплохая бизнес модель, плати нам деньги, и твои граждане смогут пожинать плоды прогресса).
- Инвестиции в модели, ориентированные на конкретные языки: Учитывая потенциал высоких результатов на неанглийских языках и отсутствие конкуренции на некоторых языковых рынках, возможно, имеет смысл инвестировать в разработку моделей для конкретных языков. Такой подход может способствовать развитию языкового разнообразия и расширению доступа к технологиям ИИ для людей, не говорящих по-английски.
Часть 1.
Часть 2.
Часть 3.
Часть 4.
Часть 5.
Часть 6.
Часть 8.
Часть 9.
Часть 10.
Часть 11.
Часть 12.
Часть 13.
Продолжение следует
www.cognition.ai
Cognition | Introducing Devin, the first AI software engineer
We are an applied AI lab building end-to-end software agents.
Часть 8. Q&A с Андреем Карпаты.
Q: Есть ли какие-то важные области ИИ, которыми никто особо не занимается?
- Много возможностей в тексте: В текстовой области все еще существует множество "низко висящих фруктов" (low-hanging fruits, легие победы) и возможностей для развития. Учитывая обилие текстовых данных и относительную простоту обработки и генерации текста по сравнению с другими модальностями, текстовый ИИ остается в центре внимания. Лично Андрей уделяет значительное время работе с текстовым ИИ, поскольку с ним относительно легко работать и он предлагает множество потенциальных преимуществ.
- Робототехника - сложная область: В отличие от текстовой области, Карпаты отметил, что робототехника является исключительно сложной областью для исследований и разработок ИИ. Проблемы в робототехнике охватывают множество областей, включая восприятие, управление, планирование и взаимодействие с физическим миром.
- Отсутствие значительных областей исследования: Когда Андрея спросили о потенциальных крупных областях, которые в настоящее время отсутствуют или недостаточно изучены в ИИ, он не назвал ни одной конкретной области. Это говорит о том, что сообщество ИИ активно работает в широком спектре исследовательских областей, охватывающих наиболее перспективные и значимые сферы.
Q: Был ли танцующий парень на первой презентации Tesla Bot идеей Илона Маска?
Андрей Карпаты раскрыл интересную предысторию танцующего парня на первой презентации Tesla Bot:
- Идея Илона: Решение использовать человека в костюме робота танцевать на сцене во время презентации Tesla Bot было идеей Илона Маска. Несмотря на противодействие со стороны других участников презентации, Маск настоял на включении этого нетрадиционного элемента.
- Негативный прием: По словам Андрея, всем остальным не понравилась идея включить в презентацию танцующего человека в костюме робота. Скорее всего, они считали, что это отвлечет внимание от серьезности мероприятия или будет воспринято как диковинка.
- Маск настоял на своем: Несмотря на негативные отзывы своей команды, Маск был непреклонен в вопросе включения танцующего человека в костюме робота в презентацию.
- Запоминающийся момент: Независимо от первоначального восприятия, танцующий человек в костюме робота стал самым запоминающимся моментом первой презентации Tesla Bot.
Q: Каково текущее состояние культуры в индустрии ИИ и академических кругах?
- Жизнеспособность академии: По словам Андрея, академические круги остаются важной частью экосистемы ИИ. Несмотря на быстрый рост индустрии, академические исследования продолжают играть важнейшую роль в развитии инноваций и прогресса.
- Изобилие возможностей для исследований: Одной из причин успеха академической науки в области ИИ является изобилие тем для исследований. Существует еще множество нерешенных проблем и потенциальных прорывов, которые ждут своего часа, что поддерживает интерес и мотивацию академических исследователей.
- FlashAttention как успех академии: Карпати привел пример FlashAttention, разработанный в Стэнфордском университете. Несмотря на огромные ресурсы и опыт таких гигантов индустрии, как Nvidia, именно академические исследователи разработали этот инновационный подход.
- Исследователи "полного стека": Успех академических исследований в области ИИ можно отчасти объяснить наличием full stack исследователей. Эти люди обладают широким спектром навыков, от математической теории до низкоуровневой реализации, например, написания ядер CUDA. Сочетание теоретических знаний и практических навыков программирования делает таких исследователей особенно сильными и ценными в области ИИ.
- Сотрудничество между промышленностью и академией: Несмотря на то, что у академической науки и индустрии ИИ могут быть разные приоритеты и подходы, между ними все же существует значительное сотрудничество и обмен опытом. Многие академические исследователи тесно сотрудничают с промышленными партнерами, а идеи и методы, разработанные в академических кругах, часто находят применение в промышленности.
Часть 1.
Часть 2.
Часть 3.
Часть 4.
Часть 5.
Часть 6.
Часть 7.
Часть 9.
Часть 10.
Q: Есть ли какие-то важные области ИИ, которыми никто особо не занимается?
- Много возможностей в тексте: В текстовой области все еще существует множество "низко висящих фруктов" (low-hanging fruits, легие победы) и возможностей для развития. Учитывая обилие текстовых данных и относительную простоту обработки и генерации текста по сравнению с другими модальностями, текстовый ИИ остается в центре внимания. Лично Андрей уделяет значительное время работе с текстовым ИИ, поскольку с ним относительно легко работать и он предлагает множество потенциальных преимуществ.
- Робототехника - сложная область: В отличие от текстовой области, Карпаты отметил, что робототехника является исключительно сложной областью для исследований и разработок ИИ. Проблемы в робототехнике охватывают множество областей, включая восприятие, управление, планирование и взаимодействие с физическим миром.
- Отсутствие значительных областей исследования: Когда Андрея спросили о потенциальных крупных областях, которые в настоящее время отсутствуют или недостаточно изучены в ИИ, он не назвал ни одной конкретной области. Это говорит о том, что сообщество ИИ активно работает в широком спектре исследовательских областей, охватывающих наиболее перспективные и значимые сферы.
Q: Был ли танцующий парень на первой презентации Tesla Bot идеей Илона Маска?
Андрей Карпаты раскрыл интересную предысторию танцующего парня на первой презентации Tesla Bot:
- Идея Илона: Решение использовать человека в костюме робота танцевать на сцене во время презентации Tesla Bot было идеей Илона Маска. Несмотря на противодействие со стороны других участников презентации, Маск настоял на включении этого нетрадиционного элемента.
- Негативный прием: По словам Андрея, всем остальным не понравилась идея включить в презентацию танцующего человека в костюме робота. Скорее всего, они считали, что это отвлечет внимание от серьезности мероприятия или будет воспринято как диковинка.
- Маск настоял на своем: Несмотря на негативные отзывы своей команды, Маск был непреклонен в вопросе включения танцующего человека в костюме робота в презентацию.
- Запоминающийся момент: Независимо от первоначального восприятия, танцующий человек в костюме робота стал самым запоминающимся моментом первой презентации Tesla Bot.
Q: Каково текущее состояние культуры в индустрии ИИ и академических кругах?
- Жизнеспособность академии: По словам Андрея, академические круги остаются важной частью экосистемы ИИ. Несмотря на быстрый рост индустрии, академические исследования продолжают играть важнейшую роль в развитии инноваций и прогресса.
- Изобилие возможностей для исследований: Одной из причин успеха академической науки в области ИИ является изобилие тем для исследований. Существует еще множество нерешенных проблем и потенциальных прорывов, которые ждут своего часа, что поддерживает интерес и мотивацию академических исследователей.
- FlashAttention как успех академии: Карпати привел пример FlashAttention, разработанный в Стэнфордском университете. Несмотря на огромные ресурсы и опыт таких гигантов индустрии, как Nvidia, именно академические исследователи разработали этот инновационный подход.
- Исследователи "полного стека": Успех академических исследований в области ИИ можно отчасти объяснить наличием full stack исследователей. Эти люди обладают широким спектром навыков, от математической теории до низкоуровневой реализации, например, написания ядер CUDA. Сочетание теоретических знаний и практических навыков программирования делает таких исследователей особенно сильными и ценными в области ИИ.
- Сотрудничество между промышленностью и академией: Несмотря на то, что у академической науки и индустрии ИИ могут быть разные приоритеты и подходы, между ними все же существует значительное сотрудничество и обмен опытом. Многие академические исследователи тесно сотрудничают с промышленными партнерами, а идеи и методы, разработанные в академических кругах, часто находят применение в промышленности.
Часть 1.
Часть 2.
Часть 3.
Часть 4.
Часть 5.
Часть 6.
Часть 7.
Часть 9.
Часть 10.
YouTube
Elon Musk unveils plan for 'Tesla Bot' with man dancing in a bodysuit
Musk said he would probably launch a humanoid robot prototype next year, which is designed to do 'boring, repetitious and dangerous' work.
Subscribe to Guardian News on YouTube ► http://bit.ly/guardianwiressub
The billionaire chief executive of Tesla said…
Subscribe to Guardian News on YouTube ► http://bit.ly/guardianwiressub
The billionaire chief executive of Tesla said…
Часть 9. Q&A с Андреем Карпаты
Q: Каково текущее состояние и потенциальное будущее ИИ в аэрокосмической отрасли, особенно в оборонных приложениях?
- В центре внимания Anduril: Карпаты упомянул о своей встрече с компанией Anduril, которая специализируется на разработке технологий ИИ для оборонных приложений
- Спутниковые снимки: Одной из ключевых областей, где ИИ оказывает значительное влияние, является анализ спутниковых снимков. С ростом доступности и разрешения спутниковых данных алгоритмы ИИ стали обрабатывать и интерпретировать эту информацию. Однако важно отметить, что спутники не могут наблюдать за подводной или подземной деятельностью.
- Повышение наблюдаемости: Сочетание передовых спутниковых технологий и ИИ позволяет наблюдать явлений на Земле. Такое расширение возможностей наблюдения имеет значение для различных областей, включая оборону, мониторинг окружающей среды и реагирование на стихийные бедствия.
- Доступный ИИ: Карпаты отметил, что технологии ИИ становятся все более доступными и способными работать на устройствах (on edge). Эта тенденция позволяет разрабатывать более автономные и интеллектуальные системы в аэрокосмической отрасли.
- Автономные рои беспилотников: Одним из потенциальных применений ИИ в аэрокосмической отрасли является создание автономных роев беспилотников. Андрей считает, что такие рои, способные координировать и взаимодействовать без вмешательства человека, уже не за горами (it's definately a thing).
Q: Как сообщество разработчиков с открытым исходным кодом вписывается в ландшафт ИИ и каково будущее ИИ с открытым исходным кодом?
- Место для множества подходов: Карпаты предположил, что в разработке ИИ есть место для различных подходов, подобно сосуществованию проприетарного и открытого программного обеспечения в более широком технологическом ландшафте. Подобно тому, как Windows и macOS являются проприетарными операционными системами, а Linux - с открытым исходным кодом, могут существовать проприетарные и открытые экосистемы ИИ.
- Светлое будущее ИИ с открытым исходным кодом: Карпати с оптимизмом оцевает будущее ИИ с открытым исходным кодом, подразумевая, что опенсорс будет продолжать играть важную роль в развитии и продвижении технологий ИИ.
- Инновации, управляемые сообществом: ИИ с открытым исходным кодом выигрывает от коллективных знаний, навыков и усилий глобального сообщества разработчиков и исследователей.
- Демократизация ИИ: ИИ с открытым исходным кодом играет важнейшую роль в демократизации доступа к технологиям ИИ. Благодаря свободному доступу к инструментам, библиотекам и фреймворкам ИИ сообщество разработчиков с открытым исходным кодом позволяет более широкому кругу лиц и организаций участвовать в разработке ИИ и применять его в различных областях.
Часть 1.
Часть 2.
Часть 3.
Часть 4.
Часть 5.
Часть 6.
Часть 7.
Часть 8.
Часть 10.
Часть 11.
Часть 12.
Часть 13.
Продолжение следует
Q: Каково текущее состояние и потенциальное будущее ИИ в аэрокосмической отрасли, особенно в оборонных приложениях?
- В центре внимания Anduril: Карпаты упомянул о своей встрече с компанией Anduril, которая специализируется на разработке технологий ИИ для оборонных приложений
- Спутниковые снимки: Одной из ключевых областей, где ИИ оказывает значительное влияние, является анализ спутниковых снимков. С ростом доступности и разрешения спутниковых данных алгоритмы ИИ стали обрабатывать и интерпретировать эту информацию. Однако важно отметить, что спутники не могут наблюдать за подводной или подземной деятельностью.
- Повышение наблюдаемости: Сочетание передовых спутниковых технологий и ИИ позволяет наблюдать явлений на Земле. Такое расширение возможностей наблюдения имеет значение для различных областей, включая оборону, мониторинг окружающей среды и реагирование на стихийные бедствия.
- Доступный ИИ: Карпаты отметил, что технологии ИИ становятся все более доступными и способными работать на устройствах (on edge). Эта тенденция позволяет разрабатывать более автономные и интеллектуальные системы в аэрокосмической отрасли.
- Автономные рои беспилотников: Одним из потенциальных применений ИИ в аэрокосмической отрасли является создание автономных роев беспилотников. Андрей считает, что такие рои, способные координировать и взаимодействовать без вмешательства человека, уже не за горами (it's definately a thing).
Q: Как сообщество разработчиков с открытым исходным кодом вписывается в ландшафт ИИ и каково будущее ИИ с открытым исходным кодом?
- Место для множества подходов: Карпаты предположил, что в разработке ИИ есть место для различных подходов, подобно сосуществованию проприетарного и открытого программного обеспечения в более широком технологическом ландшафте. Подобно тому, как Windows и macOS являются проприетарными операционными системами, а Linux - с открытым исходным кодом, могут существовать проприетарные и открытые экосистемы ИИ.
- Светлое будущее ИИ с открытым исходным кодом: Карпати с оптимизмом оцевает будущее ИИ с открытым исходным кодом, подразумевая, что опенсорс будет продолжать играть важную роль в развитии и продвижении технологий ИИ.
- Инновации, управляемые сообществом: ИИ с открытым исходным кодом выигрывает от коллективных знаний, навыков и усилий глобального сообщества разработчиков и исследователей.
- Демократизация ИИ: ИИ с открытым исходным кодом играет важнейшую роль в демократизации доступа к технологиям ИИ. Благодаря свободному доступу к инструментам, библиотекам и фреймворкам ИИ сообщество разработчиков с открытым исходным кодом позволяет более широкому кругу лиц и организаций участвовать в разработке ИИ и применять его в различных областях.
Часть 1.
Часть 2.
Часть 3.
Часть 4.
Часть 5.
Часть 6.
Часть 7.
Часть 8.
Часть 10.
Часть 11.
Часть 12.
Часть 13.
Продолжение следует
Telegram
AI Для Всех
Q&A с Андреем Карпаты
Вчера сходил на закрытую встречу с Андреем Карпаты - одним из самых интересных людей в мире искусственного интеллекта.
Андрей один из фаундеров OpenAI, и бывший директор по искусственному интеллекту в Tesla. Сейчас он, по его собственным…
Вчера сходил на закрытую встречу с Андреем Карпаты - одним из самых интересных людей в мире искусственного интеллекта.
Андрей один из фаундеров OpenAI, и бывший директор по искусственному интеллекту в Tesla. Сейчас он, по его собственным…
Через 14 часов встречаюсь с фаундером Cursor. Что спросить? На что пожаловаться? Что бы хотелось улучшить?
Cursor
The AI Code Editor
Тайны языка кашалотов: новые детали системы коммуникации
Недавно учёные сделали прорыв, обнаружив в вокализации кашалотов сложные паттерны, схожие с элементами человеческого общения.
Исследование показало, что кашалоты используют сложные комбинации звуков, которые изменяются в зависимости от контекста. Подобно тому как люди комбинируют фонемы для создания слов, кашалоты манипулируют длительностью и последовательностью звуковых "кликов", формируя разнообразные "фразы". Это явление исследователи назвали "рубато" — по аналогии с музыкальным термином, описывающим изменение темпа внутри произведения для усиления выразительности. Интересно, что изменения в длительности звуков были не случайными: они подчинялись определённым закономерностям, что указывает на контекстную зависимость и возможно, передачу конкретной информации.
В ходе исследования были использованы данные проекта "Доминиканские кашалоты", включающие записи 8719 кодов из Восточно-Карибского клана. Анализ основывался на записях, собранных и вручную размеченных с 2005 по 2018 год. Последовательно проверяя гипотезы стат тестами, учёные выявили уникальные особенности вокализации кашалотов, в том числе ритм, темп и наличие украшений в звуковых последовательностях. И предложили алфавит подобно человеческому фонетическому.
Учёные в дальнейшем предлагают планировать эксперименты whale-in-loop для изучения значений фраз.
А так же теперь у нас есть оценка скорости передачи информации -
не 5 бит на код, как оценивали раньше, а вдвое выше.
By @GingerSpacetail
Nature
Данные
Jupiter notebooks
Недавно учёные сделали прорыв, обнаружив в вокализации кашалотов сложные паттерны, схожие с элементами человеческого общения.
Исследование показало, что кашалоты используют сложные комбинации звуков, которые изменяются в зависимости от контекста. Подобно тому как люди комбинируют фонемы для создания слов, кашалоты манипулируют длительностью и последовательностью звуковых "кликов", формируя разнообразные "фразы". Это явление исследователи назвали "рубато" — по аналогии с музыкальным термином, описывающим изменение темпа внутри произведения для усиления выразительности. Интересно, что изменения в длительности звуков были не случайными: они подчинялись определённым закономерностям, что указывает на контекстную зависимость и возможно, передачу конкретной информации.
В ходе исследования были использованы данные проекта "Доминиканские кашалоты", включающие записи 8719 кодов из Восточно-Карибского клана. Анализ основывался на записях, собранных и вручную размеченных с 2005 по 2018 год. Последовательно проверяя гипотезы стат тестами, учёные выявили уникальные особенности вокализации кашалотов, в том числе ритм, темп и наличие украшений в звуковых последовательностях. И предложили алфавит подобно человеческому фонетическому.
Учёные в дальнейшем предлагают планировать эксперименты whale-in-loop для изучения значений фраз.
А так же теперь у нас есть оценка скорости передачи информации -
не 5 бит на код, как оценивали раньше, а вдвое выше.
By @GingerSpacetail
Nature
Данные
Jupiter notebooks
Gazelle - первая open source VoiceToLLM модель
TincansAI объявил о выпуске Gazelle v0.2, инновационной речевой модели, которая может может обрабатывать устные запросы и длинные аудиофайлы напрямую, без их транскрипции или распознавания речи.
Благодаря прямой обработке аудио данных, модель быстрее, точнее, а также способна интерпретировать эмоции и даже сарказм в речи.
Код "из коробки", с абсолютно нулевой оптимизацией и работающий с полной точностью, достигает скорости 120 миллисекунд до первого токена, что значительно быстрее, чем любой другой сопоставимый подход. По оценкам авторов, задержка более сложной системы с синтезом составит менее 300 миллисекунд, что меньше воспринимаемой человеком задержки в реальном времени
Насколько известно авторам, данная модель является первой и единственной open source моделью, способной вести диалог в реальном времени. Кроме того, разработчики публично проводят оценку безопасности и сообщают об успешных атаках на речевую модель. Наконец, это первая речевая модель, в которой применяется мультимодальная оптимизация предпочтений.
Производительность Gazelle оптимизирована для реальных приложений, таких как поддержка клиентов, телефонные звонки и общение в чате.
🌐 Сайт
🤗 HuggingFace
👨💻 Демо1
✖️ Демо2
TincansAI объявил о выпуске Gazelle v0.2, инновационной речевой модели, которая может может обрабатывать устные запросы и длинные аудиофайлы напрямую, без их транскрипции или распознавания речи.
Благодаря прямой обработке аудио данных, модель быстрее, точнее, а также способна интерпретировать эмоции и даже сарказм в речи.
Код "из коробки", с абсолютно нулевой оптимизацией и работающий с полной точностью, достигает скорости 120 миллисекунд до первого токена, что значительно быстрее, чем любой другой сопоставимый подход. По оценкам авторов, задержка более сложной системы с синтезом составит менее 300 миллисекунд, что меньше воспринимаемой человеком задержки в реальном времени
Насколько известно авторам, данная модель является первой и единственной open source моделью, способной вести диалог в реальном времени. Кроме того, разработчики публично проводят оценку безопасности и сообщают об успешных атаках на речевую модель. Наконец, это первая речевая модель, в которой применяется мультимодальная оптимизация предпочтений.
Производительность Gazelle оптимизирована для реальных приложений, таких как поддержка клиентов, телефонные звонки и общение в чате.
🌐 Сайт
🤗 HuggingFace
✖️ Демо2
Please open Telegram to view this post
VIEW IN TELEGRAM
У российского бизнеса в 2024 году три пути: параллельный импорт, пиратство и импортозамещение.
В первом случае, компания лишается гарантийного обслуживания. Во втором - нарушает законы об интеллектуальной собственности. Но можно выбрать и третий путь —импортозамещение . В прошлом году российский ИТ-рынок вырос до 1,9 трлн рублей. Там происходит настоящая санта-барбара: взять хотя бы прошлогоднюю историю с арестом замминистра по ИТ Максима Паршина за взятку.
Так вот. Лучше всего об этом пишет автор канала Про tech и этих. Там и про аналитику рынка, и про импортозамещение и про российский софт без цензуры. Подписывайтесь.
#реклама
В первом случае, компания лишается гарантийного обслуживания. Во втором - нарушает законы об интеллектуальной собственности. Но можно выбрать и третий путь —
Так вот. Лучше всего об этом пишет автор канала Про tech и этих. Там и про аналитику рынка, и про импортозамещение и про российский софт без цензуры. Подписывайтесь.
#реклама
OpenAI анонсировали GPT-4o - omnimodel, GPT для всех модальностей
Вот что Андрей сказал про будущее мультимодалоьтности на нашем Q&A:
Q: Каково будущее мультимодальных моделей ИИ и проблемах, связанных с их развитием?
Андрей Карпаты рассказал о потенциале мультимодальных моделей ИИ и основных проблемах, связанных с их разработкой:
- Единая модель для всех модальностей: Карпати предсказал, что в ближайшем будущем появится единая модель ИИ, способная генерировать и воспринимать все модальности, такие как текст, изображения, аудио и видео. Эта единая модель будет способна беспрепятственно решать различные задачи в разных модальностях.
- Основная проблема - токенизация модальностей: Карпати определил, что основной проблемой при создании такой мультимодальной модели является токенизация различных модальностей. Токенизация включает в себя преобразование входных данных из каждой модальности в формат, который может быть обработан моделью ИИ, обычно в виде последовательности дискретных лексем.
- Преодоление проблемы токенизации: Для решения проблемы токенизации исследователи изучают различные методы и архитектуры. В качестве примера Карпаты привел GPT-V, который объединяет CLIP (Contrastive Language-Image Pre-training) с маппером для создания подписей к изображениям. Этот подход демонстрирует прогресс в интеграции нескольких модальностей в единую модель.
Вот что Андрей сказал про будущее мультимодалоьтности на нашем Q&A:
Q: Каково будущее мультимодальных моделей ИИ и проблемах, связанных с их развитием?
Андрей Карпаты рассказал о потенциале мультимодальных моделей ИИ и основных проблемах, связанных с их разработкой:
- Единая модель для всех модальностей: Карпати предсказал, что в ближайшем будущем появится единая модель ИИ, способная генерировать и воспринимать все модальности, такие как текст, изображения, аудио и видео. Эта единая модель будет способна беспрепятственно решать различные задачи в разных модальностях.
- Основная проблема - токенизация модальностей: Карпати определил, что основной проблемой при создании такой мультимодальной модели является токенизация различных модальностей. Токенизация включает в себя преобразование входных данных из каждой модальности в формат, который может быть обработан моделью ИИ, обычно в виде последовательности дискретных лексем.
- Преодоление проблемы токенизации: Для решения проблемы токенизации исследователи изучают различные методы и архитектуры. В качестве примера Карпаты привел GPT-V, который объединяет CLIP (Contrastive Language-Image Pre-training) с маппером для создания подписей к изображениям. Этот подход демонстрирует прогресс в интеграции нескольких модальностей в единую модель.
Вас заменит не искусственный интеллект, а те, кто будет работать с ним.
Не дайте таким специалистам шанс отобрать у вас место в компании мечты — записывайтесь на бесплатный онлайн-практикум «Как не потерять работу из-за ИИ: погружаемся в аналитику и Data Science».
За 2 дня вы:
- узнаете, чем занимаются аналитик данных и Data Scientist
- попробуете эти профессии на практике
- определите, какое направление вам больше подходит
- наметите карьерный план и заберете подарки
Зарегистрироваться бесплатно: https://go.skillfactory.ru/&erid=LjN8JwJ8k
#Реклама ООО "Скилфэктори", ИНН 9702009530
Не дайте таким специалистам шанс отобрать у вас место в компании мечты — записывайтесь на бесплатный онлайн-практикум «Как не потерять работу из-за ИИ: погружаемся в аналитику и Data Science».
За 2 дня вы:
- узнаете, чем занимаются аналитик данных и Data Scientist
- попробуете эти профессии на практике
- определите, какое направление вам больше подходит
- наметите карьерный план и заберете подарки
Зарегистрироваться бесплатно: https://go.skillfactory.ru/&erid=LjN8JwJ8k
#Реклама ООО "Скилфэктори", ИНН 9702009530
Партнёрство между StackOverflow и OpenAI
StackOverflow и OpenAI объявили о API партнерстве для улучшения разработки ИИ за счет интеграции технического контента StackOverflow с языковыми моделями OpenAI.
Это сотрудничество позволит OpenAI использовать OverflowAPI от StackOverflow для улучшения своих моделей, базируясь на информации из StackOverflow, и повышения эффективности разработчиков. OpenAI также встроит проверенные технические знания из StackOverflow непосредственно в ChatGPT.
StackOverflow будет использовать модели OpenAI при разработке OverflowAI и использовать полученные знания для максимизации производительности моделей.
Первые интеграции ожидаются в первой половине 2024 года.
🗞Пресс-релиз
👨💻 OverflowAPI
StackOverflow и OpenAI объявили о API партнерстве для улучшения разработки ИИ за счет интеграции технического контента StackOverflow с языковыми моделями OpenAI.
Это сотрудничество позволит OpenAI использовать OverflowAPI от StackOverflow для улучшения своих моделей, базируясь на информации из StackOverflow, и повышения эффективности разработчиков. OpenAI также встроит проверенные технические знания из StackOverflow непосредственно в ChatGPT.
StackOverflow будет использовать модели OpenAI при разработке OverflowAI и использовать полученные знания для максимизации производительности моделей.
Первые интеграции ожидаются в первой половине 2024 года.
🗞Пресс-релиз
Please open Telegram to view this post
VIEW IN TELEGRAM
GPT-4o - Omni-present, omni-powered
Одно из самых больших преимуществ полностью мультимодальных моделей - это недосягаемое до этого качество.
Эта картинка была сгенерирована, таким же образом как GPT генерирует текст. И есть подозрение что вся Sora, это всего лишь одна из модальностей GPT-4o.
X
Одно из самых больших преимуществ полностью мультимодальных моделей - это недосягаемое до этого качество.
Эта картинка была сгенерирована, таким же образом как GPT генерирует текст. И есть подозрение что вся Sora, это всего лишь одна из модальностей GPT-4o.
X
Напутствие от Andrew Ng в связи с последними обновлениями от гигантов ИИ:
Google удвоил окно входного контекста Gemini Pro 1.5 до 2 млн токенов, а OpenAI выпустила GPT-4o, генерирующую токены в 2 раза быстрее и на 50% дешевле GPT-4 Turbo. Это продолжение 18-месячного тренда улучшения ризонинга ИИ и увеличения длинны контекста.
Передовые практики для разработчиков теперь включают:
- Написание подробных "мега-промптов" (1-2 страницы) для сложных задач
- Использование многократного обучения (dozens or hundreds of examples) вместо малого числа примеров
- Итеративное улучшение промптовна основе результатов
- Декомпозиция задач на подзадачи и агентные рабочие процессы
Эти стратегии, наряду с подходами из научных статей вроде Medprompt (Nori et al., 2023), помогут вам легче создавать ИИ приложения, используя всю мощь современных больших языковых моделей.
Напутствие от Andrew Ng
Google удвоил окно входного контекста Gemini Pro 1.5 до 2 млн токенов, а OpenAI выпустила GPT-4o, генерирующую токены в 2 раза быстрее и на 50% дешевле GPT-4 Turbo. Это продолжение 18-месячного тренда улучшения ризонинга ИИ и увеличения длинны контекста.
Передовые практики для разработчиков теперь включают:
- Написание подробных "мега-промптов" (1-2 страницы) для сложных задач
- Использование многократного обучения (dozens or hundreds of examples) вместо малого числа примеров
- Итеративное улучшение промптовна основе результатов
- Декомпозиция задач на подзадачи и агентные рабочие процессы
Эти стратегии, наряду с подходами из научных статей вроде Medprompt (Nori et al., 2023), помогут вам легче создавать ИИ приложения, используя всю мощь современных больших языковых моделей.
Напутствие от Andrew Ng
X (formerly Twitter)
Andrew Ng (@AndrewYNg) on X
This week, Google announced a doubling of Gemini Pro 1.5's input context window from 1 million to 2 million tokens, and OpenAI released GPT-4o, which generates tokens 2x faster and 50% cheaper than GPT-4 Turbo and natively accepts and generates multimodal…
И вы туда же: Reddit партнерится с OpenAI
Reddit и OpenAI объявили о партнёрстве для улучшения пользовательского опыта и исследований.
OpenAI будет использовать Data API Reddit для интеграции контента в ChatGPT и другие продукты. Reddit будет разрабатывать функции на основе искусственного интеллекта, используя модели OpenAI, плюс OpenAI также станет рекламным партнером Reddit.
Ждём более качественных диалогов и мемов? 😊
🗞Пресс-релиз
Reddit и OpenAI объявили о партнёрстве для улучшения пользовательского опыта и исследований.
OpenAI будет использовать Data API Reddit для интеграции контента в ChatGPT и другие продукты. Reddit будет разрабатывать функции на основе искусственного интеллекта, используя модели OpenAI, плюс OpenAI также станет рекламным партнером Reddit.
Ждём более качественных диалогов и мемов? 😊
🗞Пресс-релиз
Часть 10. Q&A с Андреем Карпаты
Q: Какое значение имеет масштаб производства в области робототехники и чем подход Tesla отличается от других компаний?
- Быстрое прототипирование в Tesla: Разработка робота Optimus в Tesla велась удивительно быстро: первые детали прототипа были изготовлены уже на следующий день после того, как Элон Маск дал добро. Такая скорость стала возможной благодаря существующей инфраструктуре и опыту Tesla в области производства автомобилей.
- Использование ресурсов автомобильного производства: Команда робототехников Tesla уже имела доступ к инструментам, оборудованию и знаниям, уже имеющимся на автомобильных заводах компании. Это позволило им быстро провести итерации и разработать робота Optimus, не начиная работу с нуля.
- Масштабируемость: С самого начала команда подходила к проекту с целью в конечном итоге произвести миллионы роботов. Масштабируемость повлияла на их конструкторские и производственные решения, заставив их учесть машины и процессы, необходимые для массового производства.
- Опытная команда: В отличие от компаний на ранних стадиях, (например с этого начинали OpenAI), которые в основном состояли из исследователей с докторской степенью, команда робототехников Tesla состояла из опытных профессионалов, которые уже преуспели в создании и масштабном производстве автомобилей. Этот практический опыт и знания дали им значительное преимущество в сфере робототехники.
- Сложная конкуренция: Андрей отметил, что небольшим игрокам очень сложно конкурировать с крупными, уже состоявшимися компаниями в сфере робототехники из-за необходимых ресурсов и масштаба. Уникальное положение компании Tesla как собственного клиента, использующего роботов на своих заводах, дает им явное преимущество.
- Стратегия выхода на рынок: Подход Tesla к выводу роботов на рынок начинается с использования их на собственных заводах, затем они предлагаются другим предприятиям (B2B) и в конечном итоге ориентированы на потребителей (B2C). Такой поэтапный подход позволяет им совершенствовать свои продукты и постепенно расширять их масштабы.
- Перспективы на будущее: Карпаты упомянул фильм "Я, робот" в качестве отправной точки, предположив, что робототехническая отрасль достигнет уровня развития, показанного в фильме, к 2035 году.
Q: Переживает ли индустрия автономного вождения, в частности автономии четвертого уровня (L4), зиму или замедление темпов роста?
- Признание проблем: Карпати признал, что достижение автономного вождения, особенно на уровне L4, является сложной задачей. В тоже самое время, кажется, в его собственном представлении у беспилотников все отлично, и было похоже что он очень ждет роботакси от Тесла.
- Никаких явных признаков зимы: Несмотря на проблемы, Карпати не выразил твердой уверенности в том, что индустрия автономного вождения в настоящее время переживает "зиму" или значительное замедление. Хотя прогресс может быть медленнее, чем ожидалось изначально, компании по-прежнему активно работают над развитием и совершенствованием своих технологий и юридических практик.
- Продолжающиеся разработки: Многие компании, включая Tesla, продолжают вкладывать значительные средства в исследования и разработки в области автономного вождения.
- Проблемы регулирования и общественного восприятия: Помимо технических проблем, индустрия самоуправляемых автомобилей также сталкивается с препятствиями, связанными с регулированием и общественным восприятием. Обеспечение безопасности и надежности автомобилей имеет первостепенное значение, и компании должны тесно сотрудничать с регулирующими органами и общественностью, чтобы укрепить доверие к этой технологии.
Часть 1.
Часть 2.
Часть 3.
Часть 4.
Часть 5.
Часть 6.
Часть 7.
Часть 8.
Часть 9.
Часть 11.
Часть 12.
Часть 13.
Продолжение следует
Q: Какое значение имеет масштаб производства в области робототехники и чем подход Tesla отличается от других компаний?
- Быстрое прототипирование в Tesla: Разработка робота Optimus в Tesla велась удивительно быстро: первые детали прототипа были изготовлены уже на следующий день после того, как Элон Маск дал добро. Такая скорость стала возможной благодаря существующей инфраструктуре и опыту Tesla в области производства автомобилей.
- Использование ресурсов автомобильного производства: Команда робототехников Tesla уже имела доступ к инструментам, оборудованию и знаниям, уже имеющимся на автомобильных заводах компании. Это позволило им быстро провести итерации и разработать робота Optimus, не начиная работу с нуля.
- Масштабируемость: С самого начала команда подходила к проекту с целью в конечном итоге произвести миллионы роботов. Масштабируемость повлияла на их конструкторские и производственные решения, заставив их учесть машины и процессы, необходимые для массового производства.
- Опытная команда: В отличие от компаний на ранних стадиях, (например с этого начинали OpenAI), которые в основном состояли из исследователей с докторской степенью, команда робототехников Tesla состояла из опытных профессионалов, которые уже преуспели в создании и масштабном производстве автомобилей. Этот практический опыт и знания дали им значительное преимущество в сфере робототехники.
- Сложная конкуренция: Андрей отметил, что небольшим игрокам очень сложно конкурировать с крупными, уже состоявшимися компаниями в сфере робототехники из-за необходимых ресурсов и масштаба. Уникальное положение компании Tesla как собственного клиента, использующего роботов на своих заводах, дает им явное преимущество.
- Стратегия выхода на рынок: Подход Tesla к выводу роботов на рынок начинается с использования их на собственных заводах, затем они предлагаются другим предприятиям (B2B) и в конечном итоге ориентированы на потребителей (B2C). Такой поэтапный подход позволяет им совершенствовать свои продукты и постепенно расширять их масштабы.
- Перспективы на будущее: Карпаты упомянул фильм "Я, робот" в качестве отправной точки, предположив, что робототехническая отрасль достигнет уровня развития, показанного в фильме, к 2035 году.
Q: Переживает ли индустрия автономного вождения, в частности автономии четвертого уровня (L4), зиму или замедление темпов роста?
- Признание проблем: Карпати признал, что достижение автономного вождения, особенно на уровне L4, является сложной задачей. В тоже самое время, кажется, в его собственном представлении у беспилотников все отлично, и было похоже что он очень ждет роботакси от Тесла.
- Никаких явных признаков зимы: Несмотря на проблемы, Карпати не выразил твердой уверенности в том, что индустрия автономного вождения в настоящее время переживает "зиму" или значительное замедление. Хотя прогресс может быть медленнее, чем ожидалось изначально, компании по-прежнему активно работают над развитием и совершенствованием своих технологий и юридических практик.
- Продолжающиеся разработки: Многие компании, включая Tesla, продолжают вкладывать значительные средства в исследования и разработки в области автономного вождения.
- Проблемы регулирования и общественного восприятия: Помимо технических проблем, индустрия самоуправляемых автомобилей также сталкивается с препятствиями, связанными с регулированием и общественным восприятием. Обеспечение безопасности и надежности автомобилей имеет первостепенное значение, и компании должны тесно сотрудничать с регулирующими органами и общественностью, чтобы укрепить доверие к этой технологии.
Часть 1.
Часть 2.
Часть 3.
Часть 4.
Часть 5.
Часть 6.
Часть 7.
Часть 8.
Часть 9.
Часть 11.
Часть 12.
Часть 13.
Продолжение следует
Telegram
AI Для Всех
Q&A с Андреем Карпаты
Вчера сходил на закрытую встречу с Андреем Карпаты - одним из самых интересных людей в мире искусственного интеллекта.
Андрей один из фаундеров OpenAI, и бывший директор по искусственному интеллекту в Tesla. Сейчас он, по его собственным…
Вчера сходил на закрытую встречу с Андреем Карпаты - одним из самых интересных людей в мире искусственного интеллекта.
Андрей один из фаундеров OpenAI, и бывший директор по искусственному интеллекту в Tesla. Сейчас он, по его собственным…
Часть 11. Q&A с Андреем Карпаты
Что вы думаете о пересечении криптовалюты и ИИ, а также о текущем состоянии криптоиндустрии?
- Личное исследование биткойна: Карпаты упомянул, что у него есть репозиторий, где он пишет биткойн с нуля. Такой практический подход позволил ему глубже вникнуть в тонкости криптовалюты и лучше понять лежащую в ее основе технологию.
- Сложность биткойна: по мере более глубокого изучения биткойна Карпаты обнаружил, что чем глубже погружаешься - тем сложнее он становится, мнгие функции написаны или реализованы лишь частично. Эта сложность подчеркивает проблемы, связанные с разработкой и поддержкой криптовалютных систем.
- Общий компьютер с общим состоянием: Карпаты проявил интерес к идее общего компьютера с общим состоянием, которая является фундаментальной концепцией криптовалюты. Он считает, что должна существовать задача или приложение, которое особенно хорошо подходит для такого типа системы, где несколько сторон могут взаимодействовать и сотрудничать на общей платформе.
- Криптозима как окно возможностей: Андрей признал, что криптовалютная индустрия в настоящее время переживает "зиму" или спад. Однако он видит в этом возможность для разработчиков и исследователей сосредоточиться на создании и совершенствовании базовой технологии, не отвлекаясь на шумиху и спекуляции.
- Пересечение криптовалют и ИИ: Хотя Карпати не стал рассматривать конкретные области применения (your question generates End of Text token in me), идея объединения криптовалют и ИИ имеет большой потенциал. Общие вычислительные платформы и децентрализованные системы, созданные на основе криптовалюты, могут стать основой для разработки и внедрения приложений ИИ более совместным и доступным способом.
Q: Над какими темами или вопросами вы сейчас больше всего ломаете голову или заинтересованы в их изучении?
- Низкоуровневые системы: Карпаты выразил глубокий интерес к пониманию и изучению низкоуровневых вычислительных систем. В качестве примера он привел в себя изучение фундаментальных принципов работы компьютеров и того, как они обрабатывают информацию на самых базовых уровнях.
- Параллельные вычисления: Еще одна область интересов Карпаты - параллельные вычисления, которые включают в себя разработку и использование компьютерных систем, способных выполнять несколько вычислений или задач одновременно. Понимание и оптимизация архитектур параллельных вычислений имеет решающее значение для эффективных приложений ИИ и машинного обучения.
- Перепроектирование компьютеров для нейронных сетей: Андрей озадачен вопросом о том, как можно перепроектировать компьютеры, чтобы они лучше подходили для нейронных сетей. Традиционные компьютерные архитектуры кажутся неоптимальными для уникальных вычислительных требований ИИ и моделей глубокого обучения, и в этой области необходимы инновации.
- Сравнение с эффективностью мозга: Карпаты подчеркнул разительный контраст между энергоэффективностью человеческого мозга и современных центров обработки данных. В то время как мозг работает на мощности всего 20 ватт, центры обработки данных потребляют мегаватты. Это сравнение подчеркивает необходимость значительных достижений в области дизайна и эффективности компьютеров, чтобы преодолеть этот разрыв.
Улучшение алгоритмов: Несмотря на ограничения нынешних компьютерных архитектур, Карпаты отметил, что на алгоритмическом уровне еще есть возможности для совершенствования и оптимизации. Исследователи и разработчики могут сосредоточиться на создании более эффективных и действенных алгоритмов, чтобы максимально использовать производительность существующего оборудования.
- Фундаментальные вопросы о вычислениях: На самом фундаментальном уровне Андрея интригуют вопросы о том, как обрабатывается и передается информация в компьютерных системах. Как поток электронов в металле приводит к обработке информации и, в конечном счете, к созданию стоимости?
Часть 1.
Часть 2.
Часть 3.
Часть 4.
Часть 5.
Часть 6.
Часть 7.
Часть 8.
Часть 9.
Часть 10.
Часть 11.
Часть 12.
Часть 13.
Продолжение следует
Что вы думаете о пересечении криптовалюты и ИИ, а также о текущем состоянии криптоиндустрии?
- Личное исследование биткойна: Карпаты упомянул, что у него есть репозиторий, где он пишет биткойн с нуля. Такой практический подход позволил ему глубже вникнуть в тонкости криптовалюты и лучше понять лежащую в ее основе технологию.
- Сложность биткойна: по мере более глубокого изучения биткойна Карпаты обнаружил, что чем глубже погружаешься - тем сложнее он становится, мнгие функции написаны или реализованы лишь частично. Эта сложность подчеркивает проблемы, связанные с разработкой и поддержкой криптовалютных систем.
- Общий компьютер с общим состоянием: Карпаты проявил интерес к идее общего компьютера с общим состоянием, которая является фундаментальной концепцией криптовалюты. Он считает, что должна существовать задача или приложение, которое особенно хорошо подходит для такого типа системы, где несколько сторон могут взаимодействовать и сотрудничать на общей платформе.
- Криптозима как окно возможностей: Андрей признал, что криптовалютная индустрия в настоящее время переживает "зиму" или спад. Однако он видит в этом возможность для разработчиков и исследователей сосредоточиться на создании и совершенствовании базовой технологии, не отвлекаясь на шумиху и спекуляции.
- Пересечение криптовалют и ИИ: Хотя Карпати не стал рассматривать конкретные области применения (your question generates End of Text token in me), идея объединения криптовалют и ИИ имеет большой потенциал. Общие вычислительные платформы и децентрализованные системы, созданные на основе криптовалюты, могут стать основой для разработки и внедрения приложений ИИ более совместным и доступным способом.
Q: Над какими темами или вопросами вы сейчас больше всего ломаете голову или заинтересованы в их изучении?
- Низкоуровневые системы: Карпаты выразил глубокий интерес к пониманию и изучению низкоуровневых вычислительных систем. В качестве примера он привел в себя изучение фундаментальных принципов работы компьютеров и того, как они обрабатывают информацию на самых базовых уровнях.
- Параллельные вычисления: Еще одна область интересов Карпаты - параллельные вычисления, которые включают в себя разработку и использование компьютерных систем, способных выполнять несколько вычислений или задач одновременно. Понимание и оптимизация архитектур параллельных вычислений имеет решающее значение для эффективных приложений ИИ и машинного обучения.
- Перепроектирование компьютеров для нейронных сетей: Андрей озадачен вопросом о том, как можно перепроектировать компьютеры, чтобы они лучше подходили для нейронных сетей. Традиционные компьютерные архитектуры кажутся неоптимальными для уникальных вычислительных требований ИИ и моделей глубокого обучения, и в этой области необходимы инновации.
- Сравнение с эффективностью мозга: Карпаты подчеркнул разительный контраст между энергоэффективностью человеческого мозга и современных центров обработки данных. В то время как мозг работает на мощности всего 20 ватт, центры обработки данных потребляют мегаватты. Это сравнение подчеркивает необходимость значительных достижений в области дизайна и эффективности компьютеров, чтобы преодолеть этот разрыв.
Улучшение алгоритмов: Несмотря на ограничения нынешних компьютерных архитектур, Карпаты отметил, что на алгоритмическом уровне еще есть возможности для совершенствования и оптимизации. Исследователи и разработчики могут сосредоточиться на создании более эффективных и действенных алгоритмов, чтобы максимально использовать производительность существующего оборудования.
- Фундаментальные вопросы о вычислениях: На самом фундаментальном уровне Андрея интригуют вопросы о том, как обрабатывается и передается информация в компьютерных системах. Как поток электронов в металле приводит к обработке информации и, в конечном счете, к созданию стоимости?
Часть 1.
Часть 2.
Часть 3.
Часть 4.
Часть 5.
Часть 6.
Часть 7.
Часть 8.
Часть 9.
Часть 10.
Часть 11.
Часть 12.
Часть 13.
Продолжение следует
GitHub
GitHub - karpathy/cryptos: Pure Python from-scratch zero-dependency implementation of Bitcoin for educational purposes
Pure Python from-scratch zero-dependency implementation of Bitcoin for educational purposes - karpathy/cryptos
Часть 12. Q&A с Андреем Карпаты
Q: Как автоматизировать маркировку данных и какая роль у человеческого участия в этом процессе?
- Ограничения LLM: Карпати согласен, что большие языковые модели (LLM) не совершенны и могут допускать ошибки в задачах разметки данных. Это подчеркивает необходимость человеческого надзора и вмешательства для обеспечения точности и надежности разметки данных.
- Подход "человек в контуре" (human in the loop): Чтобы смягчить ошибки, вносимые автоматизированными системами разметки, Андрей подчеркнул важность участия человека в процессе. Человеческий вклад имеет решающее значение для выявления и исправления ошибок, допущенных моделями, и гарантирует, что данные, используемые для обучения, будут точными и непредвзятыми.
Коррекция синтетическими данных: В случаях, когда детектор или классификатор оказывается предвзятым или неверным, Карпаты предлагает использовать синтетические данные для исправления проблемы. Генерирование и включение синтетических примеров, учитывающих конкретные ошибки или смещения, позволяет улучшить модель и сделать ее более надежной.
- Три компонента механизма обработки данных (Data Engine): Андрей выделил три ключевых компонента эффективного механизма данных: высокое качество (правильные метки), высокое разнообразие и большое количество. Совместная работа этих факторов гарантирует, что данные, используемые для обучения моделей ИИ, будут точными, репрезентативными и достаточными для решения поставленной задачи.
Специальная команда: Карпаты отметил, что в Тесле он выделил себе трех человек, которые будут заниматься автоматизацией маркировки данных и контролем качества.
- Измерения и итерации: Карпаты подчеркнул важность измерения всех аспектов процесса разметки данных. Создавая детекторы и прогоняя их через набор данных, проводя итерации и постоянно контролируя производительность, команда может выявить области для улучшения и со временем усовершенствовать процесс разметки.
Q: Что вы думаете об имитационном обучении и его потенциальном применении в самодвижущихся автомобилях и робототехнике?
- Быстрое и контекстно-зависимое обучение в LLM: Карпати отметил, что LLM отличаются высокой скоростью обучения и способностью адаптироваться к различным контекстам. Эти модели могут быстро усваивать и применять новую информацию на основе контекста, предоставленного во время обучения или умозаключений.
- Отсутствие контекстно-ориентированного обучения в автономных автомобилях (in context learning): В отличие от LLM, современные системы для автононмых автомобилей не в полной мере используют обучение с учетом контекста. Карпаты предположил, что это ограничение мешает производительности и адаптивности моделей для автономного вождения.
- Специализация против обобщения: Карпаты подчеркивает важность разработки общих решений, которые впоследствии можно будет специализировать, а не фокусироваться на специализированных решениях с самого начала. Он утверждает, что человекоподобные роботы должны быть общими, в то время как вождение - это специализированная задача. Специализированные решения не способствуют обучению с учетом контекста и могут работать не так хорошо, как общие решения, которые впоследствии адаптируются к конкретным задачам.
- Текущее состояние автономных автомобилей: Андрей описал текущий подход к созданию самоуправляемых автомобилей как состоящий в основном из набора классификаторов. Хотя эти классификаторы могут быть эффективны для решения конкретных задач, им не хватает обобщения и возможностей обучения с учетом контекста, которыми обладают более продвинутые системы ИИ.
Часть 1.
Часть 2.
Часть 3.
Часть 4.
Часть 5.
Часть 6.
Часть 7.
Часть 8.
Часть 9.
Часть 10.
Часть 11.
Продолжение следует
Q: Как автоматизировать маркировку данных и какая роль у человеческого участия в этом процессе?
- Ограничения LLM: Карпати согласен, что большие языковые модели (LLM) не совершенны и могут допускать ошибки в задачах разметки данных. Это подчеркивает необходимость человеческого надзора и вмешательства для обеспечения точности и надежности разметки данных.
- Подход "человек в контуре" (human in the loop): Чтобы смягчить ошибки, вносимые автоматизированными системами разметки, Андрей подчеркнул важность участия человека в процессе. Человеческий вклад имеет решающее значение для выявления и исправления ошибок, допущенных моделями, и гарантирует, что данные, используемые для обучения, будут точными и непредвзятыми.
Коррекция синтетическими данных: В случаях, когда детектор или классификатор оказывается предвзятым или неверным, Карпаты предлагает использовать синтетические данные для исправления проблемы. Генерирование и включение синтетических примеров, учитывающих конкретные ошибки или смещения, позволяет улучшить модель и сделать ее более надежной.
- Три компонента механизма обработки данных (Data Engine): Андрей выделил три ключевых компонента эффективного механизма данных: высокое качество (правильные метки), высокое разнообразие и большое количество. Совместная работа этих факторов гарантирует, что данные, используемые для обучения моделей ИИ, будут точными, репрезентативными и достаточными для решения поставленной задачи.
Специальная команда: Карпаты отметил, что в Тесле он выделил себе трех человек, которые будут заниматься автоматизацией маркировки данных и контролем качества.
- Измерения и итерации: Карпаты подчеркнул важность измерения всех аспектов процесса разметки данных. Создавая детекторы и прогоняя их через набор данных, проводя итерации и постоянно контролируя производительность, команда может выявить области для улучшения и со временем усовершенствовать процесс разметки.
Q: Что вы думаете об имитационном обучении и его потенциальном применении в самодвижущихся автомобилях и робототехнике?
- Быстрое и контекстно-зависимое обучение в LLM: Карпати отметил, что LLM отличаются высокой скоростью обучения и способностью адаптироваться к различным контекстам. Эти модели могут быстро усваивать и применять новую информацию на основе контекста, предоставленного во время обучения или умозаключений.
- Отсутствие контекстно-ориентированного обучения в автономных автомобилях (in context learning): В отличие от LLM, современные системы для автононмых автомобилей не в полной мере используют обучение с учетом контекста. Карпаты предположил, что это ограничение мешает производительности и адаптивности моделей для автономного вождения.
- Специализация против обобщения: Карпаты подчеркивает важность разработки общих решений, которые впоследствии можно будет специализировать, а не фокусироваться на специализированных решениях с самого начала. Он утверждает, что человекоподобные роботы должны быть общими, в то время как вождение - это специализированная задача. Специализированные решения не способствуют обучению с учетом контекста и могут работать не так хорошо, как общие решения, которые впоследствии адаптируются к конкретным задачам.
- Текущее состояние автономных автомобилей: Андрей описал текущий подход к созданию самоуправляемых автомобилей как состоящий в основном из набора классификаторов. Хотя эти классификаторы могут быть эффективны для решения конкретных задач, им не хватает обобщения и возможностей обучения с учетом контекста, которыми обладают более продвинутые системы ИИ.
Часть 1.
Часть 2.
Часть 3.
Часть 4.
Часть 5.
Часть 6.
Часть 7.
Часть 8.
Часть 9.
Часть 10.
Часть 11.
Продолжение следует
Telegram
AI Для Всех
Q&A с Андреем Карпаты
Вчера сходил на закрытую встречу с Андреем Карпаты - одним из самых интересных людей в мире искусственного интеллекта.
Андрей один из фаундеров OpenAI, и бывший директор по искусственному интеллекту в Tesla. Сейчас он, по его собственным…
Вчера сходил на закрытую встречу с Андреем Карпаты - одним из самых интересных людей в мире искусственного интеллекта.
Андрей один из фаундеров OpenAI, и бывший директор по искусственному интеллекту в Tesla. Сейчас он, по его собственным…
Часть 13. Q&A с Андреем Карпаты
Q: Андрей исследовал идею создания ИИ-генерируемых впечатлений, которые находятся между традиционными играми и фильмами, сосредоточившись на потенциале состязательных примеров и моделей вознаграждения, основанных на внимании.
Недавние исследования OpenAI в области Sora, модели преобразования текста в видео, проливают свет на возможности в этой области:
- Sora - модель преобразования текста в видео: OpenAI разработала Sora, модель ИИ, способную генерировать реалистичные и фантазийные видеосцены из текстовых инструкций. Sora может создавать видео длиной до минуты, сохраняя при этом визуальное качество и следуя подсказкам пользователя.
- Потенциал для иммерсивного опыта: Возможности, продемонстрированные Sora, говорят о том, что видеоконтент, созданный ИИ, может быть использован для создания очень увлекательных и захватывающих впечатлений, стирающих грань между традиционными играми и фильмами.
- Состязательные (adversarial) примеры и модели вознаграждения, основанные на внимании: У Андрея есть идея - берем человека и Сору, сажаем их друг напротив друга и используем отслеживание глаза как модель вознаградения. Sora быстро научится манипулировать человеческим восприятием и вниманием благодаря прямому измерению вовлеченности.
Психоделический и воздействующий на сознание контент: Видео, созданное ИИ, может быть визуально поразительным, сюрреалистичным и потенциально воздействующим на сознание, что создает интригующие возможности для будущего развлечений.
Часть 1.
Часть 2.
Часть 3.
Часть 4.
Часть 5.
Часть 6.
Часть 7.
Часть 8.
Часть 9.
Часть 10.
Часть 11.
Часть 12.
Конец
Q: Андрей исследовал идею создания ИИ-генерируемых впечатлений, которые находятся между традиционными играми и фильмами, сосредоточившись на потенциале состязательных примеров и моделей вознаграждения, основанных на внимании.
Недавние исследования OpenAI в области Sora, модели преобразования текста в видео, проливают свет на возможности в этой области:
- Sora - модель преобразования текста в видео: OpenAI разработала Sora, модель ИИ, способную генерировать реалистичные и фантазийные видеосцены из текстовых инструкций. Sora может создавать видео длиной до минуты, сохраняя при этом визуальное качество и следуя подсказкам пользователя.
- Потенциал для иммерсивного опыта: Возможности, продемонстрированные Sora, говорят о том, что видеоконтент, созданный ИИ, может быть использован для создания очень увлекательных и захватывающих впечатлений, стирающих грань между традиционными играми и фильмами.
- Состязательные (adversarial) примеры и модели вознаграждения, основанные на внимании: У Андрея есть идея - берем человека и Сору, сажаем их друг напротив друга и используем отслеживание глаза как модель вознаградения. Sora быстро научится манипулировать человеческим восприятием и вниманием благодаря прямому измерению вовлеченности.
Психоделический и воздействующий на сознание контент: Видео, созданное ИИ, может быть визуально поразительным, сюрреалистичным и потенциально воздействующим на сознание, что создает интригующие возможности для будущего развлечений.
Часть 1.
Часть 2.
Часть 3.
Часть 4.
Часть 5.
Часть 6.
Часть 7.
Часть 8.
Часть 9.
Часть 10.
Часть 11.
Часть 12.
Конец
Telegram
AI Для Всех
Q&A с Андреем Карпаты
Вчера сходил на закрытую встречу с Андреем Карпаты - одним из самых интересных людей в мире искусственного интеллекта.
Андрей один из фаундеров OpenAI, и бывший директор по искусственному интеллекту в Tesla. Сейчас он, по его собственным…
Вчера сходил на закрытую встречу с Андреем Карпаты - одним из самых интересных людей в мире искусственного интеллекта.
Андрей один из фаундеров OpenAI, и бывший директор по искусственному интеллекту в Tesla. Сейчас он, по его собственным…