Часть 11. Q&A с Андреем Карпаты
Что вы думаете о пересечении криптовалюты и ИИ, а также о текущем состоянии криптоиндустрии?
- Личное исследование биткойна: Карпаты упомянул, что у него есть репозиторий, где он пишет биткойн с нуля. Такой практический подход позволил ему глубже вникнуть в тонкости криптовалюты и лучше понять лежащую в ее основе технологию.
- Сложность биткойна: по мере более глубокого изучения биткойна Карпаты обнаружил, что чем глубже погружаешься - тем сложнее он становится, мнгие функции написаны или реализованы лишь частично. Эта сложность подчеркивает проблемы, связанные с разработкой и поддержкой криптовалютных систем.
- Общий компьютер с общим состоянием: Карпаты проявил интерес к идее общего компьютера с общим состоянием, которая является фундаментальной концепцией криптовалюты. Он считает, что должна существовать задача или приложение, которое особенно хорошо подходит для такого типа системы, где несколько сторон могут взаимодействовать и сотрудничать на общей платформе.
- Криптозима как окно возможностей: Андрей признал, что криптовалютная индустрия в настоящее время переживает "зиму" или спад. Однако он видит в этом возможность для разработчиков и исследователей сосредоточиться на создании и совершенствовании базовой технологии, не отвлекаясь на шумиху и спекуляции.
- Пересечение криптовалют и ИИ: Хотя Карпати не стал рассматривать конкретные области применения (your question generates End of Text token in me), идея объединения криптовалют и ИИ имеет большой потенциал. Общие вычислительные платформы и децентрализованные системы, созданные на основе криптовалюты, могут стать основой для разработки и внедрения приложений ИИ более совместным и доступным способом.
Q: Над какими темами или вопросами вы сейчас больше всего ломаете голову или заинтересованы в их изучении?
- Низкоуровневые системы: Карпаты выразил глубокий интерес к пониманию и изучению низкоуровневых вычислительных систем. В качестве примера он привел в себя изучение фундаментальных принципов работы компьютеров и того, как они обрабатывают информацию на самых базовых уровнях.
- Параллельные вычисления: Еще одна область интересов Карпаты - параллельные вычисления, которые включают в себя разработку и использование компьютерных систем, способных выполнять несколько вычислений или задач одновременно. Понимание и оптимизация архитектур параллельных вычислений имеет решающее значение для эффективных приложений ИИ и машинного обучения.
- Перепроектирование компьютеров для нейронных сетей: Андрей озадачен вопросом о том, как можно перепроектировать компьютеры, чтобы они лучше подходили для нейронных сетей. Традиционные компьютерные архитектуры кажутся неоптимальными для уникальных вычислительных требований ИИ и моделей глубокого обучения, и в этой области необходимы инновации.
- Сравнение с эффективностью мозга: Карпаты подчеркнул разительный контраст между энергоэффективностью человеческого мозга и современных центров обработки данных. В то время как мозг работает на мощности всего 20 ватт, центры обработки данных потребляют мегаватты. Это сравнение подчеркивает необходимость значительных достижений в области дизайна и эффективности компьютеров, чтобы преодолеть этот разрыв.
Улучшение алгоритмов: Несмотря на ограничения нынешних компьютерных архитектур, Карпаты отметил, что на алгоритмическом уровне еще есть возможности для совершенствования и оптимизации. Исследователи и разработчики могут сосредоточиться на создании более эффективных и действенных алгоритмов, чтобы максимально использовать производительность существующего оборудования.
- Фундаментальные вопросы о вычислениях: На самом фундаментальном уровне Андрея интригуют вопросы о том, как обрабатывается и передается информация в компьютерных системах. Как поток электронов в металле приводит к обработке информации и, в конечном счете, к созданию стоимости?
Часть 1.
Часть 2.
Часть 3.
Часть 4.
Часть 5.
Часть 6.
Часть 7.
Часть 8.
Часть 9.
Часть 10.
Часть 11.
Часть 12.
Часть 13.
Продолжение следует
Что вы думаете о пересечении криптовалюты и ИИ, а также о текущем состоянии криптоиндустрии?
- Личное исследование биткойна: Карпаты упомянул, что у него есть репозиторий, где он пишет биткойн с нуля. Такой практический подход позволил ему глубже вникнуть в тонкости криптовалюты и лучше понять лежащую в ее основе технологию.
- Сложность биткойна: по мере более глубокого изучения биткойна Карпаты обнаружил, что чем глубже погружаешься - тем сложнее он становится, мнгие функции написаны или реализованы лишь частично. Эта сложность подчеркивает проблемы, связанные с разработкой и поддержкой криптовалютных систем.
- Общий компьютер с общим состоянием: Карпаты проявил интерес к идее общего компьютера с общим состоянием, которая является фундаментальной концепцией криптовалюты. Он считает, что должна существовать задача или приложение, которое особенно хорошо подходит для такого типа системы, где несколько сторон могут взаимодействовать и сотрудничать на общей платформе.
- Криптозима как окно возможностей: Андрей признал, что криптовалютная индустрия в настоящее время переживает "зиму" или спад. Однако он видит в этом возможность для разработчиков и исследователей сосредоточиться на создании и совершенствовании базовой технологии, не отвлекаясь на шумиху и спекуляции.
- Пересечение криптовалют и ИИ: Хотя Карпати не стал рассматривать конкретные области применения (your question generates End of Text token in me), идея объединения криптовалют и ИИ имеет большой потенциал. Общие вычислительные платформы и децентрализованные системы, созданные на основе криптовалюты, могут стать основой для разработки и внедрения приложений ИИ более совместным и доступным способом.
Q: Над какими темами или вопросами вы сейчас больше всего ломаете голову или заинтересованы в их изучении?
- Низкоуровневые системы: Карпаты выразил глубокий интерес к пониманию и изучению низкоуровневых вычислительных систем. В качестве примера он привел в себя изучение фундаментальных принципов работы компьютеров и того, как они обрабатывают информацию на самых базовых уровнях.
- Параллельные вычисления: Еще одна область интересов Карпаты - параллельные вычисления, которые включают в себя разработку и использование компьютерных систем, способных выполнять несколько вычислений или задач одновременно. Понимание и оптимизация архитектур параллельных вычислений имеет решающее значение для эффективных приложений ИИ и машинного обучения.
- Перепроектирование компьютеров для нейронных сетей: Андрей озадачен вопросом о том, как можно перепроектировать компьютеры, чтобы они лучше подходили для нейронных сетей. Традиционные компьютерные архитектуры кажутся неоптимальными для уникальных вычислительных требований ИИ и моделей глубокого обучения, и в этой области необходимы инновации.
- Сравнение с эффективностью мозга: Карпаты подчеркнул разительный контраст между энергоэффективностью человеческого мозга и современных центров обработки данных. В то время как мозг работает на мощности всего 20 ватт, центры обработки данных потребляют мегаватты. Это сравнение подчеркивает необходимость значительных достижений в области дизайна и эффективности компьютеров, чтобы преодолеть этот разрыв.
Улучшение алгоритмов: Несмотря на ограничения нынешних компьютерных архитектур, Карпаты отметил, что на алгоритмическом уровне еще есть возможности для совершенствования и оптимизации. Исследователи и разработчики могут сосредоточиться на создании более эффективных и действенных алгоритмов, чтобы максимально использовать производительность существующего оборудования.
- Фундаментальные вопросы о вычислениях: На самом фундаментальном уровне Андрея интригуют вопросы о том, как обрабатывается и передается информация в компьютерных системах. Как поток электронов в металле приводит к обработке информации и, в конечном счете, к созданию стоимости?
Часть 1.
Часть 2.
Часть 3.
Часть 4.
Часть 5.
Часть 6.
Часть 7.
Часть 8.
Часть 9.
Часть 10.
Часть 11.
Часть 12.
Часть 13.
Продолжение следует
GitHub
GitHub - karpathy/cryptos: Pure Python from-scratch zero-dependency implementation of Bitcoin for educational purposes
Pure Python from-scratch zero-dependency implementation of Bitcoin for educational purposes - karpathy/cryptos
Часть 12. Q&A с Андреем Карпаты
Q: Как автоматизировать маркировку данных и какая роль у человеческого участия в этом процессе?
- Ограничения LLM: Карпати согласен, что большие языковые модели (LLM) не совершенны и могут допускать ошибки в задачах разметки данных. Это подчеркивает необходимость человеческого надзора и вмешательства для обеспечения точности и надежности разметки данных.
- Подход "человек в контуре" (human in the loop): Чтобы смягчить ошибки, вносимые автоматизированными системами разметки, Андрей подчеркнул важность участия человека в процессе. Человеческий вклад имеет решающее значение для выявления и исправления ошибок, допущенных моделями, и гарантирует, что данные, используемые для обучения, будут точными и непредвзятыми.
Коррекция синтетическими данных: В случаях, когда детектор или классификатор оказывается предвзятым или неверным, Карпаты предлагает использовать синтетические данные для исправления проблемы. Генерирование и включение синтетических примеров, учитывающих конкретные ошибки или смещения, позволяет улучшить модель и сделать ее более надежной.
- Три компонента механизма обработки данных (Data Engine): Андрей выделил три ключевых компонента эффективного механизма данных: высокое качество (правильные метки), высокое разнообразие и большое количество. Совместная работа этих факторов гарантирует, что данные, используемые для обучения моделей ИИ, будут точными, репрезентативными и достаточными для решения поставленной задачи.
Специальная команда: Карпаты отметил, что в Тесле он выделил себе трех человек, которые будут заниматься автоматизацией маркировки данных и контролем качества.
- Измерения и итерации: Карпаты подчеркнул важность измерения всех аспектов процесса разметки данных. Создавая детекторы и прогоняя их через набор данных, проводя итерации и постоянно контролируя производительность, команда может выявить области для улучшения и со временем усовершенствовать процесс разметки.
Q: Что вы думаете об имитационном обучении и его потенциальном применении в самодвижущихся автомобилях и робототехнике?
- Быстрое и контекстно-зависимое обучение в LLM: Карпати отметил, что LLM отличаются высокой скоростью обучения и способностью адаптироваться к различным контекстам. Эти модели могут быстро усваивать и применять новую информацию на основе контекста, предоставленного во время обучения или умозаключений.
- Отсутствие контекстно-ориентированного обучения в автономных автомобилях (in context learning): В отличие от LLM, современные системы для автононмых автомобилей не в полной мере используют обучение с учетом контекста. Карпаты предположил, что это ограничение мешает производительности и адаптивности моделей для автономного вождения.
- Специализация против обобщения: Карпаты подчеркивает важность разработки общих решений, которые впоследствии можно будет специализировать, а не фокусироваться на специализированных решениях с самого начала. Он утверждает, что человекоподобные роботы должны быть общими, в то время как вождение - это специализированная задача. Специализированные решения не способствуют обучению с учетом контекста и могут работать не так хорошо, как общие решения, которые впоследствии адаптируются к конкретным задачам.
- Текущее состояние автономных автомобилей: Андрей описал текущий подход к созданию самоуправляемых автомобилей как состоящий в основном из набора классификаторов. Хотя эти классификаторы могут быть эффективны для решения конкретных задач, им не хватает обобщения и возможностей обучения с учетом контекста, которыми обладают более продвинутые системы ИИ.
Часть 1.
Часть 2.
Часть 3.
Часть 4.
Часть 5.
Часть 6.
Часть 7.
Часть 8.
Часть 9.
Часть 10.
Часть 11.
Продолжение следует
Q: Как автоматизировать маркировку данных и какая роль у человеческого участия в этом процессе?
- Ограничения LLM: Карпати согласен, что большие языковые модели (LLM) не совершенны и могут допускать ошибки в задачах разметки данных. Это подчеркивает необходимость человеческого надзора и вмешательства для обеспечения точности и надежности разметки данных.
- Подход "человек в контуре" (human in the loop): Чтобы смягчить ошибки, вносимые автоматизированными системами разметки, Андрей подчеркнул важность участия человека в процессе. Человеческий вклад имеет решающее значение для выявления и исправления ошибок, допущенных моделями, и гарантирует, что данные, используемые для обучения, будут точными и непредвзятыми.
Коррекция синтетическими данных: В случаях, когда детектор или классификатор оказывается предвзятым или неверным, Карпаты предлагает использовать синтетические данные для исправления проблемы. Генерирование и включение синтетических примеров, учитывающих конкретные ошибки или смещения, позволяет улучшить модель и сделать ее более надежной.
- Три компонента механизма обработки данных (Data Engine): Андрей выделил три ключевых компонента эффективного механизма данных: высокое качество (правильные метки), высокое разнообразие и большое количество. Совместная работа этих факторов гарантирует, что данные, используемые для обучения моделей ИИ, будут точными, репрезентативными и достаточными для решения поставленной задачи.
Специальная команда: Карпаты отметил, что в Тесле он выделил себе трех человек, которые будут заниматься автоматизацией маркировки данных и контролем качества.
- Измерения и итерации: Карпаты подчеркнул важность измерения всех аспектов процесса разметки данных. Создавая детекторы и прогоняя их через набор данных, проводя итерации и постоянно контролируя производительность, команда может выявить области для улучшения и со временем усовершенствовать процесс разметки.
Q: Что вы думаете об имитационном обучении и его потенциальном применении в самодвижущихся автомобилях и робототехнике?
- Быстрое и контекстно-зависимое обучение в LLM: Карпати отметил, что LLM отличаются высокой скоростью обучения и способностью адаптироваться к различным контекстам. Эти модели могут быстро усваивать и применять новую информацию на основе контекста, предоставленного во время обучения или умозаключений.
- Отсутствие контекстно-ориентированного обучения в автономных автомобилях (in context learning): В отличие от LLM, современные системы для автононмых автомобилей не в полной мере используют обучение с учетом контекста. Карпаты предположил, что это ограничение мешает производительности и адаптивности моделей для автономного вождения.
- Специализация против обобщения: Карпаты подчеркивает важность разработки общих решений, которые впоследствии можно будет специализировать, а не фокусироваться на специализированных решениях с самого начала. Он утверждает, что человекоподобные роботы должны быть общими, в то время как вождение - это специализированная задача. Специализированные решения не способствуют обучению с учетом контекста и могут работать не так хорошо, как общие решения, которые впоследствии адаптируются к конкретным задачам.
- Текущее состояние автономных автомобилей: Андрей описал текущий подход к созданию самоуправляемых автомобилей как состоящий в основном из набора классификаторов. Хотя эти классификаторы могут быть эффективны для решения конкретных задач, им не хватает обобщения и возможностей обучения с учетом контекста, которыми обладают более продвинутые системы ИИ.
Часть 1.
Часть 2.
Часть 3.
Часть 4.
Часть 5.
Часть 6.
Часть 7.
Часть 8.
Часть 9.
Часть 10.
Часть 11.
Продолжение следует
Telegram
AI Для Всех
Q&A с Андреем Карпаты
Вчера сходил на закрытую встречу с Андреем Карпаты - одним из самых интересных людей в мире искусственного интеллекта.
Андрей один из фаундеров OpenAI, и бывший директор по искусственному интеллекту в Tesla. Сейчас он, по его собственным…
Вчера сходил на закрытую встречу с Андреем Карпаты - одним из самых интересных людей в мире искусственного интеллекта.
Андрей один из фаундеров OpenAI, и бывший директор по искусственному интеллекту в Tesla. Сейчас он, по его собственным…
Часть 13. Q&A с Андреем Карпаты
Q: Андрей исследовал идею создания ИИ-генерируемых впечатлений, которые находятся между традиционными играми и фильмами, сосредоточившись на потенциале состязательных примеров и моделей вознаграждения, основанных на внимании.
Недавние исследования OpenAI в области Sora, модели преобразования текста в видео, проливают свет на возможности в этой области:
- Sora - модель преобразования текста в видео: OpenAI разработала Sora, модель ИИ, способную генерировать реалистичные и фантазийные видеосцены из текстовых инструкций. Sora может создавать видео длиной до минуты, сохраняя при этом визуальное качество и следуя подсказкам пользователя.
- Потенциал для иммерсивного опыта: Возможности, продемонстрированные Sora, говорят о том, что видеоконтент, созданный ИИ, может быть использован для создания очень увлекательных и захватывающих впечатлений, стирающих грань между традиционными играми и фильмами.
- Состязательные (adversarial) примеры и модели вознаграждения, основанные на внимании: У Андрея есть идея - берем человека и Сору, сажаем их друг напротив друга и используем отслеживание глаза как модель вознаградения. Sora быстро научится манипулировать человеческим восприятием и вниманием благодаря прямому измерению вовлеченности.
Психоделический и воздействующий на сознание контент: Видео, созданное ИИ, может быть визуально поразительным, сюрреалистичным и потенциально воздействующим на сознание, что создает интригующие возможности для будущего развлечений.
Часть 1.
Часть 2.
Часть 3.
Часть 4.
Часть 5.
Часть 6.
Часть 7.
Часть 8.
Часть 9.
Часть 10.
Часть 11.
Часть 12.
Конец
Q: Андрей исследовал идею создания ИИ-генерируемых впечатлений, которые находятся между традиционными играми и фильмами, сосредоточившись на потенциале состязательных примеров и моделей вознаграждения, основанных на внимании.
Недавние исследования OpenAI в области Sora, модели преобразования текста в видео, проливают свет на возможности в этой области:
- Sora - модель преобразования текста в видео: OpenAI разработала Sora, модель ИИ, способную генерировать реалистичные и фантазийные видеосцены из текстовых инструкций. Sora может создавать видео длиной до минуты, сохраняя при этом визуальное качество и следуя подсказкам пользователя.
- Потенциал для иммерсивного опыта: Возможности, продемонстрированные Sora, говорят о том, что видеоконтент, созданный ИИ, может быть использован для создания очень увлекательных и захватывающих впечатлений, стирающих грань между традиционными играми и фильмами.
- Состязательные (adversarial) примеры и модели вознаграждения, основанные на внимании: У Андрея есть идея - берем человека и Сору, сажаем их друг напротив друга и используем отслеживание глаза как модель вознаградения. Sora быстро научится манипулировать человеческим восприятием и вниманием благодаря прямому измерению вовлеченности.
Психоделический и воздействующий на сознание контент: Видео, созданное ИИ, может быть визуально поразительным, сюрреалистичным и потенциально воздействующим на сознание, что создает интригующие возможности для будущего развлечений.
Часть 1.
Часть 2.
Часть 3.
Часть 4.
Часть 5.
Часть 6.
Часть 7.
Часть 8.
Часть 9.
Часть 10.
Часть 11.
Часть 12.
Конец
Telegram
AI Для Всех
Q&A с Андреем Карпаты
Вчера сходил на закрытую встречу с Андреем Карпаты - одним из самых интересных людей в мире искусственного интеллекта.
Андрей один из фаундеров OpenAI, и бывший директор по искусственному интеллекту в Tesla. Сейчас он, по его собственным…
Вчера сходил на закрытую встречу с Андреем Карпаты - одним из самых интересных людей в мире искусственного интеллекта.
Андрей один из фаундеров OpenAI, и бывший директор по искусственному интеллекту в Tesla. Сейчас он, по его собственным…
Откройте новые горизонты искусственного интеллекта с аналитикой данных
Согласно докладу Всемирного экономического форума, профессия аналитика данных является одной из самых востребованных в России и за рубежом. Возможность анализа данных становится ключом к пониманию и оптимизации работы искусственного интеллекта.
По данным сервиса Хабр Карьера, средняя зарплата аналитика на позиции джуниор составляет 90 000 рублей, а зарплаты опытных аналитиков достигают 300 000 рублей.
Если вас интересует аналитика или вы уже развиваетесь в этой сфере и хотите существенно улучшить свои скиллы, хочу порекомендовать вам курс – Аналитик PRO от Changellenge » Education. Это самый полный курс аналитики на рынке.
Он подойдет вам, если вы хотите прокачаться как аналитик данных, бизнес-аналитик, финансовый аналитик - в нем есть все что нужно для роста в любом направлении аналитики.
На 12 месячном курсе вы прокачаете ключевые навыки, необходимые аналитику — работа с данными:
🔵Python, SQL, Excel,
а также визуализация данных:
🔵Tableau, PPT, и с помощью Python.
Научитесь строить финансовые модели, погрузитесь в продуктовую и маркетинговую аналитику. И все попробуете на практике.
Из интересного для поиска работы за рубежом:
🔵В комплекте - мини-курс о специфике поиска работы за рубежом.
🔵При необходимости - подготовят вам резюме на английском.
🔵Карьерный консультант поможет с поиском офферов в России или за рубежом.
Школа специализируется исключительно на обучении аналитике, выпустила уже более 3500 учеников, а её выпускники программ работают в Яндексе, VK, Газпроме и других крупных компаниях.
В программе мастер-классы от экспертов из компаний уровня Avito и VK, реальные бизнес-проекты от компаний уровня Тинькофф, которые можно сразу указать в резюме. 83% студентов получают оффер в аналитике сразу после окончания обучения.
Сейчас на программу действует скидка 50%. По промокоду AI10 действует дополнительная скидка 10 000 руб. на курс "Аналитик PRO". Оставь заявку по ссылке и получи бесплатную консультацию по программе!
#Реклама. ООО «Высшая школа аналитики и стратегии». ИНН:7716917009 erid:2Vtzqx9mZsQ
Согласно докладу Всемирного экономического форума, профессия аналитика данных является одной из самых востребованных в России и за рубежом. Возможность анализа данных становится ключом к пониманию и оптимизации работы искусственного интеллекта.
По данным сервиса Хабр Карьера, средняя зарплата аналитика на позиции джуниор составляет 90 000 рублей, а зарплаты опытных аналитиков достигают 300 000 рублей.
Если вас интересует аналитика или вы уже развиваетесь в этой сфере и хотите существенно улучшить свои скиллы, хочу порекомендовать вам курс – Аналитик PRO от Changellenge » Education. Это самый полный курс аналитики на рынке.
Он подойдет вам, если вы хотите прокачаться как аналитик данных, бизнес-аналитик, финансовый аналитик - в нем есть все что нужно для роста в любом направлении аналитики.
На 12 месячном курсе вы прокачаете ключевые навыки, необходимые аналитику — работа с данными:
🔵Python, SQL, Excel,
а также визуализация данных:
🔵Tableau, PPT, и с помощью Python.
Научитесь строить финансовые модели, погрузитесь в продуктовую и маркетинговую аналитику. И все попробуете на практике.
Из интересного для поиска работы за рубежом:
🔵В комплекте - мини-курс о специфике поиска работы за рубежом.
🔵При необходимости - подготовят вам резюме на английском.
🔵Карьерный консультант поможет с поиском офферов в России или за рубежом.
Школа специализируется исключительно на обучении аналитике, выпустила уже более 3500 учеников, а её выпускники программ работают в Яндексе, VK, Газпроме и других крупных компаниях.
В программе мастер-классы от экспертов из компаний уровня Avito и VK, реальные бизнес-проекты от компаний уровня Тинькофф, которые можно сразу указать в резюме. 83% студентов получают оффер в аналитике сразу после окончания обучения.
Сейчас на программу действует скидка 50%. По промокоду AI10 действует дополнительная скидка 10 000 руб. на курс "Аналитик PRO". Оставь заявку по ссылке и получи бесплатную консультацию по программе!
#Реклама. ООО «Высшая школа аналитики и стратегии». ИНН:7716917009 erid:2Vtzqx9mZsQ
Changellenge
Все навыки аналитика в одном курсе — Аналитик PRO от Changellenge
Курс для тех, кто хочет построить карьеру в аналитике и стать незаменимым специалистом в любой компании
Влияет ли fine tuning LLM на новых знаниях на галлюцинации модели?
На этот интригующий вопрос решили ответить исследователи из Google.
Основные тезисы:
1. LLM с трудом удается переварить новые фактические знания посредством fine tuning-a. Примеры, вводящие новые знания, изучаются значительно медленнее, чем те, которые соответствуют уже существующим знаниям модели.
2. По мере того, как LLM со временем усваивает новые знания, ее склонность к галлюцинациям возрастает. При этом наблюдается линейная корреляция между долей примеров fine tuning-a, вводящих новые знания, и увеличением количества галлюцинаций.
3. Fine tuning в основном помогает модели более эффективно использовать уже существующие знания, а не приобретать новые знания. Примеры fine tuning-a, соответствующие уже существующим знаниям модели, изучаются быстрее и повышают производительность.
4. Авторы разработали контролируемое исследование, в котором варьировали долю примеров fine tuning-a, вводящих новые знания, и анализировали их влияние на производительность модели. Также исследователи впервые предложили классифицировать факты по отношению к базе знаний модели на четыре категории.
5. Fine tuning на новых фактических знаниях создает риск overfitting-a, что может привести к снижению производительности и усилению галлюцинаций. Ранняя остановка (early stopping) во время fine tuning-a помогает снизить этот риск.
6. Дообучение на примерах, отнесенных к категории «Может быть, известно» (те вопросы, на которые модель спорадически давала правильные ответы), оказалась особенно полезным. Этот выбор улучшил способность модели обрабатывать такие примеры без значительного увеличения галлюцинаций.
📜 Пэйпер
На этот интригующий вопрос решили ответить исследователи из Google.
Основные тезисы:
1. LLM с трудом удается переварить новые фактические знания посредством fine tuning-a. Примеры, вводящие новые знания, изучаются значительно медленнее, чем те, которые соответствуют уже существующим знаниям модели.
2. По мере того, как LLM со временем усваивает новые знания, ее склонность к галлюцинациям возрастает. При этом наблюдается линейная корреляция между долей примеров fine tuning-a, вводящих новые знания, и увеличением количества галлюцинаций.
3. Fine tuning в основном помогает модели более эффективно использовать уже существующие знания, а не приобретать новые знания. Примеры fine tuning-a, соответствующие уже существующим знаниям модели, изучаются быстрее и повышают производительность.
4. Авторы разработали контролируемое исследование, в котором варьировали долю примеров fine tuning-a, вводящих новые знания, и анализировали их влияние на производительность модели. Также исследователи впервые предложили классифицировать факты по отношению к базе знаний модели на четыре категории.
5. Fine tuning на новых фактических знаниях создает риск overfitting-a, что может привести к снижению производительности и усилению галлюцинаций. Ранняя остановка (early stopping) во время fine tuning-a помогает снизить этот риск.
6. Дообучение на примерах, отнесенных к категории «Может быть, известно» (те вопросы, на которые модель спорадически давала правильные ответы), оказалась особенно полезным. Этот выбор улучшил способность модели обрабатывать такие примеры без значительного увеличения галлюцинаций.
📜 Пэйпер
🦙 Реализации LLaMa-3 с нуля
Привет, AI-энтузиасты! Готовы к захватывающему путешествию в мир создания языковых моделей? Тут выложили супер подробный туториал о реализации LLaMa-3 от Meta с нуля! 🦙💻
Что такое LLaMa-3? Это передовая языковая модель, способная генерировать человекоподобный текст. Она использует архитектуру трансформера и обучена на огромном объеме данных. 📚
Но как именно она работает под капотом? 🔧 Один из лучших способов разобраться - реализовать ее самостоятельно, tensor за tensor'ом, matrix multiplication за matrix multiplication. 🧩
Именно этим мы и займемся! Наш путь будет полон захватывающих этапов:
- Подготовка данных и токенизация 🪄
- Создание эмбеддингов и их нормализация 🎛️
- Реализация механизма внимания (attention) 🎯
- Применение позиционных эмбеддингов 📍
- И многое другое! 🎉
Хотите узнать все детали и погрузиться в код? Тогда скорее переходите по ссылке на GitHub:
💻 GitHub
Привет, AI-энтузиасты! Готовы к захватывающему путешествию в мир создания языковых моделей? Тут выложили супер подробный туториал о реализации LLaMa-3 от Meta с нуля! 🦙💻
Что такое LLaMa-3? Это передовая языковая модель, способная генерировать человекоподобный текст. Она использует архитектуру трансформера и обучена на огромном объеме данных. 📚
Но как именно она работает под капотом? 🔧 Один из лучших способов разобраться - реализовать ее самостоятельно, tensor за tensor'ом, matrix multiplication за matrix multiplication. 🧩
Именно этим мы и займемся! Наш путь будет полон захватывающих этапов:
- Подготовка данных и токенизация 🪄
- Создание эмбеддингов и их нормализация 🎛️
- Реализация механизма внимания (attention) 🎯
- Применение позиционных эмбеддингов 📍
- И многое другое! 🎉
Хотите узнать все детали и погрузиться в код? Тогда скорее переходите по ссылке на GitHub:
💻 GitHub
🤖🔍 Компания Anthropic впервые детально изучила внутреннее устройство современной продакшн-модели - Claude Sonnet.
Что удалось выяснить? 👇
▫️В модели закодированы миллионы концептов - от конкретных сущностей (города, люди, химические элементы) до абстрактных понятий (гендерные стереотипы, секретность). Причем мультимодально и мультиязычно!
▫️Схожие концепты (например, достопримечательности Сан-Франциско) располагаются "близко" друг к другу. Прямо как у людей в голове! 🧠
▫️Усиливая или подавляя определенные паттерны активации нейронов (т.н. "фичи"), можно влиять на поведение модели - например, заставить ее генерировать фишинговые письма, от которых она обычно отказывается. 😮
Anthropic заявляют, что их цель - сделать ИИ более безопасным. Идентификация фичей, связанных с нежелательным поведением - первый шаг. В будущем это поможет лучше детектировать и пресекать такое поведение.
Работа только началась, многое еще предстоит изучить. Но это важная веха в интерпретируемости ИИ и понимании того, как мыслят большие языковые модели! 🎉
Хотите узнать детали - читайте научную статью "Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet".
🌁 Блог-пост
Что удалось выяснить? 👇
▫️В модели закодированы миллионы концептов - от конкретных сущностей (города, люди, химические элементы) до абстрактных понятий (гендерные стереотипы, секретность). Причем мультимодально и мультиязычно!
▫️Схожие концепты (например, достопримечательности Сан-Франциско) располагаются "близко" друг к другу. Прямо как у людей в голове! 🧠
▫️Усиливая или подавляя определенные паттерны активации нейронов (т.н. "фичи"), можно влиять на поведение модели - например, заставить ее генерировать фишинговые письма, от которых она обычно отказывается. 😮
Anthropic заявляют, что их цель - сделать ИИ более безопасным. Идентификация фичей, связанных с нежелательным поведением - первый шаг. В будущем это поможет лучше детектировать и пресекать такое поведение.
Работа только началась, многое еще предстоит изучить. Но это важная веха в интерпретируемости ИИ и понимании того, как мыслят большие языковые модели! 🎉
Хотите узнать детали - читайте научную статью "Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet".
🌁 Блог-пост
Forwarded from Data Science by ODS.ai 🦜
This media is not supported in your browser
VIEW IN TELEGRAM
Images that Sound: Composing Images and Sounds on a Single Canvas
abs: https://arxiv.org/abs/2405.12221
project page: https://ificl.github.io/images-that-sound/
code: https://github.com/IFICL/images-that-sound
This paper introduces an inference-time procedure that generates images that are also spectrograms corresponding to the prompt. It uses a latent image and audio diffusion model with same latent space (Stable Diffusion v1.5 and Auffusion) and denoise the same latent with both.
@opendatascience
abs: https://arxiv.org/abs/2405.12221
project page: https://ificl.github.io/images-that-sound/
code: https://github.com/IFICL/images-that-sound
This paper introduces an inference-time procedure that generates images that are also spectrograms corresponding to the prompt. It uses a latent image and audio diffusion model with same latent space (Stable Diffusion v1.5 and Auffusion) and denoise the same latent with both.
@opendatascience
AI Для Всех
Часть 7. Q&A с Андреем Карпаты Q: Что вы думаете о Devin и как он сопоставляется с другими инструментами, такими как Workspace от Microsoft? Андрей поделился своим мнением о Devin, программном инженере искусственного интеллекта, разработанном компанией Cognition…
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Сиолошная
Подглядел у @j_links ссылку на невероятную историю (твиттер тред тут)
Исследователи обучали агента играть в игру NetHack. Это очень старая ролевая игра из времён (1987 г.), когда нормальных пользовательских интерфейсов не было, и всё происходило в консоли. Игрок проходит уровни, собирает вещи и награды, участвует в сражениях и набирает очки — и всё выражается самыми простыми символами.
Агент научился стабильно набирать примерно 5000 очков. Но однажды после запуска он достиг лишь ~3000, то есть показал результат существенно хуже. Отладка решений всегда дело весёлое, поэтому автор треда попробовал:
— найти проблему в коде загрузки модели агента
— откатить код на пару дней назад
— откатить код на несколько недель назад (ну там то ТОЧНО всё работает?)
— пересобрать окружение
— поменять версию CUDA (драйверов для запуска нейросетей на видеокарте)
— запустить код на персональном ноутбуке, а не сервере
...и ничего не помогало: агент предательски, но стабильно играл на 3000 очков.
После этого автор треда написал автору модели, тот ответил:
— А, да, вероятно, сегодня полнолуние🌗
Что??😑
И да, в тот день и вправду было полнолуние. Чувак запустил игру, и увидел ...надпись «Ты — везунчик! Сегодня полнолуние»
Оказывается, в NetHack есть механика , которая немного меняет процесс игры каждый раз, когда наступает полнолуние (проверка происходит по времени вашей системы). В этот день у героя увеличивается удача, и меняется ещё пара вещей. Это не делает игру сложнее, но модель просто не понимает, как изменились правила, и старается играть так, как привыкла — отсюда и просадка в очках. Для проверки можно сменить время на компьютере — и агент снова набирает 5000 очков.
❓ вот так и сиди отлаживай программу
Исследователи обучали агента играть в игру NetHack. Это очень старая ролевая игра из времён (1987 г.), когда нормальных пользовательских интерфейсов не было, и всё происходило в консоли. Игрок проходит уровни, собирает вещи и награды, участвует в сражениях и набирает очки — и всё выражается самыми простыми символами.
Агент научился стабильно набирать примерно 5000 очков. Но однажды после запуска он достиг лишь ~3000, то есть показал результат существенно хуже. Отладка решений всегда дело весёлое, поэтому автор треда попробовал:
— найти проблему в коде загрузки модели агента
— откатить код на пару дней назад
— откатить код на несколько недель назад (ну там то ТОЧНО всё работает?)
— пересобрать окружение
— поменять версию CUDA (драйверов для запуска нейросетей на видеокарте)
— запустить код на персональном ноутбуке, а не сервере
...и ничего не помогало: агент предательски, но стабильно играл на 3000 очков.
После этого автор треда написал автору модели, тот ответил:
— А, да, вероятно, сегодня полнолуние
Что??
И да, в тот день и вправду было полнолуние. Чувак запустил игру, и увидел ...
Оказывается, в NetHack есть
Please open Telegram to view this post
VIEW IN TELEGRAM
Mistral-7B-v0.3 теперь open-source!
Главные моменты:
- Лицензия Apache 2.0 для чекпойнтов базовой и инстракт моделей
- Расширенный словарь до 32768
- Поддержка токенайзера v3
- Поддержка function calling (API запросов)
- Безцензурность 🤬 (fine tuning проходил без модерации)
🤗 HuggingFace
Главные моменты:
- Лицензия Apache 2.0 для чекпойнтов базовой и инстракт моделей
- Расширенный словарь до 32768
- Поддержка токенайзера v3
- Поддержка function calling (API запросов)
- Безцензурность 🤬 (fine tuning проходил без модерации)
🤗 HuggingFace
Скажите что-то на карьерном
Тинькофф в поиске крутых ИТ-спецов. С компании — профессиональный рост, интересные финтех-задачи, решение бытовых забот и работа там, где вы живете. С вас — выбрать вакансию и откликнуться тут
#реклама
АО «Тинькофф Банк», ИНН 7710140679
Тинькофф в поиске крутых ИТ-спецов. С компании — профессиональный рост, интересные финтех-задачи, решение бытовых забот и работа там, где вы живете. С вас — выбрать вакансию и откликнуться тут
#реклама
АО «Тинькофф Банк», ИНН 7710140679
Компания Нейролинк обявила о конкурсе на самую лучшую компрессию сигнала
Компания Neuralink проводит соревнование по сжатию данных, полученных от импланта, встроенного в моторную кору головного мозга приматов.
Имплант генерирует поток данных со скоростью около 200 Мбит/с, но способен передавать по беспроводной связи лишь 1 Мбит/с, поэтому необходимо сжатие более чем в 200 раз. Алгоритм сжатия должен работать в реальном времени (менее 1 мс) и потреблять мало энергии (менее 10 мВт, включая радиопередачу).
Участникам предлагается создать исполняемые файлы для кодирования и декодирования, обеспечивающие сжатие без потерь. Решения будут оцениваться по коэффициенту сжатия на другом наборе данных, а дополнительные баллы будут присуждаться за оптимизацию скорости и энергоэффективности.
Кто хочет со мной поучаствовать? Пишите в комментах, попробуем организоваться в команду
Ссылка на соревнование
Компания Neuralink проводит соревнование по сжатию данных, полученных от импланта, встроенного в моторную кору головного мозга приматов.
Имплант генерирует поток данных со скоростью около 200 Мбит/с, но способен передавать по беспроводной связи лишь 1 Мбит/с, поэтому необходимо сжатие более чем в 200 раз. Алгоритм сжатия должен работать в реальном времени (менее 1 мс) и потреблять мало энергии (менее 10 мВт, включая радиопередачу).
Участникам предлагается создать исполняемые файлы для кодирования и декодирования, обеспечивающие сжатие без потерь. Решения будут оцениваться по коэффициенту сжатия на другом наборе данных, а дополнительные баллы будут присуждаться за оптимизацию скорости и энергоэффективности.
Кто хочет со мной поучаствовать? Пишите в комментах, попробуем организоваться в команду
Ссылка на соревнование
Stanford обновил свой ранкинг прозрачности LLM
Что нового 👀
- Средний балл составляет 58, а высший балл — 85 из 100. Это на 21 балл выше среднего показателя за октябрь 2023 года
- По сравнению с индексом за октябрь 2023 есть значительное улучшение: верхняя граница выросла на 31 балл, а нижняя — на 21 балл. Все восемь разработчиков, получившие баллы по FMTI за октябрь 2023 г. и май 2024 г., улучшили свои оценки.
- Из 100 показателей прозрачности 96 удовлетворяются как минимум одним разработчиком, а 89 — несколькими.
- Разработчики активно публикуют отчеты о прозрачности. Это контрастирует с нашим предыдущим подходом, когда команда FMTI собирала информацию из Интернета.
- Разработчики раскрыли в своих отчетах в среднем 17 новых показателей.
💻 Сайт
📜 Пэйпер
Что нового 👀
- Средний балл составляет 58, а высший балл — 85 из 100. Это на 21 балл выше среднего показателя за октябрь 2023 года
- По сравнению с индексом за октябрь 2023 есть значительное улучшение: верхняя граница выросла на 31 балл, а нижняя — на 21 балл. Все восемь разработчиков, получившие баллы по FMTI за октябрь 2023 г. и май 2024 г., улучшили свои оценки.
- Из 100 показателей прозрачности 96 удовлетворяются как минимум одним разработчиком, а 89 — несколькими.
- Разработчики активно публикуют отчеты о прозрачности. Это контрастирует с нашим предыдущим подходом, когда команда FMTI собирала информацию из Интернета.
- Разработчики раскрыли в своих отчетах в среднем 17 новых показателей.
💻 Сайт
📜 Пэйпер
🔥 Wunder fund: вакансия Senior Data Researcher 🔥
TLDR: Wunder Fund, Senior Data Researcher, Алготрейдинг, HFT
🌍 Локация: Remote/Релокация в несколько стран
💰Вилка: от $5k до $7k на руки, иногда больше — договоримся (есть привязка к валюте, можем платить в долларах или крипте)
👁 Инфа: Мы — Wunder Fund, занимаемся высокочастотной торговлей (HFT) с 2014 года. Торгуем на 14 биржах по всему миру и наш дневной оборот больше $5 млрд. Сейчас ищем в команду Senior Data Researcher, который возглавит направление нейросетей в Wunder Fund.
Вам предстоит обучать модели, проверять гипотезы и добиваться максимальной точности моделей. Задача похожа на Kaggle-соревнование, только модели и фичи должны считаться максимально быстро.
Вы будете работать в сильной команде — это лучшие программисты, математики, физики, выпускники лучших вузов, победители соревнований и международных олимпиад. Наша сфера очень конкурентна, поэтому мы используем самые современные технологии, чтобы обеспечить максимальную скорость и точность наших систем.
🤓 Что вам понадобится
- Хорошо знать Python и математику
- Быть опытным практиком пристального вглядывания в данные
- Иметь успехи в Kaggle соревнованиях (Kaggle Master/Grandmaster)
- Иметь опыт успешного обучения трансформеров и LSTM.
- Будет плюсом: опыт в соревнованиях по NLP, Speech Recognition.
Условия: работа в команде выпускников МГУ и Физтеха, полная удаленка, гибкий график, ЗП по результатам собеседования от $5,000 до $7,000 на руки.
Небольшой видос про data science у нас и исследования — https://youtu.be/in2wXwxeaqs
Ссылка на вакансию: https://clck.ru/3A2CnM
Как откликнуться
Пишите в ТГ @nedifar1703
#реклама
TLDR: Wunder Fund, Senior Data Researcher, Алготрейдинг, HFT
🌍 Локация: Remote/Релокация в несколько стран
💰Вилка: от $5k до $7k на руки, иногда больше — договоримся (есть привязка к валюте, можем платить в долларах или крипте)
👁 Инфа: Мы — Wunder Fund, занимаемся высокочастотной торговлей (HFT) с 2014 года. Торгуем на 14 биржах по всему миру и наш дневной оборот больше $5 млрд. Сейчас ищем в команду Senior Data Researcher, который возглавит направление нейросетей в Wunder Fund.
Вам предстоит обучать модели, проверять гипотезы и добиваться максимальной точности моделей. Задача похожа на Kaggle-соревнование, только модели и фичи должны считаться максимально быстро.
Вы будете работать в сильной команде — это лучшие программисты, математики, физики, выпускники лучших вузов, победители соревнований и международных олимпиад. Наша сфера очень конкурентна, поэтому мы используем самые современные технологии, чтобы обеспечить максимальную скорость и точность наших систем.
🤓 Что вам понадобится
- Хорошо знать Python и математику
- Быть опытным практиком пристального вглядывания в данные
- Иметь успехи в Kaggle соревнованиях (Kaggle Master/Grandmaster)
- Иметь опыт успешного обучения трансформеров и LSTM.
- Будет плюсом: опыт в соревнованиях по NLP, Speech Recognition.
Условия: работа в команде выпускников МГУ и Физтеха, полная удаленка, гибкий график, ЗП по результатам собеседования от $5,000 до $7,000 на руки.
Небольшой видос про data science у нас и исследования — https://youtu.be/in2wXwxeaqs
Ссылка на вакансию: https://clck.ru/3A2CnM
Как откликнуться
Пишите в ТГ @nedifar1703
#реклама
Поправки к скандальному законопроекту SB 1047 (про регулирование обучения моделей в Калифорнии)
Как многие из вас помнят, я живу в Сан Франциско. И это опредленно ИИ столица мира. На днях мне довелось сходить на городское собрание (town hall) с Сенатором Вайнером - автором скандального законопроекта SB 1047 (про регулирование обучения моделей в Калифорнии).
Несколько месяцев назад сенатор Скотт Вайнер представил законопроект SB 1047, целью которого является регулирование разработки и использования передовых моделей искусственного интеллекта. В первоначальной версии законопроекта по сути предлагалось ввести лицензирование всех моделей ИИ (и их производных, таких как файн-тюнинг), превышающих определенный порог вычислительной мощности. Очевидно, что в таком виде законопроект уничтожил бы все стартапы в сфере ИИ в штате, а следовательно, и во всем мире.
Однако похоже, что за последнее время законопроект претерпел значительные изменения. Вот несколько ключевых моментов, которые прозвучали на встрече:
- Критерий размера модели (в твиттере шутили, что раньше по похожим соображениям США регулировал экспорт Play Station 2) будет исключен из законопроекта. Вместо этого будут введены новые метрики, например, объем инвестиций в обучение модели не менее 100 миллионов долларов (кстати не плохой incentive для того что бы укладывать больше вычислений в меньшую стоимость).
Как SB 1047 повлияет на разработчиков?
Если вы создадите нечто, что впоследствии будет использовано во вред кому-либо, на вас могут подать в суд и втянуть в судебную тяжбу. Однако такая ситуация существует в Калифорнии уже давно.
Если вы компания, подпадающая под действие законопроекта (сенатор пошутил: если вы буквально Сундар Пичаи, гендиректор Google), вы должны:
- Провести тестирование на наличие опасных возможностей
- Разработать план по борьбе с этими экстремальными рисками
- Внедрить разумные меры безопасности перед развертыванием модели
- Поддерживать уровень информационной безопасности, соразмерный этим рискам
- Убедиться, что вы можете отключить модели, находящиеся в вашем распоряжении
Цель законопроекта - управление рисками, их снижение и минимизация. В дальнейшем будет еще 4 возможности внести поправки в законопроект.
Вопросы и ответы:
- С какими сообществами открытого исходного кода вы общались? Например с разработчиками открытого ПО из Amazon никто не разговаривал.
Сенатор не смог назвать ни одного сообщества, с которым они консультировались.
- Как вы предотвратите торможение инноваций в сфере ИИ (как GDPR сделал с Европой)?
Это не GDPR. Этот законопроект гласит: если вы создаете огромную модель ИИ, проведите оценку безопасности и управляйте рисками.
- Ультралевые считают, что законопроект недостаточно строгий. Они беспокоятся, что защита информаторов (стукачей, которые будут репортить те самые экстримальные риски) в нем слишком слабая. Как осведомители могут чувствовать себя в безопасности?
Защита информаторов предусмотрена в законопроекте.
- Почему было убрано определение оценки моделей по бенчмаркам?
Правительству сложно успевать за технологическим развитием. Скоро и меньшие модели смогут конкурировать по этим бенчмаркам, и тогда законопроект должен будет регулировать также и стартапы. Но это не является целью. Стартапы должны чувствовать себя спокойно.
В идеале должен быть орган, обновляющий бенчмарки, но это не предусмотрено законопроектом.
- Как определить, что модели проявляют опасные возможности? На что способны такие модели?
"Модели облегчают причинение существенного вреда". "Действительно широкие общественные риски".
1 категория: если модель облегчает создание биологического/химического оружия.
2 категория: автономная преступность на сумму более 500 млн долларов.
- Что происходит, когда модель с открытым исходным кодом работает так же хорошо как проприетарная модель? Может ли Meta выпустить модель на 400 млрд параметров в открытый доступ и ожидать, что на нее не подадут в суд?
Eсли Meta заявляет, что тестирует модели, нет оснований им не верить. В остальном эти проблемы пока не решены. Цель - стимулировать безопасность.
Как многие из вас помнят, я живу в Сан Франциско. И это опредленно ИИ столица мира. На днях мне довелось сходить на городское собрание (town hall) с Сенатором Вайнером - автором скандального законопроекта SB 1047 (про регулирование обучения моделей в Калифорнии).
Несколько месяцев назад сенатор Скотт Вайнер представил законопроект SB 1047, целью которого является регулирование разработки и использования передовых моделей искусственного интеллекта. В первоначальной версии законопроекта по сути предлагалось ввести лицензирование всех моделей ИИ (и их производных, таких как файн-тюнинг), превышающих определенный порог вычислительной мощности. Очевидно, что в таком виде законопроект уничтожил бы все стартапы в сфере ИИ в штате, а следовательно, и во всем мире.
Однако похоже, что за последнее время законопроект претерпел значительные изменения. Вот несколько ключевых моментов, которые прозвучали на встрече:
- Критерий размера модели (в твиттере шутили, что раньше по похожим соображениям США регулировал экспорт Play Station 2) будет исключен из законопроекта. Вместо этого будут введены новые метрики, например, объем инвестиций в обучение модели не менее 100 миллионов долларов (кстати не плохой incentive для того что бы укладывать больше вычислений в меньшую стоимость).
Как SB 1047 повлияет на разработчиков?
Если вы создадите нечто, что впоследствии будет использовано во вред кому-либо, на вас могут подать в суд и втянуть в судебную тяжбу. Однако такая ситуация существует в Калифорнии уже давно.
Если вы компания, подпадающая под действие законопроекта (сенатор пошутил: если вы буквально Сундар Пичаи, гендиректор Google), вы должны:
- Провести тестирование на наличие опасных возможностей
- Разработать план по борьбе с этими экстремальными рисками
- Внедрить разумные меры безопасности перед развертыванием модели
- Поддерживать уровень информационной безопасности, соразмерный этим рискам
- Убедиться, что вы можете отключить модели, находящиеся в вашем распоряжении
Цель законопроекта - управление рисками, их снижение и минимизация. В дальнейшем будет еще 4 возможности внести поправки в законопроект.
Вопросы и ответы:
- С какими сообществами открытого исходного кода вы общались? Например с разработчиками открытого ПО из Amazon никто не разговаривал.
Сенатор не смог назвать ни одного сообщества, с которым они консультировались.
- Как вы предотвратите торможение инноваций в сфере ИИ (как GDPR сделал с Европой)?
Это не GDPR. Этот законопроект гласит: если вы создаете огромную модель ИИ, проведите оценку безопасности и управляйте рисками.
- Ультралевые считают, что законопроект недостаточно строгий. Они беспокоятся, что защита информаторов (стукачей, которые будут репортить те самые экстримальные риски) в нем слишком слабая. Как осведомители могут чувствовать себя в безопасности?
Защита информаторов предусмотрена в законопроекте.
- Почему было убрано определение оценки моделей по бенчмаркам?
Правительству сложно успевать за технологическим развитием. Скоро и меньшие модели смогут конкурировать по этим бенчмаркам, и тогда законопроект должен будет регулировать также и стартапы. Но это не является целью. Стартапы должны чувствовать себя спокойно.
В идеале должен быть орган, обновляющий бенчмарки, но это не предусмотрено законопроектом.
- Как определить, что модели проявляют опасные возможности? На что способны такие модели?
"Модели облегчают причинение существенного вреда". "Действительно широкие общественные риски".
1 категория: если модель облегчает создание биологического/химического оружия.
2 категория: автономная преступность на сумму более 500 млн долларов.
- Что происходит, когда модель с открытым исходным кодом работает так же хорошо как проприетарная модель? Может ли Meta выпустить модель на 400 млрд параметров в открытый доступ и ожидать, что на нее не подадут в суд?
Eсли Meta заявляет, что тестирует модели, нет оснований им не верить. В остальном эти проблемы пока не решены. Цель - стимулировать безопасность.
Судя по рекламе, уже на следующей неделе, нас наконец-то ждет обновление Сири (или что-то типа такого).
Action packed - в этом контексте, можно перевести как насыщенная программа, а можно перевести как, то, что в продукты Apple будут наконец то упакованы действия, следовательно агентные фрэймворки.
А что может быть агентнее по-настоящему работающей Сири?
Action packed - в этом контексте, можно перевести как насыщенная программа, а можно перевести как, то, что в продукты Apple будут наконец то упакованы действия, следовательно агентные фрэймворки.
А что может быть агентнее по-настоящему работающей Сири?
This media is not supported in your browser
VIEW IN TELEGRAM
Пэт проект - “Sandy”.
Привет, друзья!
Я тут недавно завел себе нового четвероногого друга - щенка золотистого ретривера! И теперь у меня пэт проект по DL (Dog Learning)! 🐶🧠
Каждый день - это новый челлендж и возможность прокачать свои навыки дрессировки. Прямо как в машинном обучении, только вместо нейросетей - 3х месячный щеночек!
Но, как и в любом ML проекте, без качественных данных никуда. Поэтому я активно ищу лучшие ресурсы для своего "датасета" по воспитанию щенка.
Впереди много работы по сбору данных и обучению моей персональной "нейросети". Но я полон энтузиазма применить свои навыки ML-инженера в этой новой области! 😄
А у вас, друзья, есть опыт в "Dog Learning"? Может посоветуете еще какие-то годные ресурсы для начинающих собаководов?
Накидайте пожалуйста в комменты список книг, фильмов и Youtube-каналов, которые, must-have для каждого начинающего собаковода.
Буду очень благодарен за советы и лайфхаки, которые облегчат мне этот интересный челлендж! 🙏
Привет, друзья!
Я тут недавно завел себе нового четвероногого друга - щенка золотистого ретривера! И теперь у меня пэт проект по DL (Dog Learning)! 🐶🧠
Каждый день - это новый челлендж и возможность прокачать свои навыки дрессировки. Прямо как в машинном обучении, только вместо нейросетей - 3х месячный щеночек!
Но, как и в любом ML проекте, без качественных данных никуда. Поэтому я активно ищу лучшие ресурсы для своего "датасета" по воспитанию щенка.
Впереди много работы по сбору данных и обучению моей персональной "нейросети". Но я полон энтузиазма применить свои навыки ML-инженера в этой новой области! 😄
А у вас, друзья, есть опыт в "Dog Learning"? Может посоветуете еще какие-то годные ресурсы для начинающих собаководов?
Накидайте пожалуйста в комменты список книг, фильмов и Youtube-каналов, которые, must-have для каждого начинающего собаковода.
Буду очень благодарен за советы и лайфхаки, которые облегчат мне этот интересный челлендж! 🙏
Если вы задумывались как выглядит будущее -> вероятнее всего вот так. Уютные дома на фоне Урбана, а мимо проносятся беспилотные Waymo.
Где-то там внизу копошиться ткмные полчища в Тендерлоине, и в то же время дамы и господа выгуливают своих собачек на велосипедах с колясками.
📍Alamo Square
Где-то там внизу копошиться ткмные полчища в Тендерлоине, и в то же время дамы и господа выгуливают своих собачек на велосипедах с колясками.
📍Alamo Square