Часть 9. Q&A с Андреем Карпаты

Q: Каково текущее состояние и потенциальное будущее ИИ в аэрокосмической отрасли, особенно в оборонных приложениях?

- В центре внимания Anduril: Карпаты упомянул о своей встрече с компанией Anduril, которая специализируется на разработке технологий ИИ для оборонных приложений

- Спутниковые снимки: Одной из ключевых областей, где ИИ оказывает значительное влияние, является анализ спутниковых снимков. С ростом доступности и разрешения спутниковых данных алгоритмы ИИ стали обрабатывать и интерпретировать эту информацию. Однако важно отметить, что спутники не могут наблюдать за подводной или подземной деятельностью.

- Повышение наблюдаемости: Сочетание передовых спутниковых технологий и ИИ позволяет наблюдать явлений на Земле. Такое расширение возможностей наблюдения имеет значение для различных областей, включая оборону, мониторинг окружающей среды и реагирование на стихийные бедствия.

- Доступный ИИ: Карпаты отметил, что технологии ИИ становятся все более доступными и способными работать на устройствах (on edge). Эта тенденция позволяет разрабатывать более автономные и интеллектуальные системы в аэрокосмической отрасли.

- Автономные рои беспилотников: Одним из потенциальных применений ИИ в аэрокосмической отрасли является создание автономных роев беспилотников. Андрей считает, что такие рои, способные координировать и взаимодействовать без вмешательства человека, уже не за горами (it's definately a thing).


Q: Как сообщество разработчиков с открытым исходным кодом вписывается в ландшафт ИИ и каково будущее ИИ с открытым исходным кодом?

- Место для множества подходов: Карпаты предположил, что в разработке ИИ есть место для различных подходов, подобно сосуществованию проприетарного и открытого программного обеспечения в более широком технологическом ландшафте. Подобно тому, как Windows и macOS являются проприетарными операционными системами, а Linux - с открытым исходным кодом, могут существовать проприетарные и открытые экосистемы ИИ.

- Светлое будущее ИИ с открытым исходным кодом: Карпати с оптимизмом оцевает будущее ИИ с открытым исходным кодом, подразумевая, что опенсорс будет продолжать играть важную роль в развитии и продвижении технологий ИИ.

- Инновации, управляемые сообществом: ИИ с открытым исходным кодом выигрывает от коллективных знаний, навыков и усилий глобального сообщества разработчиков и исследователей.

- Демократизация ИИ: ИИ с открытым исходным кодом играет важнейшую роль в демократизации доступа к технологиям ИИ. Благодаря свободному доступу к инструментам, библиотекам и фреймворкам ИИ сообщество разработчиков с открытым исходным кодом позволяет более широкому кругу лиц и организаций участвовать в разработке ИИ и применять его в различных областях.

Часть 1.
Часть 2.
Часть 3.
Часть 4.
Часть 5.
Часть 6.
Часть 7.
Часть 8.

Часть 10.
Часть 11.
Часть 12.
Часть 13.

Продолжение следует

Через 14 часов встречаюсь с фаундером Cursor. Что спросить? На что пожаловаться? Что бы хотелось улучшить?

Тайны языка кашалотов: новые детали системы коммуникации

Недавно учёные сделали прорыв, обнаружив в вокализации кашалотов сложные паттерны, схожие с элементами человеческого общения.

Исследование показало, что кашалоты используют сложные комбинации звуков, которые изменяются в зависимости от контекста. Подобно тому как люди комбинируют фонемы для создания слов, кашалоты манипулируют длительностью и последовательностью звуковых "кликов", формируя разнообразные "фразы". Это явление исследователи назвали "рубато" — по аналогии с музыкальным термином, описывающим изменение темпа внутри произведения для усиления выразительности. Интересно, что изменения в длительности звуков были не случайными: они подчинялись определённым закономерностям, что указывает на контекстную зависимость и возможно, передачу конкретной информации.

В ходе исследования были использованы данные проекта "Доминиканские кашалоты", включающие записи 8719 кодов из Восточно-Карибского клана. Анализ основывался на записях, собранных и вручную размеченных с 2005 по 2018 год. Последовательно проверяя гипотезы стат тестами, учёные выявили уникальные особенности вокализации кашалотов, в том числе ритм, темп и наличие украшений в звуковых последовательностях. И предложили алфавит подобно человеческому фонетическому.

Учёные в дальнейшем предлагают планировать эксперименты whale-in-loop для изучения значений фраз.
А так же теперь у нас есть оценка скорости передачи информации -
не 5 бит на код, как оценивали раньше, а вдвое выше.

By @GingerSpacetail

Nature
Данные
Jupiter notebooks

У российского бизнеса в 2024 году три пути: параллельный импорт, пиратство и импортозамещение.

В первом случае, компания лишается гарантийного обслуживания. Во втором - нарушает законы об интеллектуальной собственности. Но можно выбрать и третий путь — импортозамещение. В прошлом году российский ИТ-рынок вырос до 1,9 трлн рублей. Там происходит настоящая санта-барбара: взять хотя бы прошлогоднюю историю с арестом замминистра по ИТ Максима Паршина за взятку.

Так вот. Лучше всего об этом пишет автор канала Про tech и этих. Там и про аналитику рынка, и про импортозамещение и про российский софт без цензуры. Подписывайтесь.

#реклама

OpenAI анонсировали GPT-4o - omnimodel, GPT для всех модальностей

Вот что Андрей сказал про будущее мультимодалоьтности на нашем Q&A:

Q: Каково будущее мультимодальных моделей ИИ и проблемах, связанных с их развитием?
Андрей Карпаты рассказал о потенциале мультимодальных моделей ИИ и основных проблемах, связанных с их разработкой:

- Единая модель для всех модальностей: Карпати предсказал, что в ближайшем будущем появится единая модель ИИ, способная генерировать и воспринимать все модальности, такие как текст, изображения, аудио и видео. Эта единая модель будет способна беспрепятственно решать различные задачи в разных модальностях.

- Основная проблема - токенизация модальностей: Карпати определил, что основной проблемой при создании такой мультимодальной модели является токенизация различных модальностей. Токенизация включает в себя преобразование входных данных из каждой модальности в формат, который может быть обработан моделью ИИ, обычно в виде последовательности дискретных лексем.

- Преодоление проблемы токенизации: Для решения проблемы токенизации исследователи изучают различные методы и архитектуры. В качестве примера Карпаты привел GPT-V, который объединяет CLIP (Contrastive Language-Image Pre-training) с маппером для создания подписей к изображениям. Этот подход демонстрирует прогресс в интеграции нескольких модальностей в единую модель.

Вас заменит не искусственный интеллект, а те, кто будет работать с ним.

Не дайте таким специалистам шанс отобрать у вас место в компании мечты — записывайтесь на бесплатный онлайн-практикум «Как не потерять работу из-за ИИ: погружаемся в аналитику и Data Science».

За 2 дня вы:
- узнаете, чем занимаются аналитик данных и Data Scientist
- попробуете эти профессии на практике
- определите, какое направление вам больше подходит
- наметите карьерный план и заберете подарки

Зарегистрироваться бесплатно: https://go.skillfactory.ru/&erid=LjN8JwJ8k

#Реклама ООО "Скилфэктори", ИНН 9702009530

GPT-4o - Omni-present, omni-powered

Одно из самых больших преимуществ полностью мультимодальных моделей - это недосягаемое до этого качество.

Эта картинка была сгенерирована, таким же образом как GPT генерирует текст. И есть подозрение что вся Sora, это всего лишь одна из модальностей GPT-4o.

X

Напутствие от Andrew Ng в связи с последними обновлениями от гигантов ИИ:

Google удвоил окно входного контекста Gemini Pro 1.5 до 2 млн токенов, а OpenAI выпустила GPT-4o, генерирующую токены в 2 раза быстрее и на 50% дешевле GPT-4 Turbo. Это продолжение 18-месячного тренда улучшения ризонинга ИИ и увеличения длинны контекста.

Передовые практики для разработчиков теперь включают:
- Написание подробных "мега-промптов" (1-2 страницы) для сложных задач
- Использование многократного обучения (dozens or hundreds of examples) вместо малого числа примеров
- Итеративное улучшение промптовна основе результатов
- Декомпозиция задач на подзадачи и агентные рабочие процессы

Эти стратегии, наряду с подходами из научных статей вроде Medprompt (Nori et al., 2023), помогут вам легче создавать ИИ приложения, используя всю мощь современных больших языковых моделей.

Напутствие от Andrew Ng

И вы туда же: Reddit партнерится с OpenAI

Reddit и OpenAI объявили о партнёрстве для улучшения пользовательского опыта и исследований.

OpenAI будет использовать Data API Reddit для интеграции контента в ChatGPT и другие продукты. Reddit будет разрабатывать функции на основе искусственного интеллекта, используя модели OpenAI, плюс OpenAI также станет рекламным партнером Reddit.

Ждём более качественных диалогов и мемов? 😊

🗞Пресс-релиз

Часть 10. Q&A с Андреем Карпаты

Q: Какое значение имеет масштаб производства в области робототехники и чем подход Tesla отличается от других компаний?

- Быстрое прототипирование в Tesla: Разработка робота Optimus в Tesla велась удивительно быстро: первые детали прототипа были изготовлены уже на следующий день после того, как Элон Маск дал добро. Такая скорость стала возможной благодаря существующей инфраструктуре и опыту Tesla в области производства автомобилей.

- Использование ресурсов автомобильного производства: Команда робототехников Tesla уже имела доступ к инструментам, оборудованию и знаниям, уже имеющимся на автомобильных заводах компании. Это позволило им быстро провести итерации и разработать робота Optimus, не начиная работу с нуля.

- Масштабируемость: С самого начала команда подходила к проекту с целью в конечном итоге произвести миллионы роботов. Масштабируемость повлияла на их конструкторские и производственные решения, заставив их учесть машины и процессы, необходимые для массового производства.

- Опытная команда: В отличие от компаний на ранних стадиях, (например с этого начинали OpenAI), которые в основном состояли из исследователей с докторской степенью, команда робототехников Tesla состояла из опытных профессионалов, которые уже преуспели в создании и масштабном производстве автомобилей. Этот практический опыт и знания дали им значительное преимущество в сфере робототехники.

- Сложная конкуренция: Андрей отметил, что небольшим игрокам очень сложно конкурировать с крупными, уже состоявшимися компаниями в сфере робототехники из-за необходимых ресурсов и масштаба. Уникальное положение компании Tesla как собственного клиента, использующего роботов на своих заводах, дает им явное преимущество.

- Стратегия выхода на рынок: Подход Tesla к выводу роботов на рынок начинается с использования их на собственных заводах, затем они предлагаются другим предприятиям (B2B) и в конечном итоге ориентированы на потребителей (B2C). Такой поэтапный подход позволяет им совершенствовать свои продукты и постепенно расширять их масштабы.

- Перспективы на будущее: Карпаты упомянул фильм "Я, робот" в качестве отправной точки, предположив, что робототехническая отрасль достигнет уровня развития, показанного в фильме, к 2035 году.

Q: Переживает ли индустрия автономного вождения, в частности автономии четвертого уровня (L4), зиму или замедление темпов роста?

- Признание проблем: Карпати признал, что достижение автономного вождения, особенно на уровне L4, является сложной задачей. В тоже самое время, кажется, в его собственном представлении у беспилотников все отлично, и было похоже что он очень ждет роботакси от Тесла.

- Никаких явных признаков зимы: Несмотря на проблемы, Карпати не выразил твердой уверенности в том, что индустрия автономного вождения в настоящее время переживает "зиму" или значительное замедление. Хотя прогресс может быть медленнее, чем ожидалось изначально, компании по-прежнему активно работают над развитием и совершенствованием своих технологий и юридических практик.

- Продолжающиеся разработки: Многие компании, включая Tesla, продолжают вкладывать значительные средства в исследования и разработки в области автономного вождения.

- Проблемы регулирования и общественного восприятия: Помимо технических проблем, индустрия самоуправляемых автомобилей также сталкивается с препятствиями, связанными с регулированием и общественным восприятием. Обеспечение безопасности и надежности автомобилей имеет первостепенное значение, и компании должны тесно сотрудничать с регулирующими органами и общественностью, чтобы укрепить доверие к этой технологии.

Часть 1.
Часть 2.
Часть 3.
Часть 4.
Часть 5.
Часть 6.
Часть 7.
Часть 8.
Часть 9.

Часть 11.
Часть 12.
Часть 13.

Продолжение следует

Часть 11. Q&A с Андреем Карпаты

Что вы думаете о пересечении криптовалюты и ИИ, а также о текущем состоянии криптоиндустрии?

- Личное исследование биткойна: Карпаты упомянул, что у него есть репозиторий, где он пишет биткойн с нуля. Такой практический подход позволил ему глубже вникнуть в тонкости криптовалюты и лучше понять лежащую в ее основе технологию.

- Сложность биткойна: по мере более глубокого изучения биткойна Карпаты обнаружил, что чем глубже погружаешься - тем сложнее он становится, мнгие функции написаны или реализованы лишь частично. Эта сложность подчеркивает проблемы, связанные с разработкой и поддержкой криптовалютных систем.

- Общий компьютер с общим состоянием: Карпаты проявил интерес к идее общего компьютера с общим состоянием, которая является фундаментальной концепцией криптовалюты. Он считает, что должна существовать задача или приложение, которое особенно хорошо подходит для такого типа системы, где несколько сторон могут взаимодействовать и сотрудничать на общей платформе.

- Криптозима как окно возможностей: Андрей признал, что криптовалютная индустрия в настоящее время переживает "зиму" или спад. Однако он видит в этом возможность для разработчиков и исследователей сосредоточиться на создании и совершенствовании базовой технологии, не отвлекаясь на шумиху и спекуляции.

- Пересечение криптовалют и ИИ: Хотя Карпати не стал рассматривать конкретные области применения (your question generates End of Text token in me), идея объединения криптовалют и ИИ имеет большой потенциал. Общие вычислительные платформы и децентрализованные системы, созданные на основе криптовалюты, могут стать основой для разработки и внедрения приложений ИИ более совместным и доступным способом.


Q: Над какими темами или вопросами вы сейчас больше всего ломаете голову или заинтересованы в их изучении?

- Низкоуровневые системы: Карпаты выразил глубокий интерес к пониманию и изучению низкоуровневых вычислительных систем. В качестве примера он привел в себя изучение фундаментальных принципов работы компьютеров и того, как они обрабатывают информацию на самых базовых уровнях.

- Параллельные вычисления: Еще одна область интересов Карпаты - параллельные вычисления, которые включают в себя разработку и использование компьютерных систем, способных выполнять несколько вычислений или задач одновременно. Понимание и оптимизация архитектур параллельных вычислений имеет решающее значение для эффективных приложений ИИ и машинного обучения.

- Перепроектирование компьютеров для нейронных сетей: Андрей озадачен вопросом о том, как можно перепроектировать компьютеры, чтобы они лучше подходили для нейронных сетей. Традиционные компьютерные архитектуры кажутся неоптимальными для уникальных вычислительных требований ИИ и моделей глубокого обучения, и в этой области необходимы инновации.

- Сравнение с эффективностью мозга: Карпаты подчеркнул разительный контраст между энергоэффективностью человеческого мозга и современных центров обработки данных. В то время как мозг работает на мощности всего 20 ватт, центры обработки данных потребляют мегаватты. Это сравнение подчеркивает необходимость значительных достижений в области дизайна и эффективности компьютеров, чтобы преодолеть этот разрыв.

Улучшение алгоритмов: Несмотря на ограничения нынешних компьютерных архитектур, Карпаты отметил, что на алгоритмическом уровне еще есть возможности для совершенствования и оптимизации. Исследователи и разработчики могут сосредоточиться на создании более эффективных и действенных алгоритмов, чтобы максимально использовать производительность существующего оборудования.

- Фундаментальные вопросы о вычислениях: На самом фундаментальном уровне Андрея интригуют вопросы о том, как обрабатывается и передается информация в компьютерных системах. Как поток электронов в металле приводит к обработке информации и, в конечном счете, к созданию стоимости?

Часть 1.
Часть 2.
Часть 3.
Часть 4.
Часть 5.
Часть 6.
Часть 7.
Часть 8.
Часть 9.
Часть 10.

Часть 11.
Часть 12.
Часть 13.

Продолжение следует

Часть 12. Q&A с Андреем Карпаты

Q: Как автоматизировать маркировку данных и какая роль у человеческого участия в этом процессе?

- Ограничения LLM: Карпати согласен, что большие языковые модели (LLM) не совершенны и могут допускать ошибки в задачах разметки данных. Это подчеркивает необходимость человеческого надзора и вмешательства для обеспечения точности и надежности разметки данных.

- Подход "человек в контуре" (human in the loop): Чтобы смягчить ошибки, вносимые автоматизированными системами разметки, Андрей подчеркнул важность участия человека в процессе. Человеческий вклад имеет решающее значение для выявления и исправления ошибок, допущенных моделями, и гарантирует, что данные, используемые для обучения, будут точными и непредвзятыми.

Коррекция синтетическими данных: В случаях, когда детектор или классификатор оказывается предвзятым или неверным, Карпаты предлагает использовать синтетические данные для исправления проблемы. Генерирование и включение синтетических примеров, учитывающих конкретные ошибки или смещения, позволяет улучшить модель и сделать ее более надежной.

- Три компонента механизма обработки данных (Data Engine): Андрей выделил три ключевых компонента эффективного механизма данных: высокое качество (правильные метки), высокое разнообразие и большое количество. Совместная работа этих факторов гарантирует, что данные, используемые для обучения моделей ИИ, будут точными, репрезентативными и достаточными для решения поставленной задачи.

Специальная команда: Карпаты отметил, что в Тесле он выделил себе трех человек, которые будут заниматься автоматизацией маркировки данных и контролем качества.

- Измерения и итерации: Карпаты подчеркнул важность измерения всех аспектов процесса разметки данных. Создавая детекторы и прогоняя их через набор данных, проводя итерации и постоянно контролируя производительность, команда может выявить области для улучшения и со временем усовершенствовать процесс разметки.


Q: Что вы думаете об имитационном обучении и его потенциальном применении в самодвижущихся автомобилях и робототехнике?

- Быстрое и контекстно-зависимое обучение в LLM: Карпати отметил, что LLM отличаются высокой скоростью обучения и способностью адаптироваться к различным контекстам. Эти модели могут быстро усваивать и применять новую информацию на основе контекста, предоставленного во время обучения или умозаключений.

- Отсутствие контекстно-ориентированного обучения в автономных автомобилях (in context learning): В отличие от LLM, современные системы для автононмых автомобилей не в полной мере используют обучение с учетом контекста. Карпаты предположил, что это ограничение мешает производительности и адаптивности моделей для автономного вождения.

- Специализация против обобщения: Карпаты подчеркивает важность разработки общих решений, которые впоследствии можно будет специализировать, а не фокусироваться на специализированных решениях с самого начала. Он утверждает, что человекоподобные роботы должны быть общими, в то время как вождение - это специализированная задача. Специализированные решения не способствуют обучению с учетом контекста и могут работать не так хорошо, как общие решения, которые впоследствии адаптируются к конкретным задачам.

- Текущее состояние автономных автомобилей: Андрей описал текущий подход к созданию самоуправляемых автомобилей как состоящий в основном из набора классификаторов. Хотя эти классификаторы могут быть эффективны для решения конкретных задач, им не хватает обобщения и возможностей обучения с учетом контекста, которыми обладают более продвинутые системы ИИ.

Часть 1.
Часть 2.
Часть 3.
Часть 4.
Часть 5.
Часть 6.
Часть 7.
Часть 8.
Часть 9.
Часть 10.
Часть 11.

Продолжение следует

Часть 13. Q&A с Андреем Карпаты

Q: Андрей исследовал идею создания ИИ-генерируемых впечатлений, которые находятся между традиционными играми и фильмами, сосредоточившись на потенциале состязательных примеров и моделей вознаграждения, основанных на внимании.

Недавние исследования OpenAI в области Sora, модели преобразования текста в видео, проливают свет на возможности в этой области:

- Sora - модель преобразования текста в видео: OpenAI разработала Sora, модель ИИ, способную генерировать реалистичные и фантазийные видеосцены из текстовых инструкций. Sora может создавать видео длиной до минуты, сохраняя при этом визуальное качество и следуя подсказкам пользователя.

- Потенциал для иммерсивного опыта: Возможности, продемонстрированные Sora, говорят о том, что видеоконтент, созданный ИИ, может быть использован для создания очень увлекательных и захватывающих впечатлений, стирающих грань между традиционными играми и фильмами.

- Состязательные (adversarial) примеры и модели вознаграждения, основанные на внимании: У Андрея есть идея - берем человека и Сору, сажаем их друг напротив друга и используем отслеживание глаза как модель вознаградения. Sora быстро научится манипулировать человеческим восприятием и вниманием благодаря прямому измерению вовлеченности.

Психоделический и воздействующий на сознание контент: Видео, созданное ИИ, может быть визуально поразительным, сюрреалистичным и потенциально воздействующим на сознание, что создает интригующие возможности для будущего развлечений.

Часть 1.
Часть 2.
Часть 3.
Часть 4.
Часть 5.
Часть 6.
Часть 7.
Часть 8.
Часть 9.
Часть 10.
Часть 11.
Часть 12.

Конец

Откройте новые горизонты искусственного интеллекта с аналитикой данных

Согласно докладу Всемирного экономического форума, профессия аналитика данных является одной из самых востребованных в России и за рубежом. Возможность анализа данных становится ключом к пониманию и оптимизации работы искусственного интеллекта.

По данным сервиса Хабр Карьера, средняя зарплата аналитика на позиции джуниор составляет 90 000 рублей, а зарплаты опытных аналитиков достигают 300 000 рублей.

Если вас интересует аналитика или вы уже развиваетесь в этой сфере и хотите существенно улучшить свои скиллы, хочу порекомендовать вам курс – Аналитик PRO от Changellenge » Education. Это самый полный курс аналитики на рынке.

Он подойдет вам, если вы хотите прокачаться как аналитик данных, бизнес-аналитик, финансовый аналитик - в нем есть все что нужно для роста в любом направлении аналитики.

На 12 месячном курсе вы прокачаете ключевые навыки, необходимые аналитику — работа с данными:
🔵Python, SQL, Excel,
а также визуализация данных:
🔵Tableau, PPT, и с помощью Python.

Научитесь строить финансовые модели, погрузитесь в продуктовую и маркетинговую аналитику. И все попробуете на практике.

Из интересного для поиска работы за рубежом:
🔵В комплекте - мини-курс о специфике поиска работы за рубежом.
🔵При необходимости - подготовят вам резюме на английском.
🔵Карьерный консультант поможет с поиском офферов в России или за рубежом.

Школа специализируется исключительно на обучении аналитике, выпустила уже более 3500 учеников, а её выпускники программ работают в Яндексе, VK, Газпроме и других крупных компаниях.

В программе мастер-классы от экспертов из компаний уровня Avito и VK, реальные бизнес-проекты от компаний уровня Тинькофф, которые можно сразу указать в резюме. 83% студентов получают оффер в аналитике сразу после окончания обучения.

Сейчас на программу действует скидка 50%. По промокоду AI10 действует дополнительная скидка 10 000 руб. на курс "Аналитик PRO". Оставь заявку по ссылке и получи бесплатную консультацию по программе!

#Реклама. ООО «Высшая школа аналитики и стратегии». ИНН:7716917009 erid:2Vtzqx9mZsQ

💭 ЧАТ: Че как вы тут вообще? Утро воскресенья, чем занимаетесь?

Влияет ли fine tuning LLM на новых знаниях на галлюцинации модели?


На этот интригующий вопрос решили ответить исследователи из Google.


Основные тезисы:

1. LLM с трудом удается переварить новые фактические знания посредством fine tuning-a. Примеры, вводящие новые знания, изучаются значительно медленнее, чем те, которые соответствуют уже существующим знаниям модели.

2. По мере того, как LLM со временем усваивает новые знания, ее склонность к галлюцинациям возрастает. При этом наблюдается линейная корреляция между долей примеров fine tuning-a, вводящих новые знания, и увеличением количества галлюцинаций.

3. Fine tuning в основном помогает модели более эффективно использовать уже существующие знания, а не приобретать новые знания. Примеры fine tuning-a, соответствующие уже существующим знаниям модели, изучаются быстрее и повышают производительность.

4. Авторы разработали контролируемое исследование, в котором варьировали долю примеров fine tuning-a, вводящих новые знания, и анализировали их влияние на производительность модели. Также исследователи впервые предложили классифицировать факты по отношению к базе знаний модели на четыре категории.

5. Fine tuning на новых фактических знаниях создает риск overfitting-a, что может привести к снижению производительности и усилению галлюцинаций. Ранняя остановка (early stopping) во время fine tuning-a помогает снизить этот риск.

6. Дообучение на примерах, отнесенных к категории «Может быть, известно» (те вопросы, на которые модель спорадически давала правильные ответы), оказалась особенно полезным. Этот выбор улучшил способность модели обрабатывать такие примеры без значительного увеличения галлюцинаций.


📜 Пэйпер

🦙 Реализации LLaMa-3 с нуля

Привет, AI-энтузиасты! Готовы к захватывающему путешествию в мир создания языковых моделей? Тут выложили супер подробный туториал о реализации LLaMa-3 от Meta с нуля! 🦙💻

Что такое LLaMa-3? Это передовая языковая модель, способная генерировать человекоподобный текст. Она использует архитектуру трансформера и обучена на огромном объеме данных. 📚

Но как именно она работает под капотом? 🔧 Один из лучших способов разобраться - реализовать ее самостоятельно, tensor за tensor'ом, matrix multiplication за matrix multiplication. 🧩

Именно этим мы и займемся! Наш путь будет полон захватывающих этапов:
- Подготовка данных и токенизация 🪄
- Создание эмбеддингов и их нормализация 🎛️
- Реализация механизма внимания (attention) 🎯
- Применение позиционных эмбеддингов 📍
- И многое другое! 🎉

Хотите узнать все детали и погрузиться в код? Тогда скорее переходите по ссылке на GitHub:

💻 GitHub

🤖🔍 Компания Anthropic впервые детально изучила внутреннее устройство современной продакшн-модели - Claude Sonnet.

Что удалось выяснить? 👇

▫️В модели закодированы миллионы концептов - от конкретных сущностей (города, люди, химические элементы) до абстрактных понятий (гендерные стереотипы, секретность). Причем мультимодально и мультиязычно!

▫️Схожие концепты (например, достопримечательности Сан-Франциско) располагаются "близко" друг к другу. Прямо как у людей в голове! 🧠

▫️Усиливая или подавляя определенные паттерны активации нейронов (т.н. "фичи"), можно влиять на поведение модели - например, заставить ее генерировать фишинговые письма, от которых она обычно отказывается. 😮

Anthropic заявляют, что их цель - сделать ИИ более безопасным. Идентификация фичей, связанных с нежелательным поведением - первый шаг. В будущем это поможет лучше детектировать и пресекать такое поведение.

Работа только началась, многое еще предстоит изучить. Но это важная веха в интерпретируемости ИИ и понимании того, как мыслят большие языковые модели! 🎉

Хотите узнать детали - читайте научную статью "Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet".

🌁 Блог-пост