💭 ЧАТ: Че как вы тут вообще? Утро воскресенья, чем занимаетесь?

Влияет ли fine tuning LLM на новых знаниях на галлюцинации модели?


На этот интригующий вопрос решили ответить исследователи из Google.


Основные тезисы:

1. LLM с трудом удается переварить новые фактические знания посредством fine tuning-a. Примеры, вводящие новые знания, изучаются значительно медленнее, чем те, которые соответствуют уже существующим знаниям модели.

2. По мере того, как LLM со временем усваивает новые знания, ее склонность к галлюцинациям возрастает. При этом наблюдается линейная корреляция между долей примеров fine tuning-a, вводящих новые знания, и увеличением количества галлюцинаций.

3. Fine tuning в основном помогает модели более эффективно использовать уже существующие знания, а не приобретать новые знания. Примеры fine tuning-a, соответствующие уже существующим знаниям модели, изучаются быстрее и повышают производительность.

4. Авторы разработали контролируемое исследование, в котором варьировали долю примеров fine tuning-a, вводящих новые знания, и анализировали их влияние на производительность модели. Также исследователи впервые предложили классифицировать факты по отношению к базе знаний модели на четыре категории.

5. Fine tuning на новых фактических знаниях создает риск overfitting-a, что может привести к снижению производительности и усилению галлюцинаций. Ранняя остановка (early stopping) во время fine tuning-a помогает снизить этот риск.

6. Дообучение на примерах, отнесенных к категории «Может быть, известно» (те вопросы, на которые модель спорадически давала правильные ответы), оказалась особенно полезным. Этот выбор улучшил способность модели обрабатывать такие примеры без значительного увеличения галлюцинаций.


📜 Пэйпер

🦙 Реализации LLaMa-3 с нуля

Привет, AI-энтузиасты! Готовы к захватывающему путешествию в мир создания языковых моделей? Тут выложили супер подробный туториал о реализации LLaMa-3 от Meta с нуля! 🦙💻

Что такое LLaMa-3? Это передовая языковая модель, способная генерировать человекоподобный текст. Она использует архитектуру трансформера и обучена на огромном объеме данных. 📚

Но как именно она работает под капотом? 🔧 Один из лучших способов разобраться - реализовать ее самостоятельно, tensor за tensor'ом, matrix multiplication за matrix multiplication. 🧩

Именно этим мы и займемся! Наш путь будет полон захватывающих этапов:
- Подготовка данных и токенизация 🪄
- Создание эмбеддингов и их нормализация 🎛️
- Реализация механизма внимания (attention) 🎯
- Применение позиционных эмбеддингов 📍
- И многое другое! 🎉

Хотите узнать все детали и погрузиться в код? Тогда скорее переходите по ссылке на GitHub:

💻 GitHub

🤖🔍 Компания Anthropic впервые детально изучила внутреннее устройство современной продакшн-модели - Claude Sonnet.

Что удалось выяснить? 👇

▫️В модели закодированы миллионы концептов - от конкретных сущностей (города, люди, химические элементы) до абстрактных понятий (гендерные стереотипы, секретность). Причем мультимодально и мультиязычно!

▫️Схожие концепты (например, достопримечательности Сан-Франциско) располагаются "близко" друг к другу. Прямо как у людей в голове! 🧠

▫️Усиливая или подавляя определенные паттерны активации нейронов (т.н. "фичи"), можно влиять на поведение модели - например, заставить ее генерировать фишинговые письма, от которых она обычно отказывается. 😮

Anthropic заявляют, что их цель - сделать ИИ более безопасным. Идентификация фичей, связанных с нежелательным поведением - первый шаг. В будущем это поможет лучше детектировать и пресекать такое поведение.

Работа только началась, многое еще предстоит изучить. Но это важная веха в интерпретируемости ИИ и понимании того, как мыслят большие языковые модели! 🎉

Хотите узнать детали - читайте научную статью "Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet".

🌁 Блог-пост

Images that Sound: Composing Images and Sounds on a Single Canvas

abs: https://arxiv.org/abs/2405.12221
project page: https://ificl.github.io/images-that-sound/
code: https://github.com/IFICL/images-that-sound

This paper introduces an inference-time procedure that generates images that are also spectrograms corresponding to the prompt. It uses a latent image and audio diffusion model with same latent space (Stable Diffusion v1.5 and Auffusion) and denoise the same latent with both.

@opendatascience

Mistral-7B-v0.3 теперь open-source!


Главные моменты:

- Лицензия Apache 2.0 для чекпойнтов базовой и инстракт моделей

- Расширенный словарь до 32768

- Поддержка токенайзера v3

- Поддержка function calling (API запросов)

- Безцензурность 🤬 (fine tuning проходил без модерации)


🤗 HuggingFace

Скажите что-то на карьерном

Тинькофф в поиске крутых ИТ-спецов. С компании — профессиональный рост, интересные финтех-задачи, решение бытовых забот и работа там, где вы живете. С вас — выбрать вакансию и откликнуться тут

#реклама
АО «Тинькофф Банк», ИНН 7710140679

Компания Нейролинк обявила о конкурсе на самую лучшую компрессию сигнала

Компания Neuralink проводит соревнование по сжатию данных, полученных от импланта, встроенного в моторную кору головного мозга приматов.

Имплант генерирует поток данных со скоростью около 200 Мбит/с, но способен передавать по беспроводной связи лишь 1 Мбит/с, поэтому необходимо сжатие более чем в 200 раз. Алгоритм сжатия должен работать в реальном времени (менее 1 мс) и потреблять мало энергии (менее 10 мВт, включая радиопередачу).

Участникам предлагается создать исполняемые файлы для кодирования и декодирования, обеспечивающие сжатие без потерь. Решения будут оцениваться по коэффициенту сжатия на другом наборе данных, а дополнительные баллы будут присуждаться за оптимизацию скорости и энергоэффективности.

Кто хочет со мной поучаствовать? Пишите в комментах, попробуем организоваться в команду

Ссылка на соревнование

Stanford обновил свой ранкинг прозрачности LLM


Что нового 👀

- Средний балл составляет 58, а высший балл — 85 из 100. Это на 21 балл выше среднего показателя за октябрь 2023 года

- По сравнению с индексом за октябрь 2023 есть значительное улучшение: верхняя граница выросла на 31 балл, а нижняя — на 21 балл. Все восемь разработчиков, получившие баллы по FMTI за октябрь 2023 г. и май 2024 г., улучшили свои оценки.

- Из 100 показателей прозрачности 96 удовлетворяются как минимум одним разработчиком, а 89 — несколькими.

- Разработчики активно публикуют отчеты о прозрачности. Это контрастирует с нашим предыдущим подходом, когда команда FMTI собирала информацию из Интернета.

- Разработчики раскрыли в своих отчетах в среднем 17 новых показателей.

💻 Сайт


📜 Пэйпер

🔥 Wunder fund: вакансия Senior Data Researcher 🔥

TLDR: Wunder Fund, Senior Data Researcher, Алготрейдинг, HFT

🌍 Локация: Remote/Релокация в несколько стран

💰Вилка: от $5k до $7k на руки, иногда больше — договоримся (есть привязка к валюте, можем платить в долларах или крипте)

👁 Инфа: Мы — Wunder Fund, занимаемся высокочастотной торговлей (HFT) с 2014 года. Торгуем на 14 биржах по всему миру и наш дневной оборот больше $5 млрд. Сейчас ищем в команду Senior Data Researcher, который возглавит направление нейросетей в Wunder Fund.

Вам предстоит обучать модели, проверять гипотезы и добиваться максимальной точности моделей. Задача похожа на Kaggle-соревнование, только модели и фичи должны считаться максимально быстро.

Вы будете работать в сильной команде — это лучшие программисты, математики, физики, выпускники лучших вузов, победители соревнований и международных олимпиад. Наша сфера очень конкурентна, поэтому мы используем самые современные технологии, чтобы обеспечить максимальную скорость и точность наших систем.

🤓 Что вам понадобится

- Хорошо знать Python и математику
- Быть опытным практиком пристального вглядывания в данные
- Иметь успехи в Kaggle соревнованиях (Kaggle Master/Grandmaster)
- Иметь опыт успешного обучения трансформеров и LSTM.
- Будет плюсом: опыт в соревнованиях по NLP, Speech Recognition.

Условия: работа в команде выпускников МГУ и Физтеха, полная удаленка, гибкий график, ЗП по результатам собеседования от $5,000 до $7,000 на руки.

Небольшой видос про data science у нас и исследования — https://youtu.be/in2wXwxeaqs

Ссылка на вакансию: https://clck.ru/3A2CnM

Как откликнуться

Пишите в ТГ @nedifar1703

#реклама

Поправки к скандальному законопроекту SB 1047 (про регулирование обучения моделей в Калифорнии)

Как многие из вас помнят, я живу в Сан Франциско. И это опредленно ИИ столица мира. На днях мне довелось сходить на городское собрание (town hall) с Сенатором Вайнером - автором скандального законопроекта SB 1047 (про регулирование обучения моделей в Калифорнии).

Несколько месяцев назад сенатор Скотт Вайнер представил законопроект SB 1047, целью которого является регулирование разработки и использования передовых моделей искусственного интеллекта. В первоначальной версии законопроекта по сути предлагалось ввести лицензирование всех моделей ИИ (и их производных, таких как файн-тюнинг), превышающих определенный порог вычислительной мощности. Очевидно, что в таком виде законопроект уничтожил бы все стартапы в сфере ИИ в штате, а следовательно, и во всем мире.

Однако похоже, что за последнее время законопроект претерпел значительные изменения. Вот несколько ключевых моментов, которые прозвучали на встрече:

- Критерий размера модели (в твиттере шутили, что раньше по похожим соображениям США регулировал экспорт Play Station 2) будет исключен из законопроекта. Вместо этого будут введены новые метрики, например, объем инвестиций в обучение модели не менее 100 миллионов долларов (кстати не плохой incentive для того что бы укладывать больше вычислений в меньшую стоимость).

Как SB 1047 повлияет на разработчиков?

Если вы создадите нечто, что впоследствии будет использовано во вред кому-либо, на вас могут подать в суд и втянуть в судебную тяжбу. Однако такая ситуация существует в Калифорнии уже давно.

Если вы компания, подпадающая под действие законопроекта (сенатор пошутил: если вы буквально Сундар Пичаи, гендиректор Google), вы должны:
- Провести тестирование на наличие опасных возможностей
- Разработать план по борьбе с этими экстремальными рисками
- Внедрить разумные меры безопасности перед развертыванием модели
- Поддерживать уровень информационной безопасности, соразмерный этим рискам
- Убедиться, что вы можете отключить модели, находящиеся в вашем распоряжении

Цель законопроекта - управление рисками, их снижение и минимизация. В дальнейшем будет еще 4 возможности внести поправки в законопроект.

Вопросы и ответы:

- С какими сообществами открытого исходного кода вы общались? Например с разработчиками открытого ПО из Amazon никто не разговаривал.
Сенатор не смог назвать ни одного сообщества, с которым они консультировались.

- Как вы предотвратите торможение инноваций в сфере ИИ (как GDPR сделал с Европой)?
Это не GDPR. Этот законопроект гласит: если вы создаете огромную модель ИИ, проведите оценку безопасности и управляйте рисками.

- Ультралевые считают, что законопроект недостаточно строгий. Они беспокоятся, что защита информаторов (стукачей, которые будут репортить те самые экстримальные риски) в нем слишком слабая. Как осведомители могут чувствовать себя в безопасности?
Защита информаторов предусмотрена в законопроекте.

- Почему было убрано определение оценки моделей по бенчмаркам?
Правительству сложно успевать за технологическим развитием. Скоро и меньшие модели смогут конкурировать по этим бенчмаркам, и тогда законопроект должен будет регулировать также и стартапы. Но это не является целью. Стартапы должны чувствовать себя спокойно.
В идеале должен быть орган, обновляющий бенчмарки, но это не предусмотрено законопроектом.

- Как определить, что модели проявляют опасные возможности? На что способны такие модели?
"Модели облегчают причинение существенного вреда". "Действительно широкие общественные риски".
1 категория: если модель облегчает создание биологического/химического оружия.
2 категория: автономная преступность на сумму более 500 млн долларов.

- Что происходит, когда модель с открытым исходным кодом работает так же хорошо как проприетарная модель? Может ли Meta выпустить модель на 400 млрд параметров в открытый доступ и ожидать, что на нее не подадут в суд?
Eсли Meta заявляет, что тестирует модели, нет оснований им не верить. В остальном эти проблемы пока не решены. Цель - стимулировать безопасность.

Судя по рекламе, уже на следующей неделе, нас наконец-то ждет обновление Сири (или что-то типа такого).

Action packed - в этом контексте, можно перевести как насыщенная программа, а можно перевести как, то, что в продукты Apple будут наконец то упакованы действия, следовательно агентные фрэймворки.

А что может быть агентнее по-настоящему работающей Сири?

Пэт проект - “Sandy”.

Привет, друзья!

Я тут недавно завел себе нового четвероногого друга - щенка золотистого ретривера! И теперь у меня пэт проект по DL (Dog Learning)! 🐶🧠

Каждый день - это новый челлендж и возможность прокачать свои навыки дрессировки. Прямо как в машинном обучении, только вместо нейросетей - 3х месячный щеночек!

Но, как и в любом ML проекте, без качественных данных никуда. Поэтому я активно ищу лучшие ресурсы для своего "датасета" по воспитанию щенка.

Впереди много работы по сбору данных и обучению моей персональной "нейросети". Но я полон энтузиазма применить свои навыки ML-инженера в этой новой области! 😄

А у вас, друзья, есть опыт в "Dog Learning"? Может посоветуете еще какие-то годные ресурсы для начинающих собаководов?

Накидайте пожалуйста в комменты список книг, фильмов и Youtube-каналов, которые, must-have для каждого начинающего собаковода.

Буду очень благодарен за советы и лайфхаки, которые облегчат мне этот интересный челлендж! 🙏

Если вы задумывались как выглядит будущее -> вероятнее всего вот так. Уютные дома на фоне Урбана, а мимо проносятся беспилотные Waymo.

Где-то там внизу копошиться ткмные полчища в Тендерлоине, и в то же время дамы и господа выгуливают своих собачек на велосипедах с колясками.

📍Alamo Square

Сэм Альтман куда-то идет на Apple WWDC. ChatGPT - это Siri 2.0?

Слово Агент не сказали ни разу, но AI у нас теперь Apple Intelegence =)

Биомеханика и ИИ: предсказание нейронной активности с помощью виртуальных грызунов

Биологический мозг — (пока) непостижимо сложный процессор, который, например, без труда контролирует каждое движение, даже когда мы идём ночью на кухню за последним кусочком пиццы. В этот момент активны сенсомоторный стриатум и моторная кора, отвечающие за планирование и выполнение движений.

А что, если мы натренируем нейросеть, которая бы предсказывала движения какого-нибудь чертовски умного животного и генерировала активность нужных областей мозга? Будет ли соответствовать предсказание модели нейронной активности реальных животных при выполнении тех же действий? У ученых из Гарварда и DeepMind есть ответ – да, будет. Они создали виртуальную крысу, чтобы понять, как мозг контролирует движение. Оказалось, что эта цифровая крыса может предсказывать нейронную активность настоящих крыс лучше всего, что сейчас есть.

Сделали биомеханическую модель с учётом основных частей тела и суставов, позволяющих реалистично имитировать движения крысы и использовали симулятор MuJoCo для воспроизведения движений. Виртуальную крысу контролировала нейросеть, состоящая из персептронов и LSTM, натренированная на видео с одновременной регистрацией нейронной активности. Использовались методы 3D pose-estimation и регистрации скелета и суставов. На выходе - данные для планирования движений и нейронная активность в сенсомоторном стриатуме и моторной коре. Модель обратной динамики (которая планирует, какие мышечные движения требуются, чтобы крыса переместилась из одной точки в другую) показала лучшую предсказательную способность, чем альтернативные модели прямой динамики и последовательного прогнозирования.

Возможности открываются поистине впечатляющие: робототехника, реабилитация и протезирование, "мозг-компьютер" интерфейсы (BCI), моделирование и симуляция поведения, и вообще чуть продвинуться в понимании нейронных механизмов, лежащих в основе обучения, памяти и координации движений.

Статья Nature
Github
Data

Q&A с Винодом Хослой.

Продолжаю пользоваться преимущиствами жизни в Bay Area - сходил на ужин с Винодом Хослой (у него состояние $7.5B)

Винод Хосла - индийско-американский бизнесмен-миллиардер и венчурный капиталист. Поднял свои миллиарды на компании Sun Microsystems, затем основал Khosla Ventures - одну из самых больших и серьезных венчурных фирм (занимается инвестициями в тех)

Q: Что происходит с нынешней волной ИИ?

Нынешняя волна ИИ позволяет создать огромную экономическую ценность, подобно тому, как iPhone позволил создать целый класс приложений, а Интернет - такие компании, как Amazon и Google. ИИ способен повлиять на такие отрасли, как продажи, медицина, юриспруденция и многие другие. Подобно тому, как iPhone произвел революцию в сфере мобильных приложений, а Интернет породил гигантов электронной коммерции, ИИ способен изменить (и прирастить) значительную часть экономики. В ближайшие годы торговые представители, врачи, юристы и профессионалы во многих других сферах смогут дополнить или даже заменить свои функции решениями на базе ИИ.


Q: Как в сфере ИИ проходит гонка между компаниями и стартапами, и что вы можете посоветовать?

У инкумбентов всегда есть большие преимущества, в то время как стартапы отлично справляются с задачей взлома роста (growth hacking).

Такие известные компании, как Google, имеют большие карманы и могут позволить себе эксперименты и неудачи, что дает им преимущество в гонке ИИ.

Однако стартапы могут уравнять шансы, найдя инновационные способы обучения моделей ИИ с использованием значительно меньшего количества данных, например, с помощью нейросимволических методов, сочетающих нейронные сети с символьными рассуждениями. Такой подход может помочь стартапам конкурировать, не требуя огромных вычислительных ресурсов, которыми обладают ведущие компании.

Часть 2.

Продолжение следует

Q&A с Винодом Хослой. Часть 2.

Q: Многие стартапы пытаются оставить юристов без работы. Произойдет ли это?

Да, это произойдет. Стартапы должны сосредоточиться на удовлетворении конкретных потребностей юридической отрасли. Юридическая профессия созрела для разрушения, и решения, основанные на искусственном интеллекте, скорее всего, автоматизируют многие задачи, которые сейчас выполняют юристы. Однако вместо того чтобы пытаться полностью заменить юристов, стартапам следует сосредоточиться на решении конкретных проблем и устранении неэффективности правовой системы. Нацелившись на нишевые области и разработав специализированные инструменты ИИ, стартапы смогут занять достойное место в развивающемся юридическом ландшафте.


Q: Что вы думаете о сфере потребительских носимых устройств (Rabbit, Meta и т. д.)? Будет ли он развиваться, и подходит ли он больше для стартапов или крупных компаний?

Носимые устройства, вероятно, будут играть важную роль через 10 лет, особенно на некоторых рынках, таких как игры и работа. Широкое распространение среди потребителей маловероятно, так как это очень сложно.

Многообещающими являются специализированные корпоративные приложения или что-нибудь настолько специфичное, как Устройство для лечения СДВГ. Пользовательский опыт имеет решающее значение. Я в восторге от голографических (плоских 3D) дисплеев, которые могут создавать социальное взаимодействие, а не изолировать людей друг от друга.

Несмотря на то что потребительские носимые устройства могут не получить широкого распространения, в отдельных вертикалях существуют значительные возможности. Игровые и корпоративные приложения, например, направленные на концентрацию внимания и повышение производительности, - вот области, где носимые устройства скорее всего будут процветать.

Стартапы могут иметь преимущество в создании специализированных решений для этих рынков, поскольку они могут быстро развиваться и вносить изменения на основе отзывов пользователей. Кроме того, большой потенциал имеют такие инновации, которые обеспечивают совместный опыт и социальное взаимодействие. Как всегда, ключевым фактором успеха в сфере носимых устройств будет обеспечение привлекательного пользовательского опыта.

Хороший тест на то, будет ли устройство массовым - представьте себе бабушку в Тайланде. Если она пользуется вашим устройством - значит вы придумали что-то по настоящему массовое.


Q: Какие области финтеха вызывают у вас интерес?

Финтех - это обширная и быстро развивающаяся область с множеством интересных возможностей. Платежные системы, такие как индийская UPI, демонстрируют, как технологии могут значительно снизить стоимость транзакций и расширить охват населения финансовыми услугами.

Блокчейн способен оптимизировать процессы и повысить безопасность в некоторых приложениях. Финансирование малого бизнеса и кредитование клиентов - области, созревшие для разрушения, поскольку традиционные модели зачастую медленны, громоздки и не отвечают потребностям современных предприятий и потребителей. Даже такие фундаментальные методы, как ведение бухгалтерского учета с двойной записью, возможно, требуют пересмотра в цифровую эпоху. Основная проблема заключается в том, чтобы сориентироваться в сложном нормативном ландшафте и преодолеть сопротивление укоренившихся интересов, которые стремятся сохранить статус-кво.


Q: Как вы размышляете и учитесь?

Непрерывное обучение необходимо, независимо от возраста. Я обнаружил, что чтение научных работ и участие в дискуссиях с другими людьми - это мощный способ расширить свои знания и опровергнуть свои предположения. Активно изучая различные точки зрения и приветствуя конструктивные разногласия, я могу усовершенствовать свои идеи и глубже понять сложные темы. Очень важно оставаться скромным и непредвзятым, поскольку те, кто считает, что уже все знает, часто учатся меньше всего. Мысль о том, что нужно учиться всю жизнь и быть готовым к тому, что ваши взгляды будут оспариваться, - это ключ к личностному и интеллектуальному росту.

Часть 1.