#dl #gan #courses

#dl #nlp #causal

OpenAI выпустили отладчик... для трансформера (модели нейросети, лежащей в основе языковых моделей). Инструмент называется TDB, и это — логические продолжение прошлой работы из этого направления, Language models can explain neurons in language models.

TDB позволяет поставить генерацию LLM (хотя скорее SLM — мы пока только на них тренируемся, интерпретация — очень сложный топик) на паузу с мотать вперёд и назад, и анализировать, как разные слова влияют на конкретное поведение.

Его можно использовать для ответа на такие вопросы, как: «Почему в этом запросе модель выводит токен A вместо токена B?» или «Почему в этом промпте модель направляет своё внимание на символ T?» Делается это путем выявления конкретных компонентов (нейронов, голов внимания, и дополнительно обучаемых автоэнкодеров), которые способствуют поведению.

Вот на картинке в верхней части вы видите, что какие-то слова раскрашиваются в разные цвета. Бирюзовый показывает, какое слово передаёт свой смысл с большей степенью, а розовый — куда он передаётся. Но это один случай одной головы внимания, а их десятки, ещё и в разных слоях, коих тоже десятки. Так много глазами не насмотришь, правда?

И тут в игру вступает GPT-4 из цитируемой работы. Грубо говоря сначала находятся другие тексты, которые имеют схожий паттерн активации, а затем они подаются в GPT-4 для того, чтобы она текстом объяснила, какую зависимость видит. И вам показывается результат, который помогает понять, что заставляет какие-то части сети активироваться наиболее сильно.

Всё это нужно для того, чтобы развивать интерпретируемость модели и выявлять паттерны. Чуть более подробно рассказывал вот тут в лекции (даже ту же статью упоминал, на которой OpenAI пример приводят). Сейчас всё настолько плохо, что самая большая обнаруженная логическая схема в модели состоит из 26 компонент (суммарно в моделях их тысячи, а комбинаций...) и решает примитивнейшую задачу. И это — в самой маленькой GPT-2.

Я принес. Разбираем примеры стратегий

В последний год по ИТ пронеслась какая-то волна «стратегической лихорадки». Сезоны конференций, куча статей, постов, рекомендаций книг.

Полезного, бесполезного, мудрого, дурацкого контента навалом.

А я вам принес заинтересовывающий и вдохновляющий. Вот две части: https://habr.com/ru/articles/728180/ https://habr.com/ru/articles/731012/

Там автор берет тезисы из книги «Хорошая стратегия, плохая стратегия» и подводит под них интересные истории из бизнеса крупных известных компаний. Где кто на что сделал ставку, как прогорел или, наоборот, завоевал мировые рынки.

Стоит оговориться, что и в комменты надо сходить, где внимательные читатели подкидывают фактов и контраргументов против однозначной складности повествования.

Но лично мне читалось очень интересно. Думается мне, такое чтиво как раз полезно именно тем, чтобы разжечь интерес и мотивировать пойти почитать оригинальную книгу, порефлексировать и что-то реальное поделать.

3D Gaussian Splatting

Gaussian Splatting (GS) — новый метод рендеринга, которому прочат большое будущее в индустрии компьютерной графики. Gaussian Splatting превосходит state-of-the-art методы, сочетая высокое качество синтеза с быстротой обучения и отрисовки. Сейчас активно разрабатывают новые применения метода. Использовать GS уже можно в самых разнообразных задачах: от 3D-аватаров до навигации.

Из текста вы узнаете, как Gaussian Splatting:
- использует гауссианы для представления трёхмерного пространства
- позволяет эффективно отрисовать новые изображения для сцены
- обучается создавать детализированное представление сцены

Читайте нашу статью по ссылке: https://www.notion.so/deepschool-pro/3D-Gaussian-Splatting-Revolutionizing-Real-Time-Radiance-Field-Rendering-73cfad31a57c443d9c073f2b7aa246eb?pvs=4

#metrics #interview

Вопросы по метрикам спрашивают на любом собеседовании, ведь на метриках держится любой продукт. В прикрепленном файлике для моих любимых подписчиков находятся все популярные метрики, которые нужно просто заучить для собеседований. Но опять же не стоит относиться к ним, как к готовым рецептам. Выбор метрики — это всегда непростая аналитическая задача.

Для первого погружения подойдет открытые вебинары по продуктовой аналитики Тинькофф, качества они не очень, но дареному коню в зубы не смотрят!

1. Метрики
Видео; Презентация
2. Как делать выводы из данных
Видео; Презентация
3. Мобильная аналитика
Видео; Презентация

В том же файлике подготовил вопросы и задачи, которые помогут потренероваться. А если хотите интересную практику на реальных кейсах, то советую наш курс по аналитике.

#dl #audio

#grokaem_audio

Интересная статья на medium (что уже редкость) об ускорении whisper для real-time.

Code
Medium

заметки на полях:
0. whisper работает по семплам в 30s, для реалтайма нам нужно процессить семплы и короче, как только они приходят. На этом моменте авторы заметили, что паддинг, который ставит whisper а) разделяет слова, которые еще произносятся б) увеличивает кол-о галлюнов. Первый случай решают re-прогоном, копят короткие семплы к 30s и прогоняют снова.
1. хранят intermediate states (хз что именно тут подразумевают) для реконнекта
2. для streaming диаризацию используют тык на x-vectors. Тут они на каждый чанк считают эмбеддинг, делают clustering на часть предыдущих эмбеддингов, ремепят лейблы и продолжают
3. объединить этот пайплайн с whisper + диаризация тот еще оркестр, потому что как раз диаризации нужно достаточно предыдущих эмбеддингов, а whisper хочет до 30s, чтобы пересчитать, но тоже извините меня не москва, не резиновый - тут они а) resegment выход у whisper и б) ставят похоже forcefully трешхолд какой-то
4. есть еще сложность в кол-ве engines, потому что пайплайн с shared queue тоже не сработает, ведь подключение должно быть постоянным, не получится распознать часть и взять джобу, тут тоже предлагают оркестр с worker pool, к которому прилетает информация и он инициирует подключение