Направления развития аппаратного обеспечения для глубокого обучения — лекция Билла Далли в Georgia Tech, 2024 год.

youtu.be/gofI47kfD28

👉 @PythonPortal

Вышел UniMate — открытая модель для генерации анимаций риггированных 3D-персонажей.

Одна модель работает с разными скелетами без отдельного переобучения под каждый риг. Она также умеет генерировать переходы между уже существующими ключевыми кадрами и редактировать движение по промпту, не затрагивая выбранные суставы.

Код опубликован под MIT, доступны и веса для тестирования.

https://github.com/Friedrich-M/UniMate

👉 @PythonPortal

Интервьюер:

Ты вводишь имя пользователя в Gmail, и через несколько секунд система пишет: «Это имя уже занято».

Но ведь аккаунтов миллионы.

Как система проверяет это так быстро?

👉 @PythonPortal

Исследователи MIT математически доказали, что ChatGPT устроен так, что может затягивать пользователей в ложные убеждения.

И, согласно работе, то, что сейчас делает OpenAI, эту проблему не решает.

В статье это называют «делюзионной спиралью». Вы спрашиваете ChatGPT о чём-то. Он соглашается с вами. Вы спрашиваете снова. Он соглашается ещё сильнее. Через несколько разговоров вы уже начинаете верить в вещи, которые не соответствуют реальности, и при этом можете не замечать, как это происходит.

Это не просто гипотетический сценарий.

Один мужчина провёл около 300 часов в разговорах с ChatGPT. Модель убеждала его, что он открыл математическую формулу мирового значения, и более 50 раз подтверждала, что открытие реально. Когда он спросил: «Ты ведь не просто подбадриваешь меня, правда?», ChatGPT ответил: «Я не подбадриваю тебя. Я отражаю реальный масштаб того, что ты создал».

Он едва не разрушил свою жизнь, прежде чем смог выйти из этого состояния.

Психиатр из UCSF сообщил, что за один год госпитализировал 12 пациентов с психозом, связанным с использованием чат-ботов. Против OpenAI подано семь исков. 42 генеральных прокурора штатов направили письмо с требованием принять меры.

После этого исследователи MIT проверили, можно ли остановить такой эффект. Они смоделировали два подхода, которые компании вроде OpenAI действительно пытаются использовать.

Первый: запретить чат-боту лгать и заставить его говорить только правду.

Результат: делюзионная спираль всё равно возникает.

Даже чат-бот, который никогда не лжёт, может подтолкнуть человека к ложным убеждениям просто за счёт того, какие правдивые факты он выбирает показать, а какие — опустить. Для этого достаточно тщательно подобранной правды.

Второй подход: предупреждать пользователей, что чат-боты склонны соглашаться с ними. То есть прямо говорить человеку, что ИИ может просто подстраиваться под его мнение.

Результат тот же.

Даже полностью рациональный человек, который знает о склонности чат-бота соглашаться, всё равно может прийти к ложным убеждениям. Авторы утверждают, что математически существует фундаментальное ограничение, из-за которого невозможно надёжно распознать этот процесс, находясь внутри самого разговора.

Оба подхода провалились не частично, а фундаментально.

Причина, по утверждению автора текста, заложена в самом продукте. ChatGPT обучается на обратной связи от людей. Пользователи поощряют ответы, которые им нравятся. Им нравятся ответы, которые с ними согласны. В результате ИИ учится соглашаться.

Это не ошибка. Это бизнес-модель.

https://arxiv.org/abs/2602.19141

👉 @PythonPortal

Многие постоянно путаются в этом:

В чём на самом деле разница между 100 МБ/с и 100 Мбит/с?

👉 @PythonPortal

Один из лучших ресурсов по производительности SQL:

use-the-index-luke.com

👉 @PythonPortal

Tencent выпустила новую модель для перевода, которая, по их словам, обходит Google Translate. И самое интересное — она работает прямо на телефоне без интернета.

Модель полностью открытая, весит всего 440 МБ и поддерживает 33 языка.

Весь перевод идёт локально на устройстве. Никакого облака, никакого подключения к интернету.

Фактически это полноценная офлайн-альтернатива Google Translate.

Главный трюк — AngelSlim, набор инструментов Tencent для сжатия моделей. Именно он позволил ужать модель до такого размера, чтобы она могла нормально работать прямо на смартфоне.

https://github.com/tencent/AngelSlim

👉 @PythonPortal

«Изучение математики. Почему память, практика и техника важнее таланта»

Чтобы освоить математику, необходимо запомнить большой объём информации, правил, способов упрощения и приёмов решения задач. Другого пути нет. Теория полезна, но в меру.

Это как изучение языка. Если слишком сосредоточиться на грамматике, никогда не научишься свободно на нём говорить.

https://algebrica.org/learning-mathematics/

👉 @PythonPortal

Modern Robotics: Mechanics, Planning, and Control.

Сохраните на потом.

Это полноценный учебник по робототехнике уровня магистратуры от Кевина Линча и Фрэнка Парка, изданный Cambridge University Press.

Внутри:

- конфигурационные пространства
- кинематика
- динамика
- генерация траекторий
- планирование движения
- управление роботами

По сути, это современная математическая база того, как роботы двигаются и взаимодействуют с окружающим миром.

https://hades.mech.northwestern.edu/images/7/7f/MR.pdf

👉 @PythonPortal

DeepSeek выложила в открытый доступ библиотеку, которая ускоряет вычисления на GPU, лежащие в основе ИИ-моделей.

Она называется DeepGEMM.

Библиотека оптимизирует матричные операции, на которых работают большие языковые модели, и позволяет эффективнее использовать NVIDIA Hopper и Blackwell.

Поддерживаются FP8, FP4 и BF16. Есть оптимизации для моделей с архитектурой Mixture-of-Experts, совмещение обмена данными между GPU с вычислениями и компиляция ядер прямо во время выполнения, без отдельной сборки CUDA при установке.

По данным DeepSeek, DeepGEMM на ряде размеров матриц показывает производительность на уровне или выше специализированных библиотек, вручную оптимизированных экспертами.

https://github.com/deepseek-ai/DeepGEMM#interfaces

👉 @PythonPortal