Теперь можно просто загрузить изображение и посмотреть, как нейросеть определяет, что на нём изображено.

CNN Explainer позволяет проследить весь процесс обработки:

Пиксели → свёртка → ReLU → пулинг → карты признаков → softmax → предсказание.

Можно переходить между слоями нейросети и изучать фильтры, активации и вычисления, на основе которых формируется результат.

Отличный способ наглядно разобраться в работе свёрточных нейросетей (CNN).

https://poloclub.github.io/cnn-explainer/

«Book of Proof» Ричарда Хэммака — полностью бесплатный учебник, впервые опубликованный в 2009 году. Он стал своего рода современной классикой для тех, кто хочет научиться читать, понимать и строить математические доказательства.

Книга объёмом почти 400 страниц охватывает теорию множеств, логику, комбинаторику, прямые доказательства, доказательства методом контрапозиции и от противного, математическую индукцию, отношения, функции, доказательства в математическом анализе и мощности множеств. Также в ней много упражнений и решений.

Учебник особенно хорошо подходит студентам первых курсов университетов, которые хотят освоить формальные математические рассуждения и строгие доказательства.

Это одна из тех книг, которые я настоятельно рекомендую иметь в личной библиотеке по математике, особенно учитывая, что она находится в свободном доступе.

https://richardhammack.github.io/BookOfProof/Main.pdf

Это один из важнейших результатов за всю историю исследований искусственного интеллекта. Без преувеличения.

Если коротко: нейронные сети не представляют собой запутанные клубки взаимосвязей (представление о полисемантичности нейронов ошибочно). Их нейроны можно изучать напрямую, не прибегая к предварительному «распутыванию» с помощью другой модели. 90% нейронов в Qwen-32B выполняют одну определённую функцию.

Ник Каммарата основал команду по исследованию интерпретируемости ИИ в OpenAI, а сейчас работает в Goodfire. Уже десять лет он изучает внутренние механизмы работы больших языковых моделей.

Понимание поведения моделей и его согласование с человеческими целями сейчас важнее, чем когда-либо прежде. Модели уже достигли результатов, превосходящих человеческие возможности в математике, способны взламывать программные системы, работающие в продакшене, и меняют характер интеллектуального труда.

Возможно, именно это исследование наконец позволит нам целенаправленно проектировать большие языковые модели и определять, как они будут себя вести.

Это объёмная, по-настоящему выдающаяся статья, которую стоит прочитать.

https://already-clean.goodfire.com/

Нашёл ещё один отличный курс по ИИ-агентам, лекции которого Университет Карнеги — Меллона (CMU) бесплатно публикует на YouTube.

Курс ведут Грэм Нойбиг, один из создателей OpenHands, и Дэниел Фрид.

Больше всего мне нравится то, насколько тесно содержание курса связано с инструментами, которыми мы пользуемся сегодня. Он охватывает темы, с которыми мы ежедневно сталкиваемся при работе с Claude Code и Codex: инструменты, скиллы, сжатие контекста и агенты для программирования.

Практические задания тоже интересные. В первом задании агент для программирования исправляет ошибки в шахматном приложении, после чего второй агент играет в шахматы в только что исправленном приложении.

Последующие задания посвящены оценке качества работы агентов (evals) и их обучению с помощью обучения с подкреплением (RL). Все три задания находятся в открытом доступе на GitHub.

https://www.youtube.com/playlist?list=PLSN0qpDfUvTM

«Элементарные дифференциальные уравнения» Уильяма Ф. Тренча — бесплатный университетский учебник, посвящённый фундаментальной теории дифференциальных уравнений.

На более чем 700 страницах представлен всесторонний разбор темы, сочетающий математическую теорию, подробно разобранные примеры и упражнения.

Книга охватывает дифференциальные уравнения первого и второго порядка, численные методы, применение дифференциальных уравнений в механике и электрических цепях, уравнения высших порядков, решения с помощью степенных рядов, преобразования Лапласа, системы дифференциальных уравнений, ряды Фурье, краевые задачи и введение в уравнения с частными производными, включая уравнения теплопроводности и волновые уравнения.

Как и другие учебники, которыми я недавно делился, настоятельно рекомендую добавить эту книгу в свою личную математическую библиотеку. Она будет полезна как тем, кто впервые изучает дифференциальные уравнения, так и тем, кому нужен подробный справочник для повторения основных понятий.

https://digitalcommons.trinity.edu/mono/9/

Векторная база данных — это не полноценная система памяти для LLM, а лишь один из возможных её компонентов.

Постоянная память включает хранение и извлечение данных, управление состоянием, отбор контекста и оценку результатов. В её работе можно выделить два основных процесса.

1\. Запись (Write Path)

Извлечение → Проверка → Согласование → Сохранение

Записи в памяти могут содержать идентификаторы, область действия, сведения о происхождении данных, временные метки и информацию о версиях.

При обновлении данных необходимо сохранять значимую историю изменений и не допускать ситуаций, когда противоречащие друг другу сведения одновременно считаются актуальными.

2\. Чтение (Read Path)

Авторизация → Поиск → Отбор и ранжирование → Формирование контекста → Генерация

Для извлечения информации могут использоваться SQL, полнотекстовый поиск, векторный поиск по сходству, гибридный поиск или обход графов. Выбор метода зависит от структуры данных и характера обращений к ним.

При этом одних показателей сходства недостаточно, чтобы определить достоверность, актуальность информации или наличие прав доступа к ней.

Существует также несколько различных механизмов, которые принято называть памятью LLM:

- Веса модели: информация, закодированная в параметрах модели во время обучения. Обычный инференс не изменяет эти параметры.
- Активный контекст: инструкции, история диалога и извлечённая информация, доступные модели при обработке запроса. Объём этих данных ограничен размером контекстного окна.
- Постоянная память : записи, которыми управляет приложение и которые сохраняются между взаимодействиями с моделью.
- KV-кеш : ранее вычисленные ключи и значения механизма внимания, повторно используемые при авторегрессионной генерации. Он сокращает количество повторных вычислений, но не заменяет постоянное хранилище данных.

RAG извлекает информацию из внешних источников и предоставляет её модели во время генерации ответа. Fine-tuning изменяет параметры самой модели.

Однако ни один из этих подходов сам по себе не решает задачи обновления постоянной памяти, устранения противоречий и управления сроками хранения данных.

Ошибки в работе памяти могут возникать на разных этапах: информация изначально не была сохранена, поиск не смог её обнаружить, была выбрана устаревшая запись, необходимые сведения не попали в сформированный контекст или модель неправильно их использовала.

Поэтому оценка качества системы памяти не должна ограничиваться точностью поиска.

Необходимо проверять способность системы воспроизводить факты, обновлять информацию, учитывать хронологический порядок событий, сохранять согласованность данных между сессиями, разграничивать доступ, отслеживать происхождение сведений и воздерживаться от ответа при недостатке достоверных данных.

Полноценная система памяти должна не просто находить нужную информацию, но и обеспечивать её актуальность, достоверность и доступность для модели в нужный момент.

На схеме подробно представлены эти компоненты, включая жизненный цикл памяти, ограничения контекстного окна, KV-кеширование, стратегии извлечения информации и методы оценки качества.

Я немного поэкспериментировал с MiniCPM-V 4.7 35B-A3B и создал портфолио в стиле необрутализма.

Но самое интересное в этом эксперименте — модель, с помощью которой был создан интерфейс.

MiniCPM-V 4.7 от OpenBMB делает мультимодальный ИИ более доступным для практического использования на обычных устройствах.

Модель MiniCPM-V 4.7 35B-A3B содержит 35 млрд параметров, но при обработке каждого токена активирует только 3 млрд. Благодаря этому она обеспечивает скорость генерации более 17 токенов в секунду на iPad Pro M4 (16 ГБ) и более 13 токенов в секунду на iPhone 17 Pro Max, используя всего около 3 ГБ памяти в оптимизированной мобильной конфигурации.

Также доступна компактная версия с 1 млрд параметров, предназначенная для распознавания текста (OCR), работы с графиками, решения математических задач и общего понимания информации.

Обе версии поддерживают контекстное окно размером 256 тысяч токенов. При этом веса моделей, код для инференса и дообучения доступны с открытым исходным кодом.

Лично меня в мультимодальном ИИ больше всего интересует возможность работать с визуальной информацией, не ограничиваясь текстом, а также то, как эффективное и гибкое развёртывание делает подобные технологии доступнее.

Подробнее о MiniCPM-V 4.7 от OpenBMB:

GitHub: https://github.com/OpenBMB/MiniCPM-V

Hugging Face: https://huggingface.co/collections/openbmb/minicpm-v-47

Американская ИИ-компания PrismML расширила семейство Bonsai 2, представив три новые модели с 2, 4 и 9 миллиардами параметров. Все они созданы на основе Qwen 3.5 от Alibaba.

Разработчики ограничили основные веса языковых моделей тремя значениями: −1, 0 и +1. Благодаря этому размеры файлов удалось сократить до 0,43 ГБ, 0,95 ГБ и 2 ГБ соответственно. Это примерно в девять раз меньше, чем у исходных моделей с 16-битными весами.

Новые модели по-прежнему поддерживают рассуждения, понимание изображений и вызов инструментов. Прежде всего они предназначены для локальных ИИ-агентов, работающих на смартфонах, персональных компьютерах и других устройствах.

По данным PrismML, на iPhone 18 Pro Max модель 9B генерирует до 34 токенов в секунду, тогда как версия 2B достигает скорости 120 токенов в секунду.

В официальных тестах Bonsai 2 9B практически не уступает исходной Qwen 3.5 аналогичного размера в программировании и следовании инструкциям, однако на сложных задачах разница заметнее.

В Tau2Bench, проверяющем способность моделей вести многоэтапные диалоги и работать с инструментами, Bonsai 2 9B набрала 73,02 балла против 85,25 у оригинальной Qwen 3.5. В тесте на анализ сложных документов результаты составили 73,8 и 88,73 балла соответственно.

Веса всех трёх моделей уже опубликованы под лицензией Apache 2.0.

При этом стоит учитывать, что 2 ГБ это размер только языковой модели 9B в наиболее компактном формате. Для обработки изображений потребуется дополнительно загрузить визуальный модуль объёмом около 0,62 ГБ.

https://huggingface.co/collections/prism-ml/bonsai-2-small

Я думал, что понимаю, как работает загрузка GPU, пока не начал писать это руководство.

Я постоянно смешивал три разных понятия:

- Объём работы, который мы запускаем.
- Объём работы, который фактически размещён на GPU.
- Объём работы, готовый к выполнению прямо сейчас.

Но это совершенно разные вещи.

Возьмём CUDA-ядро с 240 блоками по 256 потоков в каждом. Всего получается 61 440 логических потоков, или 1920 варпов. Однако количество запущенных потоков ничего не говорит о том, сколько варпов может одновременно находиться на GPU.

Блоки размещаются на потоковых мультипроцессорах (SM) с учётом доступных регистров, разделяемой памяти и ограничений на количество потоков, варпов и блоков.

Даже после размещения на SM варп может ожидать завершения операции с памятью, разрешения зависимости между арифметическими операциями или синхронизации. Планировщик может выбирать только те варпы, которые действительно готовы к выдаче инструкций на выполнение.

Это изменило и мой подход к анализу показателей производительности.

Occupancy — показатель, отражающий отношение количества активных варпов на SM к максимально поддерживаемому количеству варпов на этом SM.

GPU utilization измеряет другое. В NVML этот показатель отражает долю интервала измерения, в течение которой выполнялось хотя бы одно CUDA-ядро.

Таким образом, GPU может показывать загрузку 100%, даже если Tensor Cores не используются на полную мощность, пропускная способность HBM не исчерпана, а производительность ограничивается одним из компонентов системы. При этом значительная часть ресурсов GPU может оставаться недозагруженной.

С памятью возникают похожие заблуждения. Регистры, разделяемая память, L1, L2 и HBM — это не просто уровни памяти, последовательно отличающиеся скоростью. У каждого из них свои области доступности, ёмкость, особенности управления и способы доступа.

Если модель помещается в HBM, это означает лишь то, что для неё достаточно видеопамяти. Но практически ничего не говорит о том, сколько байтов приходится передавать, насколько эффективно объединяются обращения к памяти, как часто данные используются повторно и действительно ли память ограничивает производительность CUDA-ядра.

Хороший пример — FlashAttention. Алгоритм вычисляет точный механизм внимания (attention), но использует разбиение на блоки (tiling) и повторные вычисления, чтобы сократить объём передачи данных между HBM и внутренней памятью GPU.

Tensor Cores оказались ещё одной технологией, которую я раньше воспринимал слишком упрощённо.

Это специализированные вычислительные блоки для матричных операций умножения с накоплением, играющие огромную роль в задачах ИИ. Однако они не «выполняют модель» целиком.

Операции редукции, индексации, поэлементные вычисления, синхронизация и перемещение данных по-прежнему задействуют другие компоненты GPU. Кроме того, запуск CUDA-ядер тоже создаёт дополнительные накладные расходы.

Со временем я перестал спрашивать себя: «Почему GPU не загружен на 100%?» Вместо этого я начал задавать более правильный вопрос: «Что именно сейчас ограничивает скорость выполнения полезной работы?»

В итоге всё это превратилось в руководство на 42 страницы.

В нём рассматриваются потоковые мультипроцессоры (SM), варпы и планировщики, иерархия памяти и скрытие задержек, Tensor Cores, распределение вычислений GEMM по аппаратным ресурсам GPU, точность вычислений и показатели производительности, которые очень легко интерпретировать неправильно.

https://drive.google.com/file/d/17tyvxr__8vZ6o995GNq6I5PC5JOiv0ql/view

Трансформеры с циклическим выполнением (Looped Transformers) сейчас активно обсуждаются.

И эти 10 новых научных работ действительно заслуживают вашего внимания.

▪️ Recurrent Looped Transformer ▪️ Looped Prediction Transformer (LPT) ▪️ Recursive Multi-Agent Systems (на основе Looped Transformer) ▪️ Loop Flow Transformers (LiFT) ▪️ Looped Diffusion Transformer ▪️ LAST: Looped Audio Spectrogram Transformer ▪️ LoopCD ▪️ Hyperloop Transformer ▪️ OperLoop ▪️ LoopQuant

Исследователи подготовили краткое руководство, в котором объясняется, что представляют собой эти подходы, как они работают и в каких случаях стоит использовать каждый из них.

Подробнее: https://www.turingpost.com/p/10-looped-transformer-papers

Большинство разработчиков, работающих с машинным обучением на Python, используют PyTorch.

У Amazon есть собственные чипы для машинного обучения — Trainium. В AWS инстансы с Trainium стоят примерно вдвое дешевле, чем инстансы с GPU Nvidia, хотя и предоставляют несколько меньшую вычислительную мощность. В целом AWS утверждает, что использование Trainium обходится на 30% дешевле, чем Nvidia.

Теперь Amazon значительно упростила запуск PyTorch на собственных чипах. TorchNeuron — это нативный бэкенд для PyTorch.

Чтобы перенести существующий код PyTorch на Trainium, достаточно изменить строку с указанием устройства:

model = MyModel().to('neuron')

Чипы Trainium доступны в облачных инстансах AWS EC2.

Проект пока находится на стадии бета-тестирования.

https://github.com/aws-neuron/torch-neuronx

Подборка из 30 видео на YouTube для изучения основ машинного обучения с нуля.

(1) Introduction to Machine Learning Teach by Doing: https://lnkd.in/gqN2PMX5
(2) What is Machine Learning? History of Machine Learning: https://lnkd.in/gvpNSAKh
(3) Types of ML Models: https://lnkd.in/gSy2mChM
(4) 6 steps of any ML project: https://lnkd.in/ggCGchPQ
(5) Install Python and VSCode and run your first code: https://lnkd.in/gyic7J7b
(6) Linear Classifiers Part 1: https://lnkd.in/gYdfD97D
(7) Linear Classifiers Part 2: https://lnkd.in/gac_z-G8
(8) Jupyter Notebook, Numpy and Scikit-Learn: https://lnkd.in/gWRaC_tB
(9) Running the Random Linear Classifier Algorithm in Python: https://lnkd.in/g5HacbFC
(10) The oldest ML model - Perceptron: https://lnkd.in/gpce6uFt
(11) Coding the Perceptron: https://lnkd.in/gmz-XjNK
(12) Perceptron Convergence Theorem: https://lnkd.in/gmz-XjNK
(13) Magic of features in Machine Learning: https://lnkd.in/gCeDRb3g
(14) One hot encoding: https://lnkd.in/g3WfRQGQ
(15) Logistic Regression Part 1: https://lnkd.in/gTgZAAZn
(16) Cross Entropy Loss: https://lnkd.in/g3Ywg_2p
(17) How gradient descent works: https://lnkd.in/gKBAsazF
(18) Logistic Regression from scratch in Python: https://lnkd.in/g8iZh27P
(19) Introduction to Regularization: https://lnkd.in/gjM9pVw2
(20) Implementing Regularization in Python: https://lnkd.in/gRnSK4v4
(21) Linear Regression Introduction: https://lnkd.in/gPYtSPJ9
(22) Ordinary Least Squares step by step implementation: https://lnkd.in/gnWQdgNy
(23) Ridge regression fundamentals and intuition: https://lnkd.in/gE5M-CSM
(24) Regression recap for interviews: https://lnkd.in/gNBWzzWv
(25) Neural network architecture in 30 minutes: https://lnkd.in/g7qSrkxG
(26) Backpropagation intuition: https://lnkd.in/gAmBARHm
(27) Neural network activation functions: https://lnkd.in/gqrC3zDP
(28) Momentum in gradient descent: https://lnkd.in/g3M4qhbP
(29) Hands on neural network training in Python: https://lnkd.in/gz-fTBxs
(30) Introduction to Convolutional Neural Networks (CNNs): https://lnkd.in/gpmuBm3j