Профессор кафедры машиностроения Вашингтонского университета Стив Брантон выложил на YouTube полный курс по теории управления для магистрантов и аспирантов. Бесплатно.
Курс называется Control Bootcamp.
Линейные системы, устойчивость и собственные значения, управляемость и наблюдаемость, размещение полюсов, фильтр Калмана, LQR / LQG, робастное управление, MPC — всё разбирается последовательно и с примерами в Matlab.
Брантон — Boeing Professor of AI & Data-Driven Engineering в Вашингтонском университете. Он получил степень бакалавра по математике в Caltech с дополнительной специализацией по управлению и динамическим системам, а затем докторскую степень по механической и аэрокосмической инженерии в Princeton.
Плейлист: https://youtube.com/playlist?list=PLMrJAkhIeNNR20Mz-VpzgfQs5zrYi085m
Курс называется Control Bootcamp.
Линейные системы, устойчивость и собственные значения, управляемость и наблюдаемость, размещение полюсов, фильтр Калмана, LQR / LQG, робастное управление, MPC — всё разбирается последовательно и с примерами в Matlab.
Брантон — Boeing Professor of AI & Data-Driven Engineering в Вашингтонском университете. Он получил степень бакалавра по математике в Caltech с дополнительной специализацией по управлению и динамическим системам, а затем докторскую степень по механической и аэрокосмической инженерии в Princeton.
Плейлист: https://youtube.com/playlist?list=PLMrJAkhIeNNR20Mz-VpzgfQs5zrYi085m
Forwarded from Вайб-кодинг
В топовых университетах начали всерьёз преподавать разработку AI-агентов.
Этой осенью Carnegie Mellon University запустил новый курс 11-768 "AI Agents", и программа близка к тому, чем прямо сейчас занимаются разработчики агентных систем.
Работа с инструментами, управление контекстом, навыки, память, планирование. Дальше идут агенты для программирования, работа с графическими интерфейсами, глубокий поиск, SFT и RL, изоляция среды и безопасность.
Задания здесь интересные.
Сначала студентам нужно собрать собственную агентную оболочку. Затем разработать систему оценки агента. После этого обучить агента с помощью RL. В конце — полноценный исследовательский проект.
По-моему, сама последовательность хорошо показывает, как в 2026 году начали смотреть на разработку агентов.
Просто научиться вызывать модель и давать ей инструменты уже недостаточно. Теперь нужно уметь построить вокруг модели рабочую систему, нормально её измерить, обучить и добиться того, чтобы она надёжно выполняла длинные задачи.
Материалы курса публикуются открыто, а лекции начали выкладывать на YouTube.🕗
p.s: также 23 сентября в Stanford стартует новый курс CS329Z "Engineering AI Agents", материалы лекций также будут открыто публиковать на сайте по мере выхода.
Этой осенью Carnegie Mellon University запустил новый курс 11-768 "AI Agents", и программа близка к тому, чем прямо сейчас занимаются разработчики агентных систем.
Работа с инструментами, управление контекстом, навыки, память, планирование. Дальше идут агенты для программирования, работа с графическими интерфейсами, глубокий поиск, SFT и RL, изоляция среды и безопасность.
Задания здесь интересные.
Сначала студентам нужно собрать собственную агентную оболочку. Затем разработать систему оценки агента. После этого обучить агента с помощью RL. В конце — полноценный исследовательский проект.
По-моему, сама последовательность хорошо показывает, как в 2026 году начали смотреть на разработку агентов.
Просто научиться вызывать модель и давать ей инструменты уже недостаточно. Теперь нужно уметь построить вокруг модели рабочую систему, нормально её измерить, обучить и добиться того, чтобы она надёжно выполняла длинные задачи.
Материалы курса публикуются открыто, а лекции начали выкладывать на YouTube.
p.s: также 23 сентября в Stanford стартует новый курс CS329Z "Engineering AI Agents", материалы лекций также будут открыто публиковать на сайте по мере выхода.
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from AI VK Hub
This media is not supported in your browser
VIEW IN TELEGRAM
В AI VK разработали новую технологию — нейропрофиль. Она объединила историю действий пользователя ВКонтакте, в VK Видео и VK Клипах в единую последовательность событий и повышает точность рекомендаций во всех трёх сервисах.
#aivkhub #video #discovery #нейропрофиль
Please open Telegram to view this post
VIEW IN TELEGRAM
«Введение в теорию информации» — это набор лекционных материалов Стэнфорда, посвящённых математическим основам теории информации.
В них разбираются сжатие без потерь и с потерями, энтропия, относительная энтропия, взаимная информация, асимптотическое свойство равномерного распределения, кодирование Хаффмана, пропускная способность канала, гауссовские каналы, метод типов, теория скорость–искажение, совместное кодирование источника и канала и многое другое.
Полезный материал для всех, кому интересна математика, лежащая в основе информации, сжатия данных и связи.
Очень интересно.
https://web.stanford.edu/class/ee376a/files/lecture_notes.pdf
В них разбираются сжатие без потерь и с потерями, энтропия, относительная энтропия, взаимная информация, асимптотическое свойство равномерного распределения, кодирование Хаффмана, пропускная способность канала, гауссовские каналы, метод типов, теория скорость–искажение, совместное кодирование источника и канала и многое другое.
Полезный материал для всех, кому интересна математика, лежащая в основе информации, сжатия данных и связи.
Очень интересно.
https://web.stanford.edu/class/ee376a/files/lecture_notes.pdf
Media is too big
VIEW IN TELEGRAM
Чувак попросил Astra прочитать статью про DeepSeek V4.1 Flash и сравнить её с оригинальной архитектурой Transformer в 3D.
Можно приближать модель и рассматривать каждый элемент бок о бок.
Изменилось довольно многое.
Попробуйте сами:
https://transformer-architecture.petergostev.chatgpt.site
https://github.com/petergpt/transformer-architecture
Можно приближать модель и рассматривать каждый элемент бок о бок.
Изменилось довольно многое.
Попробуйте сами:
https://transformer-architecture.petergostev.chatgpt.site
https://github.com/petergpt/transformer-architecture
Hugging Face завершила серию Training Agents — шесть практических воркшопов про оценку и обучение ИИ-агентов.
За полгода команда разобрала весь путь: от бенчмарков и SFT на трассах агентов до дистилляции, GRPO и обучения внутри реальных сред.
В финальной части они собрали среду на OpenEnv, подключили её к TRL и обучили реального агента для программирования OpenCode через Harbor в песочницах Hugging Face.
Все шесть записей уже доступны бесплатно, весь код открыт. Серия набрала более 300 тысяч просмотров.
Плейлист:
https://youtube.com/playlist?list=PLo2EIpI_JMQvQZm-kVlz4wY1vWF0LBcf5
За полгода команда разобрала весь путь: от бенчмарков и SFT на трассах агентов до дистилляции, GRPO и обучения внутри реальных сред.
В финальной части они собрали среду на OpenEnv, подключили её к TRL и обучили реального агента для программирования OpenCode через Harbor в песочницах Hugging Face.
Все шесть записей уже доступны бесплатно, весь код открыт. Серия набрала более 300 тысяч просмотров.
Плейлист:
https://youtube.com/playlist?list=PLo2EIpI_JMQvQZm-kVlz4wY1vWF0LBcf5
Современный ИИ основан на математическом анализе.
Без производных не было бы градиентного спуска, обратного распространения ошибки, нейросетей и обучения с учителем. Без интегралов не было бы градиента политики, дообучения больших языковых моделей и обучения с подкреплением.
Теперь математический анализ можно самостоятельно изучить на ChapterPal по отличному учебнику «Active Calculus, 2-е издание» Мэтью Болкинса 2025 года.
В книге сотни иллюстраций и интерактивных упражнений. ChapterPal дополняет их проверочными тестами для контроля понимания и помощью преподавателя по запросу.
Читать:
https://chapterpal.com/book/9f5af026-5981-494c-aab0-ea0017d68955/active-calculus-2nd-edition
Без производных не было бы градиентного спуска, обратного распространения ошибки, нейросетей и обучения с учителем. Без интегралов не было бы градиента политики, дообучения больших языковых моделей и обучения с подкреплением.
Теперь математический анализ можно самостоятельно изучить на ChapterPal по отличному учебнику «Active Calculus, 2-е издание» Мэтью Болкинса 2025 года.
В книге сотни иллюстраций и интерактивных упражнений. ChapterPal дополняет их проверочными тестами для контроля понимания и помощью преподавателя по запросу.
Читать:
https://chapterpal.com/book/9f5af026-5981-494c-aab0-ea0017d68955/active-calculus-2nd-edition
978-3-032-18765-9.pdf
12.4 MB
Data Engineering for Data Science — бесплатная книга в открытом доступе!
• Инженерия данных
• Жизненный цикл Data Science
• Управление данными
• Интеграция данных
• Объединение данных
• Отбор признаков
• Временные ряды
• MLOps и ML-пайплайны
• Архитектуры CPU–GPU
• Федеративное обучение
• Интерпретируемое машинное обучение
• Озёра данных
• Состязательное обучение
• Обнаружение мошенничества
• Приближённый вывод
• Анализ трафика и траекторий
Подробное руководство по современному стеку инженерии данных: от управления и интеграции данных до масштабируемой обработки, MLOps, федеративного обучения, интерпретируемого ИИ, озёр данных и продвинутой аналитики.
• Инженерия данных
• Жизненный цикл Data Science
• Управление данными
• Интеграция данных
• Объединение данных
• Отбор признаков
• Временные ряды
• MLOps и ML-пайплайны
• Архитектуры CPU–GPU
• Федеративное обучение
• Интерпретируемое машинное обучение
• Озёра данных
• Состязательное обучение
• Обнаружение мошенничества
• Приближённый вывод
• Анализ трафика и траекторий
Подробное руководство по современному стеку инженерии данных: от управления и интеграции данных до масштабируемой обработки, MLOps, федеративного обучения, интерпретируемого ИИ, озёр данных и продвинутой аналитики.
Мы стоим на пороге сверхинтеллекта.
Представили Recurrent Looped Transformer (RLT).
Теперь у нас есть трансформеры с бесконечной глубиной рассуждений.
С этого момента нам следует контролировать темп прогресса на передовом рубеже сверхинтеллекта, пока не будет достигнут безопасный сверхинтеллект.
https://github.com/yifanzhang-pro/recurrent-looped-tranformer
Представили Recurrent Looped Transformer (RLT).
Теперь у нас есть трансформеры с бесконечной глубиной рассуждений.
С этого момента нам следует контролировать темп прогресса на передовом рубеже сверхинтеллекта, пока не будет достигнут безопасный сверхинтеллект.
https://github.com/yifanzhang-pro/recurrent-looped-tranformer
Если вы работаете в Data Science, изучаете машинное обучение или готовитесь к собеседованию, сохраните эти 10 бесплатных ресурсов 👇
1. Линейная регрессия
Основа машинного обучения. Разберитесь, как модели подстраиваются под данные и как работают функция потерь и градиентный спуск.
🔗 https://buff.ly/dQLFY1o
2. Логистическая регрессия
Математика, лежащая в основе бинарных предсказаний. Сигмоида, логарифмическая функция потерь и то, почему регуляризация имеет значение.
🔗 https://buff.ly/CBZgNXN
3. Классификация
Accuracy, precision, recall, ROC/AUC. Метрики, которые вам придётся объяснять практически на любом собеседовании.
🔗 https://buff.ly/IiONwok
4. Числовые данные
Нормализация, дискретизация и те небольшие решения при проектировании признаков, которые могут изменить работу вашей модели.
🔗 https://buff.ly/w4LhjDk
5. Категориальные данные
One-hot encoding, пересечения признаков и ошибки, из-за которых категориальные переменные могут работать неправильно.
🔗 https://buff.ly/DbvMs4h
6. Переобучение
Почему модель может отлично работать на обучающих данных и разваливаться в продакшене. И как вовремя это обнаружить.
🔗 https://buff.ly/c6MZrQt
7. Нейронные сети
Узлы, скрытые слои, функции активации и обратное распространение ошибки. Интуитивное понимание всего этого, а не только формулы.
🔗 https://buff.ly/N9sB1zP
8. Системы машинного обучения в продакшене
Статическое и динамическое обучение, тестирование при развёртывании и мониторинг. Всё, что происходит после model.fit().
🔗 https://buff.ly/OTX435G
9. AutoML
Когда он полезен, когда может скрыть плохие решения и какие компромиссы нужно понимать перед его использованием.
🔗 https://buff.ly/n7CxzTU
1. Линейная регрессия
Основа машинного обучения. Разберитесь, как модели подстраиваются под данные и как работают функция потерь и градиентный спуск.
🔗 https://buff.ly/dQLFY1o
2. Логистическая регрессия
Математика, лежащая в основе бинарных предсказаний. Сигмоида, логарифмическая функция потерь и то, почему регуляризация имеет значение.
🔗 https://buff.ly/CBZgNXN
3. Классификация
Accuracy, precision, recall, ROC/AUC. Метрики, которые вам придётся объяснять практически на любом собеседовании.
🔗 https://buff.ly/IiONwok
4. Числовые данные
Нормализация, дискретизация и те небольшие решения при проектировании признаков, которые могут изменить работу вашей модели.
🔗 https://buff.ly/w4LhjDk
5. Категориальные данные
One-hot encoding, пересечения признаков и ошибки, из-за которых категориальные переменные могут работать неправильно.
🔗 https://buff.ly/DbvMs4h
6. Переобучение
Почему модель может отлично работать на обучающих данных и разваливаться в продакшене. И как вовремя это обнаружить.
🔗 https://buff.ly/c6MZrQt
7. Нейронные сети
Узлы, скрытые слои, функции активации и обратное распространение ошибки. Интуитивное понимание всего этого, а не только формулы.
🔗 https://buff.ly/N9sB1zP
8. Системы машинного обучения в продакшене
Статическое и динамическое обучение, тестирование при развёртывании и мониторинг. Всё, что происходит после model.fit().
🔗 https://buff.ly/OTX435G
9. AutoML
Когда он полезен, когда может скрыть плохие решения и какие компромиссы нужно понимать перед его использованием.
🔗 https://buff.ly/n7CxzTU
Please open Telegram to view this post
VIEW IN TELEGRAM
Глубокий разбор системной архитектуры ускорителя инференса OpenAI Jalapeno, который выходит далеко за рамки одних только FLOPS и показывает окружающую сетевую архитектуру, а также то, где именно ИИ реально дал прирост.
https://www.siliconcodesign.com/p/an-advanced-system-architecture-breakdown
https://www.siliconcodesign.com/p/an-advanced-system-architecture-breakdown
Siliconcodesign
An Advanced System Architecture Breakdown of OpenAI’s Jalapeno Inference Accelerator
Begin with the end goal in mind: how user experience defined the architecture and how agentic coding methods contributed to the shortened chip design timeline
This media is not supported in your browser
VIEW IN TELEGRAM
Соберите человекоподобного робота самостоятельно
OpenArm — человекоподобный робот с открытым исходным кодом.
В проект входят полные CAD-модели, код управления, прошивка и инструменты симуляции — всё необходимое, чтобы собрать, модифицировать и использовать робота.
Манипуляторы спроектированы так, чтобы быть податливыми и допускающими обратное вращение приводов. Поддерживается телеуправление с силовой обратной связью и компенсацией гравитации в реальном времени, поэтому оператор может естественно направлять руку.
Что особенно важно, для симуляции OpenArm работает с MuJoCo и Isaac Sim. Это позволяет разработчикам тестировать политики в виртуальной среде до запуска на реальном железе.
Робота можно собрать самостоятельно из набора или купить уже собранным. Цель проекта — сделать такие системы доступнее для исследовательских лабораторий, небольших команд и энтузиастов.
Проект развивается в Токио. Его цель — снизить порог входа в эксперименты с ловкими роботизированными манипуляциями.
https://github.com/enactic/OpenArm
OpenArm — человекоподобный робот с открытым исходным кодом.
В проект входят полные CAD-модели, код управления, прошивка и инструменты симуляции — всё необходимое, чтобы собрать, модифицировать и использовать робота.
Манипуляторы спроектированы так, чтобы быть податливыми и допускающими обратное вращение приводов. Поддерживается телеуправление с силовой обратной связью и компенсацией гравитации в реальном времени, поэтому оператор может естественно направлять руку.
Что особенно важно, для симуляции OpenArm работает с MuJoCo и Isaac Sim. Это позволяет разработчикам тестировать политики в виртуальной среде до запуска на реальном железе.
Робота можно собрать самостоятельно из набора или купить уже собранным. Цель проекта — сделать такие системы доступнее для исследовательских лабораторий, небольших команд и энтузиастов.
Проект развивается в Токио. Его цель — снизить порог входа в эксперименты с ловкими роботизированными манипуляциями.
https://github.com/enactic/OpenArm
Тем временем в Китае.
«Последний ИИ, созданный людьми: на пути к настоящему рекурсивному самоулучшению».
Новая 75-страничная работа исследователей из Шанхайского университета Цзяотун, Университета Цинхуа, ByteDance, Shanghai AI Lab и других организаций описывает дорожную карту к настоящему рекурсивному самоулучшению.
Речь об ИИ-системах, которые не просто лучше выполняют задачи, а непрерывно улучшают сами механизмы, за счёт которых они становятся лучше.
Авторы описывают пять стадий роста автономности:
ИИ выполняет улучшения, разработанные человеком
сам выбирает стратегии собственного улучшения
сам решает, какой опыт и какие данные ему нужны
непрерывно адаптируется на основе обратной связи из реального мира
наконец достигает уровня L5, метаулучшения, где он изменяет и наследует сам процесс, используемый для создания более совершенных систем-преемников
https://arxiv.org/pdf/2609.11873
«Последний ИИ, созданный людьми: на пути к настоящему рекурсивному самоулучшению».
Новая 75-страничная работа исследователей из Шанхайского университета Цзяотун, Университета Цинхуа, ByteDance, Shanghai AI Lab и других организаций описывает дорожную карту к настоящему рекурсивному самоулучшению.
Речь об ИИ-системах, которые не просто лучше выполняют задачи, а непрерывно улучшают сами механизмы, за счёт которых они становятся лучше.
Авторы описывают пять стадий роста автономности:
ИИ выполняет улучшения, разработанные человеком
сам выбирает стратегии собственного улучшения
сам решает, какой опыт и какие данные ему нужны
непрерывно адаптируется на основе обратной связи из реального мира
наконец достигает уровня L5, метаулучшения, где он изменяет и наследует сам процесс, используемый для создания более совершенных систем-преемников
https://arxiv.org/pdf/2609.11873
image_2026-09-14_08-40-46.png
1.1 MB
Большинство слышит «дообучение» и сразу думает, что мы обновляем миллиарды весов большой языковой модели.
Но часто это не так.
Современные методы дообучения позволяют адаптировать модель, почти не трогая её исходные предобученные веса.
Если вы переходите из Data Science в AI Engineering, стоит знать эти 5 подходов.
1. LoRA — учим обновление, а не сами веса
Замораживаем W.
Обучаем две небольшие матрицы:
ΔW = BA
То есть:
W' = W + BA
Фактически мы учим небольшую поправку к модели.
2. LoRA-FA — замораживаем ещё больше
Замораживаем W и A.
Обучаем только B.
Идея та же, но обучаемых параметров ещё меньше.
3. VeRA — не обучаем даже сами матрицы
Фиксируем случайные A и B.
Обучаем только небольшие векторы масштабирования, которые управляют вкладом этих матриц.
Очень высокая параметрическая эффективность.
4. Delta-LoRA — позволяем базовой модели тоже меняться
В отличие от обычной LoRA, здесь W тоже может обновляться, но эти изменения направляются низкоранговой адаптацией.
5. LoRA+ — та же LoRA, но с другой оптимизацией
A и B обучаются с разными скоростями обучения.
Обычно:
ηB > ηA
Главная идея здесь в том, что дообучение не обязательно означает переобучение всей модели.
LoRA → 2 матрицы
LoRA-FA → 1 матрица
VeRA → векторы масштабирования
LoRA+ → 2 матрицы с разными скоростями обучения
Delta-LoRA → низкоранговые обновления + изменяющиеся базовые веса
Пять подходов к одному и тому же вопросу:
какой минимум нам на самом деле нужно обучать?
Именно это и есть параметрически эффективное дообучение — концепция, которую стоит понимать специалистам по Data Science при переходе в AI Engineering.
Но часто это не так.
Современные методы дообучения позволяют адаптировать модель, почти не трогая её исходные предобученные веса.
Если вы переходите из Data Science в AI Engineering, стоит знать эти 5 подходов.
1. LoRA — учим обновление, а не сами веса
Замораживаем W.
Обучаем две небольшие матрицы:
ΔW = BA
То есть:
W' = W + BA
Фактически мы учим небольшую поправку к модели.
2. LoRA-FA — замораживаем ещё больше
Замораживаем W и A.
Обучаем только B.
Идея та же, но обучаемых параметров ещё меньше.
3. VeRA — не обучаем даже сами матрицы
Фиксируем случайные A и B.
Обучаем только небольшие векторы масштабирования, которые управляют вкладом этих матриц.
Очень высокая параметрическая эффективность.
4. Delta-LoRA — позволяем базовой модели тоже меняться
В отличие от обычной LoRA, здесь W тоже может обновляться, но эти изменения направляются низкоранговой адаптацией.
5. LoRA+ — та же LoRA, но с другой оптимизацией
A и B обучаются с разными скоростями обучения.
Обычно:
ηB > ηA
Главная идея здесь в том, что дообучение не обязательно означает переобучение всей модели.
LoRA → 2 матрицы
LoRA-FA → 1 матрица
VeRA → векторы масштабирования
LoRA+ → 2 матрицы с разными скоростями обучения
Delta-LoRA → низкоранговые обновления + изменяющиеся базовые веса
Пять подходов к одному и тому же вопросу:
какой минимум нам на самом деле нужно обучать?
Именно это и есть параметрически эффективное дообучение — концепция, которую стоит понимать специалистам по Data Science при переходе в AI Engineering.
«Введение в высшую инженерную математику и математический анализ» — это открытый учебник, который охватывает функции, комплексные числа, линейную алгебру, математический анализ, производные и интегралы, последовательности и ряды, ряды Тейлора, обыкновенные дифференциальные уравнения и уравнения в частных производных, ряды Фурье, разделение переменных, преобразования Фурье и Лапласа и многое другое.
Также есть заключительная глава о нейронных сетях прямого распространения, в которой рассматриваются линейные и нелинейные сети, функции ReLU, регрессия и теория приближений.
Почти 500 страниц — это довольно серьёзный материал, и он доступен бесплатно здесь:
https://open.oregonstate.education/app/uploads/sites/246/2023/06/Introduction_to_Advanced_Engineering_Mathematics_and_AnalysisA.pdf
Также есть заключительная глава о нейронных сетях прямого распространения, в которой рассматриваются линейные и нелинейные сети, функции ReLU, регрессия и теория приближений.
Почти 500 страниц — это довольно серьёзный материал, и он доступен бесплатно здесь:
https://open.oregonstate.education/app/uploads/sites/246/2023/06/Introduction_to_Advanced_Engineering_Mathematics_and_AnalysisA.pdf
«A Mathematical Explanation of Transformers» — свежая статья, в которой авторы строят строгую математическую модель архитектуры трансформеров и больших языковых моделей.
Трансформер рассматривается как дискретизация непрерывного интегро-дифференциального уравнения. Self-attention описывается как нелокальный интегральный оператор, нормализация слоя — как проекция на множество с ограничениями, а полносвязные слои и функции активации включаются в ту же математическую схему.
Затем через расщепление операторов и численную дискретизацию авторы получают стандартную архитектуру Transformer и расширяют этот подход на многоголовое внимание, Vision Transformer и сверточные трансформеры.
Я уже делился несколькими материалами по математике нейросетей, трансформеров и больших языковых моделей, но в этой области постоянно появляется что-то новое и интересное.
https://arxiv.org/pdf/2510.03989
Трансформер рассматривается как дискретизация непрерывного интегро-дифференциального уравнения. Self-attention описывается как нелокальный интегральный оператор, нормализация слоя — как проекция на множество с ограничениями, а полносвязные слои и функции активации включаются в ту же математическую схему.
Затем через расщепление операторов и численную дискретизацию авторы получают стандартную архитектуру Transformer и расширяют этот подход на многоголовое внимание, Vision Transformer и сверточные трансформеры.
Я уже делился несколькими материалами по математике нейросетей, трансформеров и больших языковых моделей, но в этой области постоянно появляется что-то новое и интересное.
https://arxiv.org/pdf/2510.03989
Вы когда-нибудь задумывались, как модели машинного обучения предсказывают будущее?
За всем стоят теория вероятностей и статистика, а Python — тот самый инструмент, который приводит всё это в движение.
https://pyoflife.com/python-for-probability-statistics-and-machine-learning-pdf/
За всем стоят теория вероятностей и статистика, а Python — тот самый инструмент, который приводит всё это в движение.
https://pyoflife.com/python-for-probability-statistics-and-machine-learning-pdf/
PYOFLIFE
Python for probability statistics and machine learning - PYOFLIFE
Python is a popular programming language that has gained significant traction in the fields of probability, statistics, and machine learning.
Какой-то парень открыл исходный код инструмента, который преобразует PDF в Markdown со скоростью 100 страниц в секунду.
Он называется OpenDataLoader.
Работает полностью на процессоре и умеет обрабатывать сложную верстку, таблицы и вложенные структуры.
Полностью бесплатный.
https://github.com/opendataloader-project/opendataloader-pdf
Он называется OpenDataLoader.
Работает полностью на процессоре и умеет обрабатывать сложную верстку, таблицы и вложенные структуры.
Полностью бесплатный.
https://github.com/opendataloader-project/opendataloader-pdf
GitHub
GitHub - opendataloader-project/opendataloader-pdf: PDF Parser for AI-ready data. Automate PDF accessibility. Open-source.
PDF Parser for AI-ready data. Automate PDF accessibility. Open-source. - opendataloader-project/opendataloader-pdf
Inference is all you need.
Автор подробно описал процесс оптимизации ядра Softmax на CUDA.
В разборе он:
начинает с наивной реализации
находит и измеряет основные проблемы производительности
разбирает концепцию online softmax
реализует ядро и считает выигрыш по памяти и FLOPs
применяет последовательный доступ к памяти
снова измеряет выигрыш по FLOPs, обмену данными и памяти
пишет итоговый CUDA-код
Читать: https://heyyanshuman.com/posts/making_softmax_fast
Автор подробно описал процесс оптимизации ядра Softmax на CUDA.
В разборе он:
начинает с наивной реализации
находит и измеряет основные проблемы производительности
разбирает концепцию online softmax
реализует ядро и считает выигрыш по памяти и FLOPs
применяет последовательный доступ к памяти
снова измеряет выигрыш по FLOPs, обмену данными и памяти
пишет итоговый CUDA-код
Читать: https://heyyanshuman.com/posts/making_softmax_fast
Один из создателей ChatGPT представил принципиально новый тип ИИ-моделей.
Два года, Диогу Алмейда, втайне разрабатывал Jev — модель, которая не пишет текст и не генерирует токены последовательно.
Она получает любые неструктурированные данные и параллельно принимает заданные разработчиком решения. Например, выбирает одну категорию из списка, выставляет оценку или определяет вероятность утверждения.
Jev также запрещено использовать скрытую цепочку рассуждений. Сложное поведение должно собираться разработчиком из множества простых решений при помощи обычного кода.
Именно поэтому модель работает в 20–200 раз быстрее и обходится в 40–400 раз дешевле. Миллион входных токенов стоит 4,2 цента, а выход остаётся бесплатным навсегда (его вычисление настолько дёшево, что компания не видит смысла его считать.)
Компания заявляет о нулевых галлюцинациях. Jev не может выдать ответ вне заданных вариантов или нарушить структуру. При этом модель может выбрать неправильный вариант.
Это не замена GPT-6 Astra и не новый чат-бот. Jev создан для автоматизации, где программам не нужны тексты. Им нужны быстрые решения в заданном формате.
Два года, Диогу Алмейда, втайне разрабатывал Jev — модель, которая не пишет текст и не генерирует токены последовательно.
Она получает любые неструктурированные данные и параллельно принимает заданные разработчиком решения. Например, выбирает одну категорию из списка, выставляет оценку или определяет вероятность утверждения.
Jev также запрещено использовать скрытую цепочку рассуждений. Сложное поведение должно собираться разработчиком из множества простых решений при помощи обычного кода.
Именно поэтому модель работает в 20–200 раз быстрее и обходится в 40–400 раз дешевле. Миллион входных токенов стоит 4,2 цента, а выход остаётся бесплатным навсегда (его вычисление настолько дёшево, что компания не видит смысла его считать.)
Компания заявляет о нулевых галлюцинациях. Jev не может выдать ответ вне заданных вариантов или нарушить структуру. При этом модель может выбрать неправильный вариант.
Это не замена GPT-6 Astra и не новый чат-бот. Jev создан для автоматизации, где программам не нужны тексты. Им нужны быстрые решения в заданном формате.