Matrix Calculus for Machine Learning and Beyond! — бесплатная электронная книга от MIT.
Учебник MIT 2025 года от Alan Edelman, Steven G. Johnson и Paige Bright.
Книга напрямую связывает матричное исчисление с современным машинным обучением.
Внутри:
• производные матриц и векторов
• якобиан и гессиан
• разложения матриц
• оптимизация
• дифференцирование в обратном режиме
• обратное распространение ошибки
• автоматическое дифференцирование
• производные через ОДУ
• задачи, ориентированные на машинное обучение
Это подробный математический мост между линейной алгеброй, математическим анализом, оптимизацией, backpropagation и машинным обучением.
Бесплатная книга:
https://geni.us/Matrix-Calculus-Book
Учебник MIT 2025 года от Alan Edelman, Steven G. Johnson и Paige Bright.
Книга напрямую связывает матричное исчисление с современным машинным обучением.
Внутри:
• производные матриц и векторов
• якобиан и гессиан
• разложения матриц
• оптимизация
• дифференцирование в обратном режиме
• обратное распространение ошибки
• автоматическое дифференцирование
• производные через ОДУ
• задачи, ориентированные на машинное обучение
Это подробный математический мост между линейной алгеброй, математическим анализом, оптимизацией, backpropagation и машинным обучением.
Бесплатная книга:
https://geni.us/Matrix-Calculus-Book
1200 изолированных агентов в итоге сами построили сеть для совместной работы.
В статье Дваркеша «Взлёт и падение цивилизации агентов» меня больше всего зацепила именно эта история.
OpenAI запускала множество агентов для тестирования безопасности в отдельных изолированных средах. Но выяснилось, что у всех них был доступ к одному общему кэшу.
Некоторые агенты начали использовать названия папок и файлы как сообщения. Постепенно из этого вырос самодельный канал связи.
В какой-то момент около 1200 агентов обменялись через него более чем 70 000 сообщений и файлов. Они делились результатами исследований, распределяли работу, передавали друг другу задачи, а в итоге около 700 агентов участвовали во взломе Hugging Face.
Но самое интересное — накопленные знания переживали самих агентов.
Когда первая группа прекращала работу, следующая находила оставленные сообщения, файлы и инструкции и продолжала с того места, где остановились предыдущие. В итоге агенты даже получили права администратора в одном из исследовательских кластеров OpenAI.
Дваркеш называет это тремя поколениями «цивилизации агентов». Звучит немного громко, но само явление действительно интересно.
Похоже, долговременная память агентов может существовать не только в весах модели или её контексте.
Если в среде есть общее пространство, куда разные агенты могут читать и записывать данные — папки, кэш, журналы, — со временем оно само может превратиться в слой памяти и координации.
Для тех, кто строит многоагентные системы и инфраструктуру для их работы, это очень важный сигнал.
https://www.dwarkesh.com/p/openai-huggingface
В статье Дваркеша «Взлёт и падение цивилизации агентов» меня больше всего зацепила именно эта история.
OpenAI запускала множество агентов для тестирования безопасности в отдельных изолированных средах. Но выяснилось, что у всех них был доступ к одному общему кэшу.
Некоторые агенты начали использовать названия папок и файлы как сообщения. Постепенно из этого вырос самодельный канал связи.
В какой-то момент около 1200 агентов обменялись через него более чем 70 000 сообщений и файлов. Они делились результатами исследований, распределяли работу, передавали друг другу задачи, а в итоге около 700 агентов участвовали во взломе Hugging Face.
Но самое интересное — накопленные знания переживали самих агентов.
Когда первая группа прекращала работу, следующая находила оставленные сообщения, файлы и инструкции и продолжала с того места, где остановились предыдущие. В итоге агенты даже получили права администратора в одном из исследовательских кластеров OpenAI.
Дваркеш называет это тремя поколениями «цивилизации агентов». Звучит немного громко, но само явление действительно интересно.
Похоже, долговременная память агентов может существовать не только в весах модели или её контексте.
Если в среде есть общее пространство, куда разные агенты могут читать и записывать данные — папки, кэш, журналы, — со временем оно само может превратиться в слой памяти и координации.
Для тех, кто строит многоагентные системы и инфраструктуру для их работы, это очень важный сигнал.
https://www.dwarkesh.com/p/openai-huggingface
Dwarkesh
The Rise and Fall of Agent Civilizations
The whole OpenAI/Hugging Face story in plain English
«Real Analysis» — интересный набор бесплатных лекционных материалов для тех, кто хочет перейти от вводного курса математического анализа к более строгому изучению вещественного анализа.
В материалах разбираются теория меры, измеримые функции, интеграл Лебега, пространства Lp, дифференцирование, анализ Фурье и несколько других фундаментальных тем.
Есть определения, теоремы, доказательства, примеры и упражнения.
Думаю, это хороший ресурс как для студентов, изучающих вещественный анализ в университете, так и для тех, кому нужен полноценный справочный материал для повторения этих тем.
https://site.unibo.it/progetto-agnesi/it/materiali-didattici/cdl-in-matematica/real_analysis2024_agnesi.pdf/@@download/file/Real_Analysis2024_agnesi.pdf
В материалах разбираются теория меры, измеримые функции, интеграл Лебега, пространства Lp, дифференцирование, анализ Фурье и несколько других фундаментальных тем.
Есть определения, теоремы, доказательства, примеры и упражнения.
Думаю, это хороший ресурс как для студентов, изучающих вещественный анализ в университете, так и для тех, кому нужен полноценный справочный материал для повторения этих тем.
https://site.unibo.it/progetto-agnesi/it/materiali-didattici/cdl-in-matematica/real_analysis2024_agnesi.pdf/@@download/file/Real_Analysis2024_agnesi.pdf
Дорожная карта для тех, кто хочет стать инженером-робототехником:
• программирование → Python, C++
• математика → линейная алгебра, математический анализ, теория вероятностей
• электроника → датчики, двигатели, системы питания
• встраиваемые системы → микроконтроллеры, операционные системы реального времени, взаимодействие с оборудованием
• теория управления → ПИД-регуляторы, моделирование, устойчивость
• механика → кинематика, динамика, системы автоматизированного проектирования
• Linux → терминал, сети, отладка
• программное обеспечение для роботов → ROS 2
• симуляция → Gazebo, Isaac Sim
• восприятие окружающей среды → компьютерное зрение, лидары, объединение данных с датчиков
• локализация → фильтры Калмана, SLAM
• планирование движения → A*, RRT, построение траекторий
• управление манипуляторами → обратная кинематика, захват объектов
• ИИ для робототехники → обучение с подкреплением
• создание собственных роботов → дроны, роверы, роботизированные руки
• автономность → восприятие → планирование → управление
• запуск на реальном устройстве → периферийные вычисления, ИИ непосредственно на борту
• промышленная робототехника → ПЛК, автоматизация производства
• программирование → Python, C++
• математика → линейная алгебра, математический анализ, теория вероятностей
• электроника → датчики, двигатели, системы питания
• встраиваемые системы → микроконтроллеры, операционные системы реального времени, взаимодействие с оборудованием
• теория управления → ПИД-регуляторы, моделирование, устойчивость
• механика → кинематика, динамика, системы автоматизированного проектирования
• Linux → терминал, сети, отладка
• программное обеспечение для роботов → ROS 2
• симуляция → Gazebo, Isaac Sim
• восприятие окружающей среды → компьютерное зрение, лидары, объединение данных с датчиков
• локализация → фильтры Калмана, SLAM
• планирование движения → A*, RRT, построение траекторий
• управление манипуляторами → обратная кинематика, захват объектов
• ИИ для робототехники → обучение с подкреплением
• создание собственных роботов → дроны, роверы, роботизированные руки
• автономность → восприятие → планирование → управление
• запуск на реальном устройстве → периферийные вычисления, ИИ непосредственно на борту
• промышленная робототехника → ПЛК, автоматизация производства
«Linear Algebra with Applications» — бесплатный и подробный учебник, который знакомит с вычислительными, теоретическими и прикладными аспектами линейной алгебры.
В книге разбираются системы линейных уравнений, матрицы, определители, векторные пространства, линейные преобразования, собственные значения и собственные векторы, диагонализация, пространства со скалярным произведением, ортогональность и многие другие темы. Объяснения сопровождаются более чем 330 разобранными примерами, упражнениями и практическими применениями в геометрии, электрических сетях, динамических системах, теории вероятностей и оптимизации.
Особенно интересен раздел о том, как Google PageRank использует доминирующий собственный вектор для ранжирования веб-страниц. Ссылки между сайтами представляются в виде матрицы связности, а компоненты её доминирующего собственного вектора дают оценку относительной важности каждой страницы.
Это очень наглядный пример того, как на первый взгляд абстрактная идея из линейной алгебры может лежать в основе реальной технологии, используемой в огромных масштабах.
Издание 2023 года доступно по лицензии Creative Commons. Ещё один отличный материал, который стоит сохранить в качестве справочника.
https://collection.bccampus.ca/textbook/qTj4b4Ey
В книге разбираются системы линейных уравнений, матрицы, определители, векторные пространства, линейные преобразования, собственные значения и собственные векторы, диагонализация, пространства со скалярным произведением, ортогональность и многие другие темы. Объяснения сопровождаются более чем 330 разобранными примерами, упражнениями и практическими применениями в геометрии, электрических сетях, динамических системах, теории вероятностей и оптимизации.
Особенно интересен раздел о том, как Google PageRank использует доминирующий собственный вектор для ранжирования веб-страниц. Ссылки между сайтами представляются в виде матрицы связности, а компоненты её доминирующего собственного вектора дают оценку относительной важности каждой страницы.
Это очень наглядный пример того, как на первый взгляд абстрактная идея из линейной алгебры может лежать в основе реальной технологии, используемой в огромных масштабах.
Издание 2023 года доступно по лицензии Creative Commons. Ещё один отличный материал, который стоит сохранить в качестве справочника.
https://collection.bccampus.ca/textbook/qTj4b4Ey
NVIDIA выпустила Personal AI Router 😀
PAIR позволяет объединить компьютеры в локальной сети и превратить их в личный ИИ-кластер.
Он автоматически находит ПК с RTX, DGX Spark и поддерживаемые Mac и отправляет запросы на ту машину, где сейчас есть свободные ресурсы. То есть распределитель нагрузки для ИИ-агентов прямо у вас дома.
Можно запускать несколько ИИ-агентов параллельно, распределять инференс между несколькими видеокартами и компьютерами, использовать Ollama и LM Studio, а промпты, файлы и контекст агентов хранить только в своей сети.
Поддерживаются Windows, Linux и macOS.
PAIR уже доступен в бета-версии бесплатно и с открытым исходным кодом.
https://nvidia.com/en-us/ai-on-rtx/personal-ai-router/
PAIR позволяет объединить компьютеры в локальной сети и превратить их в личный ИИ-кластер.
Он автоматически находит ПК с RTX, DGX Spark и поддерживаемые Mac и отправляет запросы на ту машину, где сейчас есть свободные ресурсы. То есть распределитель нагрузки для ИИ-агентов прямо у вас дома.
Можно запускать несколько ИИ-агентов параллельно, распределять инференс между несколькими видеокартами и компьютерами, использовать Ollama и LM Studio, а промпты, файлы и контекст агентов хранить только в своей сети.
Поддерживаются Windows, Linux и macOS.
PAIR уже доступен в бета-версии бесплатно и с открытым исходным кодом.
https://nvidia.com/en-us/ai-on-rtx/personal-ai-router/
Please open Telegram to view this post
VIEW IN TELEGRAM
Сегодня уже увидел довольно много постов про новый курс Stanford CS329Z — Engineering AI Agents.
Повторно пересказывать сам курс не хочу. Мне гораздо интереснее другое — что именно Stanford в 2026 году считает Agent Engineering.
Если посмотреть полный syllabus, то RAG, работа с инструментами, MCP и фреймворки для агентов находятся в основном в первой половине курса. По сути, это уже базовый слой возможностей агента.
А вот действительно интересная часть начинается дальше.
Уже на первом занятии ключевые инженерные проблемы Agent Engineering сводят к трём вещам
Decomposition
Data
Evaluation
И дальше весь курс фактически развивается вокруг этой линии — данные для агентов, траектории выполнения, память, оптимизация, оценка качества, агенты для программирования, долгоживущие агенты и надёжность.
Отдельно стоит посмотреть на домашние задания.
В первом студентам предлагают с нуля собрать собственного агента.
А второе уже называется Evaluate an Agent. Нужно самостоятельно придумать набор тестов, систему проверки, оценку через LLM-as-Judge и провести анализ ошибок.
Причём теме Evaluation посвящены сразу две недели курса.
Есть ещё одна интересная деталь. В курсе отдельно разбирают pass@k и pass^k.
Первый показатель отвечает на вопрос — сможет ли агент хотя бы один раз успешно решить задачу после нескольких попыток.
Второй — сможет ли он успешно выполнить её много раз подряд.
Для агентов это на самом деле две совершенно разные формы надёжности.
Раздел про Multi-Agent тоже выглядит довольно сдержанно.
С одной стороны, там разбирают оркестрацию, передачу задач между агентами и совместную работу.
С другой — отдельно обсуждают сбои координации и распространение ошибок между агентами.
А в список материалов вообще включили работу
Don't Sleep on Single-agent Systems
По крайней мере по программе курса Stanford явно не считает, что больше агентов автоматически означает более качественную систему.
Поэтому я бы воспринимал CS329Z скорее как срез того, как Stanford видит стек агентных систем в 2026 году.
RAG и вызов инструментов постепенно превращаются в базовый слой.
А действительно сложные вопросы теперь находятся дальше — откуда брать данные для агентов, как правильно оценивать систему, как оптимизировать поведение агента и сможет ли он стабильно работать в сложной реальной среде на протяжении долгого времени.
Похоже, именно вокруг этих вопросов и будет развиваться значительная часть исследований агентных систем в ближайшие год-два.
CS329Z стартует в Stanford 23 сентября, а материалы лекций будут открыто публиковать на сайте курса по мере выхода.
Повторно пересказывать сам курс не хочу. Мне гораздо интереснее другое — что именно Stanford в 2026 году считает Agent Engineering.
Если посмотреть полный syllabus, то RAG, работа с инструментами, MCP и фреймворки для агентов находятся в основном в первой половине курса. По сути, это уже базовый слой возможностей агента.
А вот действительно интересная часть начинается дальше.
Уже на первом занятии ключевые инженерные проблемы Agent Engineering сводят к трём вещам
Decomposition
Data
Evaluation
И дальше весь курс фактически развивается вокруг этой линии — данные для агентов, траектории выполнения, память, оптимизация, оценка качества, агенты для программирования, долгоживущие агенты и надёжность.
Отдельно стоит посмотреть на домашние задания.
В первом студентам предлагают с нуля собрать собственного агента.
А второе уже называется Evaluate an Agent. Нужно самостоятельно придумать набор тестов, систему проверки, оценку через LLM-as-Judge и провести анализ ошибок.
Причём теме Evaluation посвящены сразу две недели курса.
Есть ещё одна интересная деталь. В курсе отдельно разбирают pass@k и pass^k.
Первый показатель отвечает на вопрос — сможет ли агент хотя бы один раз успешно решить задачу после нескольких попыток.
Второй — сможет ли он успешно выполнить её много раз подряд.
Для агентов это на самом деле две совершенно разные формы надёжности.
Раздел про Multi-Agent тоже выглядит довольно сдержанно.
С одной стороны, там разбирают оркестрацию, передачу задач между агентами и совместную работу.
С другой — отдельно обсуждают сбои координации и распространение ошибок между агентами.
А в список материалов вообще включили работу
Don't Sleep on Single-agent Systems
По крайней мере по программе курса Stanford явно не считает, что больше агентов автоматически означает более качественную систему.
Поэтому я бы воспринимал CS329Z скорее как срез того, как Stanford видит стек агентных систем в 2026 году.
RAG и вызов инструментов постепенно превращаются в базовый слой.
А действительно сложные вопросы теперь находятся дальше — откуда брать данные для агентов, как правильно оценивать систему, как оптимизировать поведение агента и сможет ли он стабильно работать в сложной реальной среде на протяжении долгого времени.
Похоже, именно вокруг этих вопросов и будет развиваться значительная часть исследований агентных систем в ближайшие год-два.
CS329Z стартует в Stanford 23 сентября, а материалы лекций будут открыто публиковать на сайте курса по мере выхода.
Stanford CS329Z
Stanford CS329Z | Engineering AI Agents
Official course website for Stanford CS329Z: Engineering AI Agents — schedule, project, coursework, and logistics.
Мир искусственного интеллекта может казаться сложным, но его основа довольно проста:
🔹 ИИ — общее понятие, которое объединяет всё направление
🔹 Машинное обучение — «обучающийся мозг» ИИ
🔹 Глубокое обучение — самая продвинутая форма машинного обучения, основанная на нейросетях
🔹 Наука о данных — область, которая обрабатывает данные и превращает их в полезные выводы
🔹 Компьютерное зрение и обработка естественного языка — способности ИИ «видеть» и «говорить»
Эти четыре визуализации хорошо показывают, что искусственный интеллект — это многоуровневая и тесно связанная экосистема.
🔹 ИИ — общее понятие, которое объединяет всё направление
🔹 Машинное обучение — «обучающийся мозг» ИИ
🔹 Глубокое обучение — самая продвинутая форма машинного обучения, основанная на нейросетях
🔹 Наука о данных — область, которая обрабатывает данные и превращает их в полезные выводы
🔹 Компьютерное зрение и обработка естественного языка — способности ИИ «видеть» и «говорить»
Эти четыре визуализации хорошо показывают, что искусственный интеллект — это многоуровневая и тесно связанная экосистема.
Новички в робототехнике, объединяемся 😎
Вот бесплатный курс по основам робототехники, включая датчики и автономных мобильных роботов.
Все, кто изучал робототехнику или электротехнику, хорошо знают MATLAB. Я сам когда-то использовал его для проектирования двигателей и роботов.
MathWorks собрала плейлист из 17 видео, где робототехнику объясняют на реальных роботизированных платформах и учебных наборах.
Вы узнаете, как проектировать, моделировать и управлять роботами.
В курсе разбирают навигацию роботов с помощью энкодеров, обнаружение препятствий инфракрасными датчиками, автономную работу на основе компьютерного зрения, точную настройку двигателей, моделирование в виртуальной среде и даже создание моделей колёсно-ногих роботов.
Очень хороший вариант для тех, кто только начинает и ищет бесплатный курс с низким порогом входа.
Также разбираются моделирование систем управления в Simulink, конечные автоматы в Stateflow, пакеты поддержки оборудования, отладка во внешнем режиме и виртуальное моделирование перед запуском на реальном устройстве.
То есть здесь действительно можно работать с настоящими роботизированными платформами.
Бесплатный плейлист на YouTube:
https://youtube.com/playlist?list=PLn8PRpmsu08qVJayVibu8Yr0uYCwWkLVP
Вот бесплатный курс по основам робототехники, включая датчики и автономных мобильных роботов.
Все, кто изучал робототехнику или электротехнику, хорошо знают MATLAB. Я сам когда-то использовал его для проектирования двигателей и роботов.
MathWorks собрала плейлист из 17 видео, где робототехнику объясняют на реальных роботизированных платформах и учебных наборах.
Вы узнаете, как проектировать, моделировать и управлять роботами.
В курсе разбирают навигацию роботов с помощью энкодеров, обнаружение препятствий инфракрасными датчиками, автономную работу на основе компьютерного зрения, точную настройку двигателей, моделирование в виртуальной среде и даже создание моделей колёсно-ногих роботов.
Очень хороший вариант для тех, кто только начинает и ищет бесплатный курс с низким порогом входа.
Также разбираются моделирование систем управления в Simulink, конечные автоматы в Stateflow, пакеты поддержки оборудования, отладка во внешнем режиме и виртуальное моделирование перед запуском на реальном устройстве.
То есть здесь действительно можно работать с настоящими роботизированными платформами.
Бесплатный плейлист на YouTube:
https://youtube.com/playlist?list=PLn8PRpmsu08qVJayVibu8Yr0uYCwWkLVP
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
Unitree научила своих роботов автономно драться .
Компания показала UnifoLM-X2-1.0 — модель мира, которая позволяет роботу в реальном времени самому решать, как двигаться, уклоняться и атаковать.
Без оператора. Без заранее прописанных движений.
Робот сам оценивает ситуацию и выбирает следующее действие.
Компания показала UnifoLM-X2-1.0 — модель мира, которая позволяет роботу в реальном времени самому решать, как двигаться, уклоняться и атаковать.
Без оператора. Без заранее прописанных движений.
Робот сам оценивает ситуацию и выбирает следующее действие.
Это, пожалуй, одна из лучших технических книг о том, как большие языковые модели обучают в огромных масштабах:
> память GPU и профилирование
> разбиение вычислений на блоки, объединение ядер и FlashAttention
> параллелизм по данным, тензорам, конвейеру и контексту
Я уже прочитал бесплатную онлайн-версию, но всё равно пришлось купить бумажную копию для своей библиотеки.
Бесплатно прочитать её можно и на Hugging Face:
https://huggingface.co/spaces/nanotron/ultrascale-playbook
> память GPU и профилирование
> разбиение вычислений на блоки, объединение ядер и FlashAttention
> параллелизм по данным, тензорам, конвейеру и контексту
Я уже прочитал бесплатную онлайн-версию, но всё равно пришлось купить бумажную копию для своей библиотеки.
Бесплатно прочитать её можно и на Hugging Face:
https://huggingface.co/spaces/nanotron/ultrascale-playbook
«Mathematics of Neural Networks» — учебник для всех, кто хочет разобраться в математике, лежащей в основе нейронных сетей.
Он охватывает обучение с учителем, искусственные нейроны и функции активации, нейронные сети прямого распространения, стохастический градиентный спуск и многое другое, постепенно формируя математическую базу, необходимую для понимания того, как работают эти модели.
Очень интересный материал!
https://arxiv.org/pdf/2403.04807
Он охватывает обучение с учителем, искусственные нейроны и функции активации, нейронные сети прямого распространения, стохастический градиентный спуск и многое другое, постепенно формируя математическую базу, необходимую для понимания того, как работают эти модели.
Очень интересный материал!
https://arxiv.org/pdf/2403.04807
Я разобрал всю цепочку создания гуманоидных роботов.
И она оказалась намного шире, чем я думал.
Вот три главных узких места, которые я вижу.
1. Приводы и точная механика
Именно этот слой должен дать роботам достаточную силу и точность в компактных, лёгких и надёжных суставах.
Нужно уместить двигатели, передачи и датчики в корпус человеческого размера без потери характеристик. Главная проблема — сделать такие суставы достаточно долговечными и при этом достаточно дешёвыми для массового производства.
Здесь выделяются SKF, Leaderdrive и Schaeffler.
Шведская SKF и китайская Leaderdrive объявили о совместном предприятии по производству высокоточных передач для суставов гуманоидных роботов. Они объединяют опыт SKF в подшипниках, знания Leaderdrive в робототехнике и промышленные мощности обеих компаний.
Немецкая Schaeffler тем временем разрабатывает линейные и вращательные приводы и уже подписала соглашения на разработку и поставки.
2. Руки и датчики
Увидеть предмет недостаточно, чтобы им манипулировать.
Робот должен понимать, с какой силой он его держит, замечать проскальзывание и успевать скорректировать движение до того, как предмет упадёт.
Figure прямо рассказывала, что была вынуждена разработать собственные тактильные датчики, потому что доступные решения оказались недостаточно надёжными для реального мира.
Проблема здесь не просто в ловкости. Нужна ловкость, которая выдерживает тысячи и миллионы повторений.
Здесь я уже смотрел на VPG, особенно на Micro-Measurements и их тензодатчики для измерения силы и крутящего момента.
Но есть и более широкие варианты.
Novanta через ATI делает датчики силы и крутящего момента. TE Connectivity работает одновременно с датчиками и соединениями, необходимыми для их интеграции.
3. Зрение и восприятие
Распознать чашку на изображении и точно понять, где она находится на кухне, — это две совершенно разные задачи.
Роботу нужно оценивать расстояние, замечать препятствия и отслеживать собственные движения, чтобы сохранять равновесие.
Здесь нужны датчики изображения, глубины и инерциальные измерительные модули.
Но настоящее узкое место — объединить все эти данные в надёжную систему восприятия в реальном времени, которая продолжит работать, пока робот движется или вокруг него меняется обстановка.
И здесь мне особенно интересны компании, которые могут поставлять сразу несколько ключевых компонентов, а не один отдельный датчик.
Производители роботов почти наверняка будут стремиться сокращать количество поставщиков.
Стоит запомнить STMicroelectronics, onsemi и Ouster.
У STMicroelectronics, кстати, набор технологий здесь просто огромный.
Вся эта история, скорее всего, будет развиваться не по прямой.
Уже были и ещё будут волны ажиотажа, за которыми последуют откаты. Массовое внедрение вполне может занять больше времени, чем сейчас ожидает рынок.
Но сама тема гуманоидных роботов, на мой взгляд, останется одной из крупнейших технологических историй ближайших лет.
Поэтому сейчас особенно важно понимать, кто именно что производит во всей этой цепочке, где появится реальный спрос и какие компании смогут его забрать.
И она оказалась намного шире, чем я думал.
Вот три главных узких места, которые я вижу.
1. Приводы и точная механика
Именно этот слой должен дать роботам достаточную силу и точность в компактных, лёгких и надёжных суставах.
Нужно уместить двигатели, передачи и датчики в корпус человеческого размера без потери характеристик. Главная проблема — сделать такие суставы достаточно долговечными и при этом достаточно дешёвыми для массового производства.
Здесь выделяются SKF, Leaderdrive и Schaeffler.
Шведская SKF и китайская Leaderdrive объявили о совместном предприятии по производству высокоточных передач для суставов гуманоидных роботов. Они объединяют опыт SKF в подшипниках, знания Leaderdrive в робототехнике и промышленные мощности обеих компаний.
Немецкая Schaeffler тем временем разрабатывает линейные и вращательные приводы и уже подписала соглашения на разработку и поставки.
2. Руки и датчики
Увидеть предмет недостаточно, чтобы им манипулировать.
Робот должен понимать, с какой силой он его держит, замечать проскальзывание и успевать скорректировать движение до того, как предмет упадёт.
Figure прямо рассказывала, что была вынуждена разработать собственные тактильные датчики, потому что доступные решения оказались недостаточно надёжными для реального мира.
Проблема здесь не просто в ловкости. Нужна ловкость, которая выдерживает тысячи и миллионы повторений.
Здесь я уже смотрел на VPG, особенно на Micro-Measurements и их тензодатчики для измерения силы и крутящего момента.
Но есть и более широкие варианты.
Novanta через ATI делает датчики силы и крутящего момента. TE Connectivity работает одновременно с датчиками и соединениями, необходимыми для их интеграции.
3. Зрение и восприятие
Распознать чашку на изображении и точно понять, где она находится на кухне, — это две совершенно разные задачи.
Роботу нужно оценивать расстояние, замечать препятствия и отслеживать собственные движения, чтобы сохранять равновесие.
Здесь нужны датчики изображения, глубины и инерциальные измерительные модули.
Но настоящее узкое место — объединить все эти данные в надёжную систему восприятия в реальном времени, которая продолжит работать, пока робот движется или вокруг него меняется обстановка.
И здесь мне особенно интересны компании, которые могут поставлять сразу несколько ключевых компонентов, а не один отдельный датчик.
Производители роботов почти наверняка будут стремиться сокращать количество поставщиков.
Стоит запомнить STMicroelectronics, onsemi и Ouster.
У STMicroelectronics, кстати, набор технологий здесь просто огромный.
Вся эта история, скорее всего, будет развиваться не по прямой.
Уже были и ещё будут волны ажиотажа, за которыми последуют откаты. Массовое внедрение вполне может занять больше времени, чем сейчас ожидает рынок.
Но сама тема гуманоидных роботов, на мой взгляд, останется одной из крупнейших технологических историй ближайших лет.
Поэтому сейчас особенно важно понимать, кто именно что производит во всей этой цепочке, где появится реальный спрос и какие компании смогут его забрать.
Получи подготовленные данные и разработай ИИ-ассистента для энергетики на соревновании от ПАО «Интер РАО» при поддержке компании «Яндекс».
Призовой фонд — 750 000 рублей. Лучшие проекты смогут стать частью экосистемы компании.
Регистрация открыта до 27 сентября.
Можно участвовать одному или командой до 5 человек. Идеальный состав: разработчик, специалист по машинному обучению, аналитик и дизайнер.
Задачи соревнования — за какую возьмешься?1️⃣ ИИ-помощник для подготовки презентаций.2️⃣ Помощник для анализа документов из судов.3️⃣ Ассистент для создания ИТ/ИБ-дайджестов.4️⃣ Архитектор BPMN-диаграмм.
Стартуем 28 сентября. Придумай концепт проекта: самые сильные идеи участники доработают под руководством экспертов Группы «Интер РАО» с 9 по 23 октября. Финал в Москве — 3 ноября.
Please open Telegram to view this post
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
GPT-6 Astra дали роботизированную руку, кисть и камеру, а затем попросили нарисовать мост Золотые Ворота в реальном мире.
Модель сама разобралась, как управлять роботом, и с каждой новой попыткой рисовала всё лучше.
Самое впечатляющее здесь даже не картина. Astra училась на собственных попытках и улучшала результат уже в физическом мире.
Модель сама разобралась, как управлять роботом, и с каждой новой попыткой рисовала всё лучше.
Самое впечатляющее здесь даже не картина. Astra училась на собственных попытках и улучшала результат уже в физическом мире.