Data Portal | DS & ML
9.68K subscribers
650 photos
153 videos
9 files
848 links
Всё самое интересное из мира Data Science и машинного обучения

Cотрудничество: @devmangx

Автор: @ScienceLLM
Download Telegram
Мир искусственного интеллекта может казаться сложным, но его основа довольно проста:

🔹 ИИ — общее понятие, которое объединяет всё направление
🔹 Машинное обучение — «обучающийся мозг» ИИ
🔹 Глубокое обучение — самая продвинутая форма машинного обучения, основанная на нейросетях
🔹 Наука о данных — область, которая обрабатывает данные и превращает их в полезные выводы
🔹 Компьютерное зрение и обработка естественного языка — способности ИИ «видеть» и «говорить»

Эти четыре визуализации хорошо показывают, что искусственный интеллект — это многоуровневая и тесно связанная экосистема.
Новички в робототехнике, объединяемся 😎

Вот бесплатный курс по основам робототехники, включая датчики и автономных мобильных роботов.

Все, кто изучал робототехнику или электротехнику, хорошо знают MATLAB. Я сам когда-то использовал его для проектирования двигателей и роботов.

MathWorks собрала плейлист из 17 видео, где робототехнику объясняют на реальных роботизированных платформах и учебных наборах.

Вы узнаете, как проектировать, моделировать и управлять роботами.

В курсе разбирают навигацию роботов с помощью энкодеров, обнаружение препятствий инфракрасными датчиками, автономную работу на основе компьютерного зрения, точную настройку двигателей, моделирование в виртуальной среде и даже создание моделей колёсно-ногих роботов.

Очень хороший вариант для тех, кто только начинает и ищет бесплатный курс с низким порогом входа.

Также разбираются моделирование систем управления в Simulink, конечные автоматы в Stateflow, пакеты поддержки оборудования, отладка во внешнем режиме и виртуальное моделирование перед запуском на реальном устройстве.

То есть здесь действительно можно работать с настоящими роботизированными платформами.

Бесплатный плейлист на YouTube:

https://youtube.com/playlist?list=PLn8PRpmsu08qVJayVibu8Yr0uYCwWkLVP
Please open Telegram to view this post
VIEW IN TELEGRAM
Каково быть ИИ-инженером в 2026 году.
This media is not supported in your browser
VIEW IN TELEGRAM
Unitree научила своих роботов автономно драться .

Компания показала UnifoLM-X2-1.0 — модель мира, которая позволяет роботу в реальном времени самому решать, как двигаться, уклоняться и атаковать.

Без оператора. Без заранее прописанных движений.

Робот сам оценивает ситуацию и выбирает следующее действие.
Это, пожалуй, одна из лучших технических книг о том, как большие языковые модели обучают в огромных масштабах:

> память GPU и профилирование
> разбиение вычислений на блоки, объединение ядер и FlashAttention
> параллелизм по данным, тензорам, конвейеру и контексту

Я уже прочитал бесплатную онлайн-версию, но всё равно пришлось купить бумажную копию для своей библиотеки.

Бесплатно прочитать её можно и на Hugging Face:

https://huggingface.co/spaces/nanotron/ultrascale-playbook
«Mathematics of Neural Networks» — учебник для всех, кто хочет разобраться в математике, лежащей в основе нейронных сетей.

Он охватывает обучение с учителем, искусственные нейроны и функции активации, нейронные сети прямого распространения, стохастический градиентный спуск и многое другое, постепенно формируя математическую базу, необходимую для понимания того, как работают эти модели.

Очень интересный материал!

https://arxiv.org/pdf/2403.04807
Я разобрал всю цепочку создания гуманоидных роботов.

И она оказалась намного шире, чем я думал.

Вот три главных узких места, которые я вижу.

1. Приводы и точная механика

Именно этот слой должен дать роботам достаточную силу и точность в компактных, лёгких и надёжных суставах.

Нужно уместить двигатели, передачи и датчики в корпус человеческого размера без потери характеристик. Главная проблема — сделать такие суставы достаточно долговечными и при этом достаточно дешёвыми для массового производства.

Здесь выделяются SKF, Leaderdrive и Schaeffler.

Шведская SKF и китайская Leaderdrive объявили о совместном предприятии по производству высокоточных передач для суставов гуманоидных роботов. Они объединяют опыт SKF в подшипниках, знания Leaderdrive в робототехнике и промышленные мощности обеих компаний.

Немецкая Schaeffler тем временем разрабатывает линейные и вращательные приводы и уже подписала соглашения на разработку и поставки.

2. Руки и датчики

Увидеть предмет недостаточно, чтобы им манипулировать.

Робот должен понимать, с какой силой он его держит, замечать проскальзывание и успевать скорректировать движение до того, как предмет упадёт.

Figure прямо рассказывала, что была вынуждена разработать собственные тактильные датчики, потому что доступные решения оказались недостаточно надёжными для реального мира.

Проблема здесь не просто в ловкости. Нужна ловкость, которая выдерживает тысячи и миллионы повторений.

Здесь я уже смотрел на VPG, особенно на Micro-Measurements и их тензодатчики для измерения силы и крутящего момента.

Но есть и более широкие варианты.

Novanta через ATI делает датчики силы и крутящего момента. TE Connectivity работает одновременно с датчиками и соединениями, необходимыми для их интеграции.

3. Зрение и восприятие

Распознать чашку на изображении и точно понять, где она находится на кухне, — это две совершенно разные задачи.

Роботу нужно оценивать расстояние, замечать препятствия и отслеживать собственные движения, чтобы сохранять равновесие.

Здесь нужны датчики изображения, глубины и инерциальные измерительные модули.

Но настоящее узкое место — объединить все эти данные в надёжную систему восприятия в реальном времени, которая продолжит работать, пока робот движется или вокруг него меняется обстановка.

И здесь мне особенно интересны компании, которые могут поставлять сразу несколько ключевых компонентов, а не один отдельный датчик.

Производители роботов почти наверняка будут стремиться сокращать количество поставщиков.

Стоит запомнить STMicroelectronics, onsemi и Ouster.

У STMicroelectronics, кстати, набор технологий здесь просто огромный.

Вся эта история, скорее всего, будет развиваться не по прямой.

Уже были и ещё будут волны ажиотажа, за которыми последуют откаты. Массовое внедрение вполне может занять больше времени, чем сейчас ожидает рынок.

Но сама тема гуманоидных роботов, на мой взгляд, останется одной из крупнейших технологических историй ближайших лет.

Поэтому сейчас особенно важно понимать, кто именно что производит во всей этой цепочке, где появится реальный спрос и какие компании смогут его забрать.
🌐 Твоё ИИ-решение — в одной из крупнейших энергетических компаний России

Получи подготовленные данные и разработай ИИ-ассистента для энергетики на соревновании от ПАО «Интер РАО» при поддержке компании «Яндекс».

Призовой фонд — 750 000 рублей. Лучшие проекты смогут стать частью экосистемы компании.

Регистрация открыта до 27 сентября.

Можно участвовать одному или командой до 5 человек. Идеальный состав: разработчик, специалист по машинному обучению, аналитик и дизайнер.

Задачи соревнования — за какую возьмешься?
1️⃣ ИИ-помощник для подготовки презентаций.
2️⃣ Помощник для анализа документов из судов.
3️⃣ Ассистент для создания ИТ/ИБ-дайджестов.
4️⃣ Архитектор BPMN-диаграмм.


Стартуем 28 сентября. Придумай концепт проекта: самые сильные идеи участники доработают под руководством экспертов Группы «Интер РАО» с 9 по 23 октября. Финал в Москве — 3 ноября.

➡️ Регистрируйся: https://cnrlink.com/interraohack26dsportal
Please open Telegram to view this post
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
GPT-6 Astra дали роботизированную руку, кисть и камеру, а затем попросили нарисовать мост Золотые Ворота в реальном мире.

Модель сама разобралась, как управлять роботом, и с каждой новой попыткой рисовала всё лучше.

Самое впечатляющее здесь даже не картина. Astra училась на собственных попытках и улучшала результат уже в физическом мире.
Даже тех, кто сам обучает модели, уже начинает сносить от их возможностей.

Только что увидел у друга скриншот поста одного серьёзного специалиста. Впечатляет.

Он попросил GPT-6 воспроизвести работу по трассировке электрических схем, которую сам делал на первом курсе.

И это был не какой-то обычный учебный проект. В своё время работу опубликовали в журнале категории CCF A, а ещё он подавал на неё патент.

В итоге GPT-6 воспроизвёл всё за одну минуту.

После этого он на ходу придумал одно направление для улучшения и попросил модель продолжить работу. Меньше чем за полдня новый вариант тоже был готов.

Но сильнее всего меня поразило даже не то, что модель за минуту воспроизвела научную работу.

А то, что автор этого поста сам участвовал в обучении GPT-6.

То есть даже человек, который находится максимально близко к модели, отлично понимает границы её возможностей и буквально участвовал в её создании, всё равно оказался поражён, когда начал использовать её в собственной исследовательской работе.

Дальше он написал фразу, которая мне особенно запомнилась.

Раньше research был похож на один очень длинный RL rollout. Одно направление можно было разрабатывать несколько месяцев или даже лет и только в конце понять, было ли оно правильным.

А теперь идею можно придумать утром, а уже днём получить результат её проверки.

Поэтому он написал, что раньше люди мечтали о том самом: «Утром познать истину — вечером можно и умереть».

Но если в будущем действительно можно будет каждое утро узнавать что-то новое, а каждый день перед тобой будут появляться новые ответы и новые методы, это ощущение вообще сложно описать.

Возможно, многие до сих пор думают, что GPT-6 — просто ещё одна более сильная модель.

Но за последние пару дней я всё отчётливее замечаю, что люди, которые реально занимаются ИИ, исследованиями и инженерией, реагируют на GPT-6 примерно одинаково.

Не то чтобы никто не ожидал, что этот день наступит.

Просто никто не думал, что даже когда он действительно наступит, это всё равно будет настолько впечатляюще.

И тем более никто не ожидал, что всё произойдёт так быстро.
Профессор кафедры машиностроения Вашингтонского университета Стив Брантон выложил на YouTube полный курс по теории управления для магистрантов и аспирантов. Бесплатно.

Курс называется Control Bootcamp.

Линейные системы, устойчивость и собственные значения, управляемость и наблюдаемость, размещение полюсов, фильтр Калмана, LQR / LQG, робастное управление, MPC — всё разбирается последовательно и с примерами в Matlab.

Брантон — Boeing Professor of AI & Data-Driven Engineering в Вашингтонском университете. Он получил степень бакалавра по математике в Caltech с дополнительной специализацией по управлению и динамическим системам, а затем докторскую степень по механической и аэрокосмической инженерии в Princeton.

Плейлист: https://youtube.com/playlist?list=PLMrJAkhIeNNR20Mz-VpzgfQs5zrYi085m
Forwarded from Вайб-кодинг
В топовых университетах начали всерьёз преподавать разработку AI-агентов.

Этой осенью Carnegie Mellon University запустил новый курс 11-768 "AI Agents", и программа близка к тому, чем прямо сейчас занимаются разработчики агентных систем.

Работа с инструментами, управление контекстом, навыки, память, планирование. Дальше идут агенты для программирования, работа с графическими интерфейсами, глубокий поиск, SFT и RL, изоляция среды и безопасность.

Задания здесь интересные.

Сначала студентам нужно собрать собственную агентную оболочку. Затем разработать систему оценки агента. После этого обучить агента с помощью RL. В конце — полноценный исследовательский проект.

По-моему, сама последовательность хорошо показывает, как в 2026 году начали смотреть на разработку агентов.

Просто научиться вызывать модель и давать ей инструменты уже недостаточно. Теперь нужно уметь построить вокруг модели рабочую систему, нормально её измерить, обучить и добиться того, чтобы она надёжно выполняла длинные задачи.

Материалы курса публикуются открыто, а лекции начали выкладывать на YouTube. 🕗

p.s: также 23 сентября в Stanford стартует новый курс CS329Z "Engineering AI Agents", материалы лекций также будут открыто публиковать на сайте по мере выхода.
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from AI VK Hub
This media is not supported in your browser
VIEW IN TELEGRAM
📱 Рекомендательные системы видео, клипов и постов работали раньше независимо: сигналы от пользователя в одном сервисе не влияли на рекомендации в других. 

В AI VK разработали новую технологию — нейропрофиль. Она объединила историю действий пользователя ВКонтакте, в VK Видео и VK Клипах в единую последовательность событий и повышает точность рекомендаций во всех трёх сервисах.

➡️Коротко о работе нейропрофиля — в ролике.

#aivkhub #video #discovery #нейропрофиль
Please open Telegram to view this post
VIEW IN TELEGRAM
«Введение в теорию информации» — это набор лекционных материалов Стэнфорда, посвящённых математическим основам теории информации.

В них разбираются сжатие без потерь и с потерями, энтропия, относительная энтропия, взаимная информация, асимптотическое свойство равномерного распределения, кодирование Хаффмана, пропускная способность канала, гауссовские каналы, метод типов, теория скорость–искажение, совместное кодирование источника и канала и многое другое.

Полезный материал для всех, кому интересна математика, лежащая в основе информации, сжатия данных и связи.

Очень интересно.

https://web.stanford.edu/class/ee376a/files/lecture_notes.pdf
Media is too big
VIEW IN TELEGRAM
Чувак попросил Astra прочитать статью про DeepSeek V4.1 Flash и сравнить её с оригинальной архитектурой Transformer в 3D.

Можно приближать модель и рассматривать каждый элемент бок о бок.

Изменилось довольно многое.

Попробуйте сами:
https://transformer-architecture.petergostev.chatgpt.site

https://github.com/petergpt/transformer-architecture
Hugging Face завершила серию Training Agents — шесть практических воркшопов про оценку и обучение ИИ-агентов.

За полгода команда разобрала весь путь: от бенчмарков и SFT на трассах агентов до дистилляции, GRPO и обучения внутри реальных сред.

В финальной части они собрали среду на OpenEnv, подключили её к TRL и обучили реального агента для программирования OpenCode через Harbor в песочницах Hugging Face.

Все шесть записей уже доступны бесплатно, весь код открыт. Серия набрала более 300 тысяч просмотров.

Плейлист:
https://youtube.com/playlist?list=PLo2EIpI_JMQvQZm-kVlz4wY1vWF0LBcf5
Современный ИИ основан на математическом анализе.

Без производных не было бы градиентного спуска, обратного распространения ошибки, нейросетей и обучения с учителем. Без интегралов не было бы градиента политики, дообучения больших языковых моделей и обучения с подкреплением.

Теперь математический анализ можно самостоятельно изучить на ChapterPal по отличному учебнику «Active Calculus, 2-е издание» Мэтью Болкинса 2025 года.

В книге сотни иллюстраций и интерактивных упражнений. ChapterPal дополняет их проверочными тестами для контроля понимания и помощью преподавателя по запросу.

Читать:
https://chapterpal.com/book/9f5af026-5981-494c-aab0-ea0017d68955/active-calculus-2nd-edition
978-3-032-18765-9.pdf
12.4 MB
Data Engineering for Data Science — бесплатная книга в открытом доступе!

• Инженерия данных
• Жизненный цикл Data Science
• Управление данными
• Интеграция данных
• Объединение данных
• Отбор признаков
• Временные ряды
• MLOps и ML-пайплайны
• Архитектуры CPU–GPU
• Федеративное обучение
• Интерпретируемое машинное обучение
• Озёра данных
• Состязательное обучение
• Обнаружение мошенничества
• Приближённый вывод
• Анализ трафика и траекторий

Подробное руководство по современному стеку инженерии данных: от управления и интеграции данных до масштабируемой обработки, MLOps, федеративного обучения, интерпретируемого ИИ, озёр данных и продвинутой аналитики.
Мы стоим на пороге сверхинтеллекта.

Представили Recurrent Looped Transformer (RLT).

Теперь у нас есть трансформеры с бесконечной глубиной рассуждений.

С этого момента нам следует контролировать темп прогресса на передовом рубеже сверхинтеллекта, пока не будет достигнут безопасный сверхинтеллект.

https://github.com/yifanzhang-pro/recurrent-looped-tranformer