Мне, кстати сегодня сон снился. Будто у меня свой робот, и он перестал мне помогать, а я его пытался обучать всякой ерунде, типа водить машину, а сам думаю, почему автопилота нет, зачем мне его обучать рулить)))
😁8❤1🤩1
Forwarded from BAUM
Контекст инференса как самостоятельный уровень AI-инфраструктуры
Обзор тенденций рынка — в блоге BAUM↗️
С ростом размеров и возможностей LLM-моделей узким местом перестают быть только вычисления. Всё чаще ограничением становится контекст инференса — данные состояния модели (KV-cache), которые хранят историю взаимодействия, длинные диалоги и промежуточные результаты агентных систем.
При увеличении длины контекста требования к памяти растут линейно и быстро выходят за пределы HBM одного GPU.
Недавно NVIDIA представила Inference Context Memory Storage Platform — архитектуру, где контекст инференса рассматривается как самостоятельный уровень инфраструктуры, а не побочный элемент работы модели.
Платформа Context Memory Storage — первая реализация этой идеи на уровне датацентра, и, судя по динамике рынка, за ней следует новая эра архитектур AI, где вычисления и данные неразрывно слиты воедино для достижения максимальной производительности.
#BAUMIndustry #BAUMStorage #BAUM_AI
Обзор тенденций рынка — в блоге BAUM
С ростом размеров и возможностей LLM-моделей узким местом перестают быть только вычисления. Всё чаще ограничением становится контекст инференса — данные состояния модели (KV-cache), которые хранят историю взаимодействия, длинные диалоги и промежуточные результаты агентных систем.
При увеличении длины контекста требования к памяти растут линейно и быстро выходят за пределы HBM одного GPU.
Недавно NVIDIA представила Inference Context Memory Storage Platform — архитектуру, где контекст инференса рассматривается как самостоятельный уровень инфраструктуры, а не побочный элемент работы модели.
Платформа Context Memory Storage — первая реализация этой идеи на уровне датацентра, и, судя по динамике рынка, за ней следует новая эра архитектур AI, где вычисления и данные неразрывно слиты воедино для достижения максимальной производительности.
#BAUMIndustry #BAUMStorage #BAUM_AI
Please open Telegram to view this post
VIEW IN TELEGRAM
👍9🔥1👌1
Мужчины, поздравляю всех с праздником!
Мирного неба над головой !
Мирного неба над головой !
👍22❤6
Kaggle.com давно стал больше чем просто портал с задачами по ИИ.
Сейчас на сайте 660К датасетов, это просто супер источник данных.
P.s. а если все эти датасеты объединить в RAG 🤔
Сейчас на сайте 660К датасетов, это просто супер источник данных.
P.s. а если все эти датасеты объединить в RAG 🤔
🔥9👍1
Милые девушки! Поздравляю вас с 8 Марта! Желаю, чтобы в душе всегда цвела весна, а глаза сияли счастьем. Оставайтесь такими же прекрасными и вдохновляйте нас на новые победы!💐💐💐
❤17🔥8🤩1
Как считаете, если на Земле население 8 млрд , то можно ли типажи личностей и знаки зодиака отнести к статистике и к законам больших чисел?
Anonymous Poll
65%
Да
35%
Нет
Когда-то, давным давно, на заре цифровых технологий, я очень увлекался и компами, и железом и мобильными телефонами.
Знал все марки и характеристики всех устройств, наизусть, знал их сравнение.
Но потом в какой-то момент, зоопарк производителей и устройств становится такой большой, что на отслеживание новинок уходит много времени.
И начинают появляться всякие заголовки, типа "убийца Айфона, убийца chatgpt, убийца тесла" и всё это обычный инфоповод чтобы новичка заметили.
Но в контексте решения конкретных задач, бизнес задач, нет абсолютно никакого смысла знать всё на свете, гораздо лучше знать то, что будет работать, что будет удобно обслужить и что не исчезнет через Х лет с рынка.
Наблюдаю сейчас такой же зоопарк и на рынке ИИ, где куча всего. И найти сейчас свое место на этом рынке - отдельная задача со звёздочкой.
P.S. отдельная печаль - это сжатие нашего рынка, мы почти со сто процентной вероятностью пожалеем, о тех ограничениях, которые вводим сами для себя в это время. Считаю это стратегической супер ошибкой.
Знал все марки и характеристики всех устройств, наизусть, знал их сравнение.
Но потом в какой-то момент, зоопарк производителей и устройств становится такой большой, что на отслеживание новинок уходит много времени.
И начинают появляться всякие заголовки, типа "убийца Айфона, убийца chatgpt, убийца тесла" и всё это обычный инфоповод чтобы новичка заметили.
Но в контексте решения конкретных задач, бизнес задач, нет абсолютно никакого смысла знать всё на свете, гораздо лучше знать то, что будет работать, что будет удобно обслужить и что не исчезнет через Х лет с рынка.
Наблюдаю сейчас такой же зоопарк и на рынке ИИ, где куча всего. И найти сейчас свое место на этом рынке - отдельная задача со звёздочкой.
P.S. отдельная печаль - это сжатие нашего рынка, мы почти со сто процентной вероятностью пожалеем, о тех ограничениях, которые вводим сами для себя в это время. Считаю это стратегической супер ошибкой.
👍22❤3
Всем привет!
Давно не писал, зарылся в задачах, да и наблюдается определенный кризис идей.
Решил ответить на вопрос и заодно поделиться видением.
Набросал с дипсик краткий план создания синтетического датасета для диагностики компрессора
В целом это базовый, слегка усреднённый подход. Можно использовать как чек-лист при генерации данных.
Шаг 1. Генерация «нормального» режима работы
Для каждого из 380 тэгов нужно задать:
· Базовое значение (среднее) — берётся из паспорта компрессора или экспертной оценки.
· Допустимый разброс (σ) — например, 2–5% от базового значения.
· Сезонность или цикличность — суточные, недельные или сезонные паттерны нагрузки, если они есть.
Генерация выполняется для временного ряда длиной T (например, 100 000 точек с частотой 1 Гц).
Шаг 2. Имплантация паттернов деградации
Выбирается начало деградации t0 и её длительность L. Для каждого тэга определяется тип деградации.
Один и тот же отказ может по-разному проявляться на разных датчиках.
Я спросил дипсик, он предложил как вариант использовать такие соответствия:
· Вибрация → рост дисперсии + появление гармоник.
· Провисание штока → линейный дрейф среднего значения.
· Температура → экспоненциальный рост.
· Уровень → рост дисперсии (турбулентность).
Шаг 3. Добавление реалистичного шума и помех
Рекомендуется добавить несколько слоёв искажений:
· Гауссовский шум N(0, σ) — для фонового шума измерений.
· Импульсный шум — случайные выбросы.
· Дрейф нуля — медленное изменение из-за калибровки.
· Пропуски данных — обнуление случайных участков.
Шаг 4. Кросс-корреляция между датчиками
Отказы обычно видны на нескольких датчиках одновременно:
· Построить матрицу корреляции реальных данных (если есть) или назначить связи экспертно.
· При генерации деградации на одном датчике — добавить ослабленный сигнал (50–70% амплитуды) на коррелирующие датчики.
Можно этот план использовать как основу.
Дальше его можно расширять под конкретные типы оборудования и доступные данные.
P.s. кстати, мне кажется создание датасетов для ИИ моделей, это неплохой бизнес и монетизация🤔
Давно не писал, зарылся в задачах, да и наблюдается определенный кризис идей.
Решил ответить на вопрос и заодно поделиться видением.
Набросал с дипсик краткий план создания синтетического датасета для диагностики компрессора
В целом это базовый, слегка усреднённый подход. Можно использовать как чек-лист при генерации данных.
Шаг 1. Генерация «нормального» режима работы
Для каждого из 380 тэгов нужно задать:
· Базовое значение (среднее) — берётся из паспорта компрессора или экспертной оценки.
· Допустимый разброс (σ) — например, 2–5% от базового значения.
· Сезонность или цикличность — суточные, недельные или сезонные паттерны нагрузки, если они есть.
Генерация выполняется для временного ряда длиной T (например, 100 000 точек с частотой 1 Гц).
Шаг 2. Имплантация паттернов деградации
Выбирается начало деградации t0 и её длительность L. Для каждого тэга определяется тип деградации.
Один и тот же отказ может по-разному проявляться на разных датчиках.
Я спросил дипсик, он предложил как вариант использовать такие соответствия:
· Вибрация → рост дисперсии + появление гармоник.
· Провисание штока → линейный дрейф среднего значения.
· Температура → экспоненциальный рост.
· Уровень → рост дисперсии (турбулентность).
Шаг 3. Добавление реалистичного шума и помех
Рекомендуется добавить несколько слоёв искажений:
· Гауссовский шум N(0, σ) — для фонового шума измерений.
· Импульсный шум — случайные выбросы.
· Дрейф нуля — медленное изменение из-за калибровки.
· Пропуски данных — обнуление случайных участков.
Шаг 4. Кросс-корреляция между датчиками
Отказы обычно видны на нескольких датчиках одновременно:
· Построить матрицу корреляции реальных данных (если есть) или назначить связи экспертно.
· При генерации деградации на одном датчике — добавить ослабленный сигнал (50–70% амплитуды) на коррелирующие датчики.
Можно этот план использовать как основу.
Дальше его можно расширять под конкретные типы оборудования и доступные данные.
P.s. кстати, мне кажется создание датасетов для ИИ моделей, это неплохой бизнес и монетизация🤔
🔥4👍1