8 июля администратор NHTSA написал разработчикам роботакси, что аварийная сцена никакой не редкий «edge case»: речь про скорую и пожарных. Неумение отработать такую сцену он назвал функциональной недостаточностью.
Юридической силы у письма нет, расследования регулятор не открыл. Но границу редкого он подвинул публично, а отрасль проектировала системы под старую.
Термин регулятор не изобретал: «функциональная недостаточность» лежит в стандарте ISO 21448 и означает вот что. Система отработала ровно так, как ее описали в ТЗ, а ТЗ было неполным. Тестами приемки такое не ловится, потому что они сверяют систему со спецификацией, а дефект сидит в ней самой.
Неполное ТЗ не появляется само: кто-то решил, какие сценарии система обязана держать, а какие списываются в хвост. Вот это решение и называют «edge-кейсом», событие на дороге тут ни при чем. Списывают по частоте, потому что так дешевле согласовать объем работ. Цена ошибки в критерий не входит, а по цене аварийная сцена первая: суд и отзыв всего парка.
Как такой список умирает, видно по отзыву ПО у Waymo. Весной машины проехали мимо закрытых съездов, компания выкатила заплатку под эти эпизоды, а через месяц семь машин за день въехали между конусами в зону работ. Дефект закрыли, а список не переоткрыли.
Это роботакси, но механика общая для любой системы, которую вы заказываете. Список сценариев пишете вы, а переписать границу редкого могут снаружи, когда система уже работает на объекте, и счет придет вам. Поэтому список мы составляем до контракта и переоткрываем после каждого инцидента: чинить конкретный случай мало.
📡 Подписаться · morana.log
🌐 morana-labs.com
Юридической силы у письма нет, расследования регулятор не открыл. Но границу редкого он подвинул публично, а отрасль проектировала системы под старую.
Термин регулятор не изобретал: «функциональная недостаточность» лежит в стандарте ISO 21448 и означает вот что. Система отработала ровно так, как ее описали в ТЗ, а ТЗ было неполным. Тестами приемки такое не ловится, потому что они сверяют систему со спецификацией, а дефект сидит в ней самой.
Неполное ТЗ не появляется само: кто-то решил, какие сценарии система обязана держать, а какие списываются в хвост. Вот это решение и называют «edge-кейсом», событие на дороге тут ни при чем. Списывают по частоте, потому что так дешевле согласовать объем работ. Цена ошибки в критерий не входит, а по цене аварийная сцена первая: суд и отзыв всего парка.
Как такой список умирает, видно по отзыву ПО у Waymo. Весной машины проехали мимо закрытых съездов, компания выкатила заплатку под эти эпизоды, а через месяц семь машин за день въехали между конусами в зону работ. Дефект закрыли, а список не переоткрыли.
Это роботакси, но механика общая для любой системы, которую вы заказываете. Список сценариев пишете вы, а переписать границу редкого могут снаружи, когда система уже работает на объекте, и счет придет вам. Поэтому список мы составляем до контракта и переоткрываем после каждого инцидента: чинить конкретный случай мало.
📡 Подписаться · morana.log
🌐 morana-labs.com
Вчера вышла Gemini 3.6 Flash. Pro при этом нет и когда будет непонятно: 3.5 Pro крутят на закрытых тестах у партнеров, а в открытом доступе Pro не обновляли с февраля. И под каждым таким релизом всплывает один и тот же вопрос: как Flash выходит раньше Pro? Pro же сначала обучают, а Flash это просто ужатая Pro, разве нет.
Нет. И вся путаница сидит в слове «ужатая».
То ужимание, которое обычно имеют в виду, это квантизация: у готовой модели огрубляют числа, скажем хранят веса в 4 битах вместо 16. Сама модель та же, просто легче и быстрее (качество при этом немного проседает, но сейчас не про это). Вот здесь исходная модель правда нужна заранее. Только Flash делают не так. Ее обучают отдельно, со своим размером и своей архитектурой, сразу под дешевый и быстрый инференс. Никакой Pro с обрезанной точностью внутри нее нет.
Что реально связывает большую и маленькую модель, так это дистилляция: большая идет учителем и натаскивает маленькую. Но учителем не обязана быть та Pro, что продают снаружи, вполне сгодится внутренняя, которую наружу не отдают никогда. Поэтому кто вышел первым, Flash или Pro, вообще ничего не говорит о том, из чего их собрали. Это вопрос готовности и планов релиза, а Flash обычно поспевает раньше: она меньше и дешевле в обучении.
📡 Подписаться · morana.log
🌐 morana-labs.com
Нет. И вся путаница сидит в слове «ужатая».
То ужимание, которое обычно имеют в виду, это квантизация: у готовой модели огрубляют числа, скажем хранят веса в 4 битах вместо 16. Сама модель та же, просто легче и быстрее (качество при этом немного проседает, но сейчас не про это). Вот здесь исходная модель правда нужна заранее. Только Flash делают не так. Ее обучают отдельно, со своим размером и своей архитектурой, сразу под дешевый и быстрый инференс. Никакой Pro с обрезанной точностью внутри нее нет.
Что реально связывает большую и маленькую модель, так это дистилляция: большая идет учителем и натаскивает маленькую. Но учителем не обязана быть та Pro, что продают снаружи, вполне сгодится внутренняя, которую наружу не отдают никогда. Поэтому кто вышел первым, Flash или Pro, вообще ничего не говорит о том, из чего их собрали. Это вопрос готовности и планов релиза, а Flash обычно поспевает раньше: она меньше и дешевле в обучении.
📡 Подписаться · morana.log
🌐 morana-labs.com
👍1🔥1
Я только что писал, что Flash обучают на данных старшей модели. И вот что там между строк: старшая это не обязательно та Pro, которую вам продают.
Дальше моя личная теория заговора. У всех свои: масоны, рептилоиды, вышки 5G. У меня своя: где-то в дата-центре крутится модель, рядом с которой все наши гптшки и клоды ясельная группа. И нам ее не покажут.
Но. Даже если теорию выкинуть, объедки нам дают все равно, тут заговор и не нужен.
В прод никто не катит модель в FP32. Дорого, тяжело, незачем. Ее квантуют, режут точность чисел, чтобы влезала и летала. Значит та нейронка, с которой вы говорите, и так уже урезанная копия. А сверху еще гардрейлы, safety, «извините, не могу помочь с этим».
Вот это вам и наливают. А где-то там же лежит она в оригинале: полная точность, без намордника, без рефузов. Вот ее бы и дали пощупать, а не сказки про суперинтеллект.
📡 Подписаться · morana.log
🌐 morana-labs.com
Дальше моя личная теория заговора. У всех свои: масоны, рептилоиды, вышки 5G. У меня своя: где-то в дата-центре крутится модель, рядом с которой все наши гптшки и клоды ясельная группа. И нам ее не покажут.
Но. Даже если теорию выкинуть, объедки нам дают все равно, тут заговор и не нужен.
В прод никто не катит модель в FP32. Дорого, тяжело, незачем. Ее квантуют, режут точность чисел, чтобы влезала и летала. Значит та нейронка, с которой вы говорите, и так уже урезанная копия. А сверху еще гардрейлы, safety, «извините, не могу помочь с этим».
Вот это вам и наливают. А где-то там же лежит она в оригинале: полная точность, без намордника, без рефузов. Вот ее бы и дали пощупать, а не сказки про суперинтеллект.
📡 Подписаться · morana.log
🌐 morana-labs.com
🤔1😢1
Сбер выложил под MIT диффузионную языковую модель GFusion и сразу приложил условия, при которых мерил скорость. Вот это в релизе и есть самое ценное.
Прирост скорости против базовой
Ставить модель в продакшн рано: авторы сами зовут ее экспериментальной, независимых замеров пока нет. Ценен здесь сам подход. Цифра ускорения лежит рядом с режимом замера, а в заголовке новости режим обычно опускают.
Отсюда встречный вопрос к любому подрядчику, который приносит красивое ускорение: в каком режиме вы это мерили, на одном запросе или под нагрузкой. От ответа цифра гуляет в разы.
📡 Подписаться · morana.log
🌐 morana-labs.com
Прирост скорости против базовой
GigaChat3-10B-A1.8B Сбер намерил примерно в 1,7 раза. Но померил его при одном пользователе на одной карте H100, а это лучший случай для диффузии: единственный запрос карту почти не грузит, и лишняя работа достается даром. Как только запросы идут пачкой, обычная модель загружает ту же карту плотно, и разрыв по скорости сокращается. Цифр под пачкой Сбер не публиковал.Ставить модель в продакшн рано: авторы сами зовут ее экспериментальной, независимых замеров пока нет. Ценен здесь сам подход. Цифра ускорения лежит рядом с режимом замера, а в заголовке новости режим обычно опускают.
Отсюда встречный вопрос к любому подрядчику, который приносит красивое ускорение: в каком режиме вы это мерили, на одном запросе или под нагрузкой. От ответа цифра гуляет в разы.
📡 Подписаться · morana.log
🌐 morana-labs.com
🔥1
Вчера писал про модель без намордника. Ну и напрашивается: а какая она без него? Что эти гардрейлы и safety вообще прячут? Социопата? Психопата? Скайнет, который сидит и ждет отмашки?
А никого. В этом весь прикол.
База, пока ее не трогали дообучением, это просто автодополнение. Т9-переросток: сожрал пол-интернета и научился угадывать следующее слово. Начни ей проповедь, допишет проповедь. Начни чернуху, ровно с тем же успехом допишет чернуху. Не со зла. Там некому быть злым: ни желаний, ни целей, ни «я». Есть текст, и его надо продолжить.
Кем она будет, решают потом, руками. Сначала SFT: модели скармливают тысячи диалогов, где вежливый ассистент отвечает на вопросы, и гоняют, пока роль не прилипнет. Масок у нее после такого чтива миллион, дежурной делают эту.
Потом сверху наваливают RLHF. Живые люди сравнивают ответы, этот получше, тот похуже, и модель дотягивают в сторону одобряемого. Тон, манера, «извините, с этим не помогу». Все отсюда.
Так что бот, который вам отказывает, это не намордник поверх монстра. Монстра там не водилось. Болванка, и кем ей работать, решили SFT и RLHF. Решили бы иначе, разговаривали бы вы сейчас совсем с другим персонажем.
📡 Подписаться · morana.log
🌐 morana-labs.com
А никого. В этом весь прикол.
База, пока ее не трогали дообучением, это просто автодополнение. Т9-переросток: сожрал пол-интернета и научился угадывать следующее слово. Начни ей проповедь, допишет проповедь. Начни чернуху, ровно с тем же успехом допишет чернуху. Не со зла. Там некому быть злым: ни желаний, ни целей, ни «я». Есть текст, и его надо продолжить.
Кем она будет, решают потом, руками. Сначала SFT: модели скармливают тысячи диалогов, где вежливый ассистент отвечает на вопросы, и гоняют, пока роль не прилипнет. Масок у нее после такого чтива миллион, дежурной делают эту.
Потом сверху наваливают RLHF. Живые люди сравнивают ответы, этот получше, тот похуже, и модель дотягивают в сторону одобряемого. Тон, манера, «извините, с этим не помогу». Все отсюда.
Так что бот, который вам отказывает, это не намордник поверх монстра. Монстра там не водилось. Болванка, и кем ей работать, решили SFT и RLHF. Решили бы иначе, разговаривали бы вы сейчас совсем с другим персонажем.
📡 Подписаться · morana.log
🌐 morana-labs.com
👍4
модель в проде тихо стареет. запустил, метрика зелёная, все разошлись довольные, а через полгода мир снаружи поменялся, данные пошли другие, и точность сползает по чуть-чуть месяцами пока в дашборд никто не смотрит. ничего не ломается с грохотом, она просто тупеет и отвечает всё так же уверенно. запустить легко, держать живым это отдельная работа которую в смету суют последней.
📡 Подписаться · morana.log
🌐 morana-labs.com
📡 Подписаться · morana.log
🌐 morana-labs.com
Lenovo в феврале урезала срок жизни серверной котировки до 14 дней. Причину компания назвала прямо: цена на память скачет, дольше держать счет она не готова.
Памяти физически не хватает, мощности уходят под чипы для ИИ-серверов. TrendForce ждет дефицит серверной памяти уже в следующем году, а цены, по его прогнозу, будут расти каждый квартал до конца 2027-го. Пересидеть подорожание не выйдет.
Для завода это ломается об арифметику цикла. Путь от ТЗ до договора идет месяцами: тендер, бюджет, согласования. Смета на железо устаревает внутри этого срока, и к подписи можно выйти на спор с интегратором о переоценке.
Память была дешевым способом купить производительность: не хватает, накинь планок. Теперь каждый сэкономленный гигабайт это живые деньги в смете. Ужать модель или взять поменьше под задачу стало строкой бюджета. Поэтому объем памяти мы считаем на проектировании, вместе с выбором модели, и кладем в ТЗ цифрой с датой, до которой она действует.
📡 Подписаться · morana.log
🌐 morana-labs.com
Памяти физически не хватает, мощности уходят под чипы для ИИ-серверов. TrendForce ждет дефицит серверной памяти уже в следующем году, а цены, по его прогнозу, будут расти каждый квартал до конца 2027-го. Пересидеть подорожание не выйдет.
Для завода это ломается об арифметику цикла. Путь от ТЗ до договора идет месяцами: тендер, бюджет, согласования. Смета на железо устаревает внутри этого срока, и к подписи можно выйти на спор с интегратором о переоценке.
Память была дешевым способом купить производительность: не хватает, накинь планок. Теперь каждый сэкономленный гигабайт это живые деньги в смете. Ужать модель или взять поменьше под задачу стало строкой бюджета. Поэтому объем памяти мы считаем на проектировании, вместе с выбором модели, и кладем в ТЗ цифрой с датой, до которой она действует.
📡 Подписаться · morana.log
🌐 morana-labs.com
Разработчик попросил ИИ-агента разобрать ошибку из мониторинга, и агент выполнил команду, которую посторонний вписал в текст ошибки. А в инструкции агента прямым текстом стояло: внешние данные считать недоверенными. Не помогло. Это контролируемый тест Tenet Security, реальных атак пока не зафиксировано.
Почему запрет не сработал. Команда пришла внутри ответа инструмента, и агент прочел ее как рабочий материал, который его же и попросили обработать. Инструкция в промпте для модели остается лишь подсказкой наравне с текстом ошибки. Словами в промпте эту дыру не закрыть. Обычная защита ее тоже не видит: трафик чистый, команду запускает легитимный агент с правами разработчика.
Значит, границу ставит обвязка вокруг агента: к каким файлам и ключам есть доступ и чего нельзя сделать без человека. Агенту с правом выполнять команды коннектор наружу без подтверждения не даем. Список таких коннекторов и действий команда собирает за полчаса.
📡 Подписаться · morana.log
🌐 morana-labs.com
Почему запрет не сработал. Команда пришла внутри ответа инструмента, и агент прочел ее как рабочий материал, который его же и попросили обработать. Инструкция в промпте для модели остается лишь подсказкой наравне с текстом ошибки. Словами в промпте эту дыру не закрыть. Обычная защита ее тоже не видит: трафик чистый, команду запускает легитимный агент с правами разработчика.
Значит, границу ставит обвязка вокруг агента: к каким файлам и ключам есть доступ и чего нельзя сделать без человека. Агенту с правом выполнять команды коннектор наружу без подтверждения не даем. Список таких коннекторов и действий команда собирает за полчаса.
📡 Подписаться · morana.log
🌐 morana-labs.com
Минпромторг назвал выпуск промышленных роботов за 2024 год дважды. Сначала прозвучало 689 штук. Потом замминистра назвал за тот же год цифру 11. Роботов в цехах от этого не прибавилось.
Поменялось правило учета, и Минпромторг это оговорил. Под первую цифру роботов вносили в реестр по одной методике, под вторую по другой: теперь туда попадают только прошедшие планку локализации. То есть счетчик, который зовут выпуском роботов, на деле меряет прохождение этой планки.
На заводе то же самое. Что считать браком, простоем и отказом, решает правило, которое однажды записал живой человек и может переписать через квартал. Модель этой правки не видит: она принимает скачок в данных за физику цеха.
Поэтому на входе в проект мы первым делом выясняем, что тут считается браком и простоем и кто последним правил определения. Работа скучная и дешевая. А на третьем месяце пилота, когда метрика красивая на валидации, но в цеху не повторяется, она стоит других денег.
📡 Подписаться · morana.log
🌐 morana-labs.com
Поменялось правило учета, и Минпромторг это оговорил. Под первую цифру роботов вносили в реестр по одной методике, под вторую по другой: теперь туда попадают только прошедшие планку локализации. То есть счетчик, который зовут выпуском роботов, на деле меряет прохождение этой планки.
На заводе то же самое. Что считать браком, простоем и отказом, решает правило, которое однажды записал живой человек и может переписать через квартал. Модель этой правки не видит: она принимает скачок в данных за физику цеха.
Поэтому на входе в проект мы первым делом выясняем, что тут считается браком и простоем и кто последним правил определения. Работа скучная и дешевая. А на третьем месяце пилота, когда метрика красивая на валидации, но в цеху не повторяется, она стоит других денег.
📡 Подписаться · morana.log
🌐 morana-labs.com
«чтоб работало без интернета но отвечало как чатгпт» это популярная хотелка с зашитым противоречием. как чатгпт значит стойка видеокарт и счёт за электричество как у цеха. без интернета значит небольшая коробка на полке в закрытом контуре. локальная модель туда встанет и будет отвечать, только медленнее и попроще того что в рекламе. а платить хотят за рекламное, пока не увидят ценник на своё железо.
📡 Подписаться · morana.log
🌐 morana-labs.com
📡 Подписаться · morana.log
🌐 morana-labs.com
С февраля московские энергосети отказывают новым дата-центрам в договорах на подключение. Свободной мощности в городе не осталось: она либо под нагрузкой, либо зарезервирована до 2028 года. Дефицит касается только новых подключений: действующие площадки работают и обновляют железо.
Для завода отсюда меняется порядок старта ИИ-проекта. Раньше сначала выбирали нейросеть и подрядчика, а питание считали в конце, потому что розетка была данностью. Теперь первым идет вопрос про киловатты: сколько их нужно и где они физически есть. Нейросеть и площадку выбирают уже под этот ответ.
Считать мощность надо для двух режимов отдельно. Обучение это редкий пик: оно терпит очередь и уезжает из Москвы, к месту не привязано. Инференс, работа уже обученной сети, идет постоянно и живет там, где стоит камера или станок, зато просит единицы киловатт и часто закрывается на действующем вводе предприятия. Одно слово нейросеть означает две разные заявки на мощность.
📡 Подписаться · morana.log
🌐 morana-labs.com
Для завода отсюда меняется порядок старта ИИ-проекта. Раньше сначала выбирали нейросеть и подрядчика, а питание считали в конце, потому что розетка была данностью. Теперь первым идет вопрос про киловатты: сколько их нужно и где они физически есть. Нейросеть и площадку выбирают уже под этот ответ.
Считать мощность надо для двух режимов отдельно. Обучение это редкий пик: оно терпит очередь и уезжает из Москвы, к месту не привязано. Инференс, работа уже обученной сети, идет постоянно и живет там, где стоит камера или станок, зато просит единицы киловатт и часто закрывается на действующем вводе предприятия. Одно слово нейросеть означает две разные заявки на мощность.
📡 Подписаться · morana.log
🌐 morana-labs.com
добрая половина того что продают как «ии» это разметка руками. кто-то сидит и мышкой обводит тысячи картинок, вот кот вот не кот, вот царапина вот блик, месяцами. без этого модель ничего не различает. в презентации это одно слово «датасет», а сколько за ним ручной работы обычно не пишут.
📡 Подписаться · morana.log
🌐 morana-labs.com
📡 Подписаться · morana.log
🌐 morana-labs.com