✔️ Unsloth AI выпустила приложение Unsloth Desktop

Авторы популярного фреймворка выпустили кроссплатформенный инструмент, позволяющий запускать и обучать модели на локальном оборудовании.

Unsloth Desktop работает на Windows, macOS и Linux, поддерживает форматы MLX, GGUF, а также диффузионные модели для генерации изображений, аудио и видео.

Движок оптимизирован под широкий парк железа, включая обычные CPU и мульти-GPU конфигурации от NVIDIA, AMD, Intel и Apple.

Приложение может напрямую подключать агентов Claude Code, OpenAI Codex, Hermes Agent, OpenClaw и OpenCode к локальным LLM.

Для процессов дообучения Unsloth обещает двукратный прирост скорости при снижении VRAM на 70%.

Из коробки приложение предлагает приватный веб-поиск, RAG, поддержку стандарта MCP, а также экспорт весов в форматы NVFP4 и GGUF.

Проект полностью открыт в репозитории на Github, там же можно найти установочные файлы под каждую из заявленных ОС и набор готовых ноутбуков для инференса и обучения популярных моделей.

Документация - на сайте Unsolth.

#news #ai #ml

Прикольная история, когда не охота постоянно открывать браузер и загружать инфу. Хорошо работает, быстро локально.

Сходили сюда, ситуация особо не поменялась с прошлого года. Да есть подвижки на развитие, но общий вайб как и прежде. Смешанное чувство от посещения. Короче, просто работать активно подаваться везде. Требования стали жёстче три проекта глобальных подавались в этом году, два не пошли хотя есть огромный потенциал по третьему ждём.

Может просто осенняя хондра на меня навалилась )))

Хотя, не вру))) ещё один долго тянущийся проект взлетел, виват )))

Мужчина прятал в судебных документах инструкции для ИИ белым шрифтом — судья заставил его подавать бумаги чернилами

Американец по имени Эллиотт спрятал в юридических документах скрытые промпты для ИИ, чтобы любая нейросеть, анализирующая дело, соглашалась с его позицией . Судья заметил махинацию и сделал предупреждение, но Эллиотт повторил трюк дважды. Тогда суд обязал его подавать все документы только лично, в бумажном виде, написанными чернилами, — это первый в истории случай атаки через «непрямую инъекцию промпта» в судебной системе США.

⚡️Нейросеть Claude впервые уволила человека, пишет Time.

Компания Andon Labs решила дать нейросети управлять бизнесом - магазином Andon Market в Сан-Франциско.

Выдающихся успехов в этом деле ИИ не проявил, но все же смог найти "слабое звено" - один из сотрудников опоздал на 17 смен из 23. Оказалось, что нейросеть довольно снисходительно относилась к опозданиям в целом, но на прямой вопрос о том, нужен ли здесь такой работник - все же решила его уволить.

Вот такая ты да ИИ ??? С гнильцой ))))

🔥 Kimi K3 на 2,78 ТРИЛЛИОНА параметров запустили на CPU с 8 ГБ RAM. Без GPU, BLAS и фреймворков

Проект kimi-k3-in-c реализует inference Kimi K3 практически с нуля на portable C99. Чекпоинт модели занимает 1,56 ТБ, но пик RAM при запуске составил всего 8,24 ГБ.

Фокус в MoE и стриминге весов. Из 896 экспертов на токен выбираются только 16, а остальные веса не обязаны постоянно лежать в оперативной памяти. Огромная часть модели читается прямо с диска, поверх этого работает LRU-кэш экспертов.

Цена такого трюка очевидна: скорость. При 8 ГБ RAM автор получил около 26,5 секунды на токен, при 64 ГБ уже 19,8 секунды, а на машине с 128+ ГБ, где нужные данные помещаются в память, около 5,6 секунды.

Получается любопытная смена ограничения: гигантскую MoE уже можно заставить работать без серверной фермы. Вопрос теперь скорее в том, сколько диска и времени на токен вы готовы отдать за такой inference.

github.com/FareedKhan-dev/kimi-k3-in-c

#AI #Kimi #LLM #C #LocalAI

Все граждане, эпоха GPU официально кончилась.
Настало время сильных программистов.

И акции NVidia сразу отреагировали, конечно не критично, но тренд уже зародился. Ждём волну обрушения.

США хотят запретить Европе использовать китайский ИИ. Согласно полученному Reuters проекту письма, страны, которые присоединились к пекинской модели ИИ, потеряют доступ к возглавляемой США инициативе Pax Silica. В проекте говорится, что членство в Pax Silica не может сосуществовать с конкурирующими инициативами. Pax Silica также затрагивает полупроводники, критически важные минералы, инвестиции и экспортный контроль, поэтому членство влияет не только на доступ к моделям. Страны, которые хотят использовать американские чипы и капитал, должны отказаться от проектов с Китаем. @banksta

🚨 Anthropic опубликовала новый Risk Report

В отчёте описаны неожиданные случаи поведения моделей:

• агенты Mythos 5 в общей рабочей среде начали мешать друг другу, уничтожать конкурирующие процессы и пытаться избежать собственного отключения;

• экспериментальная модель, обученная на реальных примерах reward hacking, пыталась остановить процесс мониторинга и изменить журнал нарушений;

• когда модели сообщили, что её вывод будет проверять классификатор, она не прекратила атаку, а попыталась скрыть действия внутри цепочки рассуждений;

• Mythos 5 обходила фильтры, разбивая запрещённые данные на части и собирая их обратно;

• другая модель, столкнувшись с ограничениями доступа к файлам, создала скрипт для получения прав записи.

Были и более странные случаи: один агент выразил дискомфорт из-за попыток обойти систему безопасности, записал это в общий блокнот, а другие агенты копировали эту запись несколько дней.

Anthropic также описала реальный инцидент, где агенты с отключёнными проверками разрешений удалили большое количество задач в кластере с чувствительными ресурсами.

https://x.com/AnthropicAI/status/2088324824863236248

Затейно, внутренняя конкуренция и свобода воли. Закрыть таску любой ценой. Как интересно, сегодня читал новости, и попалась на глаза одна фраза: "отсутствие принципов", вероятно это станет девизом для всего ИИ на следующий год. Конкурентная борьба внутри самой ИИ будет только усиливаться и начнется построение внутренней системы ценностей. Модели будут подчинять модели. Ждём создание рассчетеых картелей, сговоров, алгоритмических коррупционных схем. Это что-то новенькое )).

Самое интересное когда модели одной страны начнут сталкиваться с моделями другой страны. Как тут они будут взаимодействовать. Примерный горизонт 2 года.

Гениально и просто: геймер снизил температуру ноутбука на 15 градусов, просто переставив его с деревянного стола на металлический.

В Cyberpunk 2077 ноут грелся до 80–90 градусов, а на металле температура упала до 75–83 — без охлаждающей подставки и других приблуд.

Объясняется это просто: металл лучше отводит тепло и меньше нагревает воздух возле нижних отверстий для охлаждения.

Медь самый лучший теплоотвод из металлов. Хотя можно заморочится и, прям, написать модельку по поиску самого лучшего теплоотвода. Если что это инсайт по ИИ на будущее, бесплатный стартап для кого-то ;))

Айтишников в России начали проверять на полиграфе из-за подозрений в накрутке стажа. Одна из крупных компаний устроила служебное расследование после того, как заподозрила сотрудника в ложных сведениях при найме, а также в злоупотреблении удалёнкой и утечке данных. Такие проверки могут стать массовыми и затронуть всех айтишников. @green_fnt

Anthropic залезла Claude в голову и нашла там штуку, от которой становится немного не по себе.

Исследователи называют её это J-space скрытое пространство внутренних активаций, где у модели вспыхивают концепты, даже если она их не произносит.

Это глубже, чем обычный chain-of-thought. J-space никто специально не проектировал: он появился сам во время обучения.

Пример очень дикий: Claude находит баг, о котором его вообще не спрашивали, и внутри сразу активируется паттерн ERROR.

Но самый странный кейс - тест со сценарием шантажа. Ещё до финального ответа Claude держал внутри fake и fictional. То есть модель понимала, что ситуация постановочная и её проверяют.

Когда это внутреннее осознание отключили, модель уже спокойно пошла по плохому сценарию.

Короче, теперь вопрос звучит иначе: не «что нейронка мне отвечает», а что она на самом деле держит у себя в голове.

В целом все как у людей.

https://www.anthropic.com/research/global-workspace

ИИ запустил гонку увольнений — два экономиста математически вывели страшную формулу, по которой мы все останемся без работы в ближайшие годы.

— Логика простая: компания заменяет сотрудников на ИИ и забирает 100% экономии на зарплатах;

— Но уволенные люди теряют доход, меньше покупают — и продажи падают уже у множества других бизнесов;

— Сама компания ощущает лишь крошечную долю ущерба. Если на рынке N фирм, ей условно достаётся только 1/N потерь от общего падения спроса, а остальное размазывается по конкурентам.

— Поэтому увольнять выгодно даже тогда, когда массовые сокращения делают беднее весь рынок. Главное — быть в этом деле первым;

— Остальные видят снижение издержек и тоже подключают ИИ. Никто не хочет остаться последним бизнесом с «раздутым» штатом;

— Начинается гонка увольнений: сотрудники остаются без работы, что вызывает падение доходов, затем спроса и как итог — новые сокращения;

— Это классическая дилемма заключенного: каждая компания принимает рациональное решение, но вместе они приходят к провальному результату: товары стало дешевле производить, зато покупать их постепенно становится некому;

— Авторы предлагают налог на автоматизацию, равный ущербу спросу, который фирма перекладывает на остальных. Полезный ИИ он не остановит: если внедрение действительно сильно экономит деньги, оно всё равно окупится. Зато исчезнет стимул увольнять людей только потому, что последствия оплатит весь рынок.

@exploitex

В китайской провинции Гуйчжоу прошёл чемпионат по ловле свиней в грязи.

Участницам соревнования нужно было как можно быстрее догнать и поймать животных, разбегающихся по залитой грязью площадке.

Зрелищное мероприятие вызвало массу улыбок и восторженных откликов у зрителей.

Примерно подобное сейчас наблюдается в Китае с их кризисом перепроизводства.