🔬 Когда вышел первый deepseek, я первым делом спросил его, что произошло на площади Тяньаньмэнь (на русском). Ответ был такой, что партия забрать миска рис и кошка-жена. Такого рода анти-повесточные ответы я много где замечал у моделей из самых разных стран

(А на картинке то как "исправляет ошибки" новый AI редактор сообщений в Telegram 😂 +500 социального рейтинга уходит Паше)

Стало интересно - а как вообще формируются взгляды к которым модель будет тяготеть после обучения? В данных чего только нет - теории заговора, эзотерика, лженаука и т.д.

Стандартный ответ - "потому что у академических данных больший вес", но мне стало казаться, что дело не только в этом. Обучение LLM это по сути сжатие, а компрессору все равно где "правда" - он предпочитает то, что лучше сжимается. В итоге возникла такая гипотеза:

Модель тяготеет не к правде, а к сжимаемой картине мира. Правда выигрывает, когда ложь внутренне несогласованна

Чтобы проверить эту гипотезу я обучил 210+ трансформеров с нуля (от 3.5M до 1B параметров) на контролируемых датасетах с противоречивыми данными (математика, википедия)

Случайные ошибки - модель уверенно предпочитает правду (65–87%). Каждая ошибка уникальна, а правильная математика компактна. Даже при 90% мусора в данных модель всё равно выучивает верные ответы 🤯

Я обрадовался и добавил одно систематическое ложное правило. И тут пришлось немножко охренеть - модель начала предпочитать очевидную ложь, потому что она сжимается так же хорошо, как и истина. Модель не видит разницы. На всех масштабах, от 3.5M до 1B

Пример "сломаной" математики - если второе слагаемое нечетное, то ответ всегда 0.
2 + 2 = 4
2 + 3 = 0

А вот когда я добавил два ложных правила - истина снова стала побеждать (47% → 78%). Каждое правило само по себе компактное, но вот выбор "какое правило к какой задаче применяется" - случайный, несжимаемый. С десятью противоречивыми правилами предпочтение истины было уже 88%

На Википедии повторилось то же самое, на квенах до 1B (с нуля, без инициализации открытыми весами :)) - тоже. На миксе fineweb + математика тоже подтверждается. На разных токенайзерах - тоже

Что из этого следует?

Координированная дезинформация для компрессора неотличима от правды. И масштабирование тут не спасёт. А вот противоречия в фейках заставляют модель выбирать консистентную картину мира

В результате родилась моя первая самостоятельная научная статья - Truth as a Compression Artifact in Language Model Training. Буду подавать статью на международную конференцию. Это моя первая самостоятельная работа такого плана - если у кого-то есть опыт публикации или идеи как двигаться дальше, напишите 🙏

А если вдруг среди моих подписчиков есть те, кто менторит PhD треки - буду рад обсудить, как из этого сделать большую исследовательскую программу

Статья на arXiv (пока не опубликовали последнюю версию) |Статья на github + весь код

Когда ИИ модель крутится на смартфоне.

#юмор
------
@tsingular

Господь создал программистов сильными и слабыми, но полковник Клод уравнял их шансы

Завтра финалю решение по гиву.

#geforce #железо
------
@tsingular

Когда электричество только появилось, его использовали для освещения, розеток не было. Но потом сообразили, что можно от электричества дома можно запитывать много других девайсов. На фотке (если присмотреться) видно, что провод к утюгу идет прямо из лампочки.

Потребовалось какое-то время, прежде чем места подключения электричества переместили в более привычные для современного взгляда места - розетки на стенах.

Современное использование AI/LLM ощущается аналогично. Электричество подвели к лампочкам и станкам, как это кажется логичным. Но индустриальная революция внедрений ещё впереди, а паттерны использования AI ассистентов, агентов и демонов будут отличаться от того, о чем вещают из каждого утюга.

Ваш, @llm_under_hood 🤗

Тренировки роботов в Китае

Тяжёлая работа у операторов так то..
Сидишь как крановщик с этими манипуляторами.

#роботы #Китай
------
@tsingular

🎓 HKUDS DeepTutor: Университет ИИ-преподавателей

🚀 DeepTutor выпустил версию v1.0.0-beta.1 от 4 апреля 2026.
С последнего обновления произошли серьёзные изменения и теперь на фреймворке можно собрать не просто RAG-тутора, а целый гиперперсонализированный мультиагентный саморазвивающийся Университет!

🤖 Персональные TutorBots уже не чат-боты,- а автономные преподаватели. Каждый живёт в отдельном воркспейсе: своя память, личность, набор навыков.
Эволюционируют вместе с пользователем!

🏛️ Университет агентов: один пользователь — множество TutorBots. Математик, программист, исследователь. Каждый эксперт в своей области, при этом у них может быть общая память через Persistent Memory на SQL.

✍️ AI Co-Writer — Markdown-WebUI редактор с ИИ как соавтором. Выделить текст → переписать/расширить/резюмировать. Интеграция с базой знаний.
Каждый фрагмент индексируется через вектор.

📚 Guided Learning — структурированные учебные траектории. DeepTutor создаёт пошаговые планы, генерирует интерактивные страницы для каждой темы.
Обсуждение по траектории каждого пути.

🛠️ 7 инструментов: rag, web_search, code_execution, reason, brainstorm, paper_search, geogebra_analysis.
5 режимов: Chat, Deep Solve, Quiz, Research, Math Animator.
Может работать как CLI инструмент.

📊 10К звёзд за 39 дней. Apache-2.0.
В проекте уже 903 файла, 92К строк. 74% кода переписано с нуля.

#DeepTutor #AI #обучение #агенты #Китай #OpenSource #HKUDS #TutorBot
───
@tsingular

Карта уходит в индустриальный техникум коллективу студентов на опыты :)

Всем спасибо за участие.

Как дойдет - сделаем отчет

#geforce #даром #железо
———
@tsingualr

🚀 Бесплатно запускаем Gemma 4 на телефоне без интернета.

Google выкатили AI Edge Gallery для iOS и Android. Это официальный клиент, где модели работают локально на устройстве.

Что внутри чат с моделью, разбор изображений, офлайн-транскрипция аудио и простой агент с инструментами

Никаких облаков всё считается прямо на телефоне

По моделям E4B - мощнее, но требует около 8 ГБ RAM E2B - легче и быстрее, запускается даже с ~1.5 ГБ памяти

Фактически это карманный ИИ без зависимости от сети и API

На видео запускается Google Gemma 4 E2B на iPhone 17 Pro.

Около ~40 токенов в секунду с MLX, оптимизированным под Apple Silicon.

Модель показала топовый уровень в коде и математике прямо на смартфоне с контекстом 128K.

Полностью офлайн, с режимом рассуждения.

https://blog.google/innovation-and-ai/technology/developers-tools/gemma-4/

Анекдот дня

Microsoft и многие другие компании в условиях сервиса ИИ Copilot пишут, что использовать его можно только в развлекательных целях.

«Copilot предназначен исключительно для развлекательных целей. Он может допускать ошибки и работать не так, как задумано, — говорится в документе. — Не полагайтесь на Copilot при принятии важных решений. Используйте Copilot на собственный риск».

норм перестраховались, конечно, но выглядит забавно :)

#Microsoft #Copilot #disclaimer
———
@tsingular

Кто решает, как Америка применяет ИИ в войне?

События последних месяцев показал, что вопрос об Генеративном ИИ в военной сфере перестал быть теоретическим
Эксперты Stanford HAI разбирают конфликт Anthropic vs Пентагон и с разных сторон рассматривают кто вообще должен контролировать ИИ в обороне.

Ключевые мысли экспертов:
Термины "массовая слежка" и "полная автономность" плохо определены. В медицине "человек в контуре" — уже размытое понятие. ИИ теперь может делать работу тысяч аналитиков разведки — старые правила не рассчитаны на это.

Частные компании не должны диктовать оборонную политику. Жёсткие требования human-in-the-loop могут дать преимущество противникам, - например, при перехвате ядерной ракеты автономность критична.
Прецедент опасен тем, что военная доктрина не может опираться на: "А давайте спросим что по этому поводу думает Дарио".

Администрация Трампа фактически поставила Anthropic перед выбором "вымогательство или чёрный список". Студенты-стартаперы теперь задаются вопросом: если мой продукт не совпадёт с политикой правительства — его отберут?
Решения об ИИ должны приниматься всем обществом, а не только президентом или CEO ИИ компаний.

Отказ Anthropic — первое публичное подтверждение, что LLM могут использоваться для профилирования и слежки. Единственное, что сейчас стоит между нами и таким использованием — добровольный выбор компаний. Правительство уже закупает коммерческие данные граждан у брокеров, ICE использует это против протестующих.

Софт для разработки лекарств может создавать токсины. LLM сделали эти знания общедоступными. Нужны: скрининг на уровне компаний-синтезаторов ДНК, реестры покупателей реагентов, уровни секретности данных.
Ядерные инциденты 50-70х годов, - хороший пример для разработки регуляторики.

Скайнет не будет захватывать мир через войну, он захватит его через окно Овертона.

#AI #Defense #Anthropic #Пентагон #StanfordHAI #Регулирование
───
@tsingular

OpenClaw 2026.4.5, - стратегическое обновление

Вышел масштабный релиз Краба.
Попробуем разобраться куда движется проект.

1. Мультимедийная генерация

Добавлены инструменты video_generate и music_generate прямо в агента. Провайдеры: xAI (Grok), Runway, Alibaba Wan для видео; Google Lyria, MiniMax, ComfyUI для музыки. Асинхронная очередь задач с доставкой результата в диалог.

Что это значит: агент сам генерирует видео, музыку, изображения и отправляет результат в любой канал — Telegram, Discord, Slack.

2. Провайдеронезависимость

Добавлены Qwen, Fireworks AI, StepFun, MiniMax, Amazon Bedrock Mantle. Для Bedrock — автообнаружение профилей и подстановка региона. Прямая совместимость с GPT-5.4-mini и Codex.
Кэширование промптов унифицировано через все транспорты: детерминированный порядок инструментов, нормализация отпечатков системных промптов, диагностика попаданий в кэш через --verbose.

Получается OpenClaw строит единый слой маршрутизации между любыми поставщиками моделей.
Общий конфиг с любой моделью и оптимизацией кэширования.

3. Долгосрочная память через "сновидения"

Система «сновидений» с тремя фазами: лёгкий сон, глубокий сон, фаза быстрого сна. Каждая — с независимым расписанием.

Что делает:
- Перемещает краткосрочные заметки в долговременную память
- Выявляет устойчивые закономерности на фазе быстрого сна
- Настраиваемое затухание: полупериод давности, максимальный возраст записей
- Повторные прогоны не дублируют, а согласовывают записи

Это уже не поиск по md, а модель забывания и обобщения, ближе к биологической памяти человека.
Плюс эмбеддинги через Amazon Bedrock (Titan, Cohere, Nova) для семантического поиска.

4. Многоканальность — уровень операционной системы

Каналы: Telegram, Discord, Slack, WhatsApp, Matrix, MS Teams, Mattermost, Feishu, Synology Chat, мобильные приложения.

Новое:
- Подтверждение действий агента через Matrix и push-уведомления на iOS
- Настройка видимости контекста отдельно для каждого канала (весь контекст, список разрешённых, только цитаты)
- Локализация панели управления на 12+ языков

5. Экосистема плагинов — ClawHub

- Поиск, просмотр и установка плагинов прямо из панели управления
- Встроенные подсказки конфигурации при первой установке
- Среда выполнения ACPX встроена в плагин напрямую, убран промежуточный шаг через внешний инструмент
- Хуки перехвата ответов — плагины управляют доставкой без жёстких привязок в ядре

Формируется магазин расширений для агентов.

6. Безопасность — подготовка к корпоративному деплою

Десятки исправлений:
- Очистка унаследованных переменных окружения при запуске Claude CLI (конфигурация, маршрутизация провайдеров, токены)
- Ограничение области действия токенов при сопряжении устройств
- Защита от перенаправлений при обращении к внутренним адресам
- Блокировка обхода через символьные ссылки в маркетплейсе плагинов
- Сериализация попыток авторизации для предотвращения превышения лимитов

#openclaw #update
———
@tsingular

Интересный вариант шкалы прогресса

#мысли #сингулярность
———
@tsingular