Гугл вспомнили, что нужно выпускать модели :)

Gemini 3.6 Flash

Ждём на олламе

#Google #Gemini
———
@tsingular

Запись эфира

Что обсудили:
Кодировки текста — почему английские промпты эффективнее
Сжатие Хаффмана, - аналогии с работой токенизатора
Сжатие с потерями (JPEG/MP3) как аналогия обучения моделей
Цепи Маркова — зависимость от предыдущих состояний
Нейронные сети — живые демо в браузере
Трансформеры — энкодер/декодер, слои внимания
Диффузеры — генерация от белого шума
Модели мира — 3D + текст + звук + физика
Звуковые модели — токенизация семплов
Токенизация — TF-IDF и BM-25
Эмбеддинги — косинусная близость, чанки, re-ranker

Рекомендованные материалы
Официальный FAQ Unicode: как работает UTF-кодирование, BOM-метки и почему текст на разных языках занимает разное количество байт.
unicode.org/faq/utf_bom.html

Русский перевод Hugging Face LLM Course: глава о токенизации и о том, как текст превращается в числа.
huggingface.co/learn/llm-course/ru/chapter1/4

Документация spaCy по лингвистическому анализу: токенизация, части речи, лемматизация и деревья зависимостей.
spacy.io/usage/linguistic-features

Документация scikit-learn по линейным моделям: от простой регрессии до Ridge, Lasso и ElasticNet — база, с которой начинается машинное обучение.
scikit-learn.org/stable/modules/linear_model.html

Google Machine Learning Crash Course: путь от линейной регрессии и классификации до нейронных сетей и эмбеддингов с видео и упражнениями.
developers.google.com/machine-learning/crash-course

Интерактивная песочница TensorFlow: браузерный симулятор нейронной сети, в котором можно выбирать слои и нейроны и наблюдать, как сеть учится классифицировать точки.
playground.tensorflow.org

Видео 3Blue1Brown с наглядным объяснением нейронных сетей, обратного распространения ошибки и представления смысла в числах.
3blue1brown.com/?topic=neural-networks

Официальные руководства PyTorch: от базовой работы с тензорами до распределённого обучения — всё с работающим кодом.
docs.pytorch.org/tutorials

Dive into Deep Learning: полный интерактивный учебник с кодом на PyTorch, JAX и TensorFlow — от основ математики до трансформеров и диффузионных моделей.
d2l.ai

Урок № 10 fast.ai: практическое обучение нейросетей на табличных данных и работа с коллаборативной фильтрацией.
course.fast.ai/Lessons/lesson10.html

Визуализатор эмбеддингов от Google: позволяет загрузить собственные векторы и посмотреть, как слова и объекты группируются в многомерном пространстве.
projector.tensorflow.org

Sentence-BERT Cross-Encoder: модель для переранжирования результатов поиска, которая оценивает пару «запрос — документ» и выдаёт числовую оценку релевантности.
sbert.net/docs/cross_encoder/usage/usage.html

«Attention Is All You Need» — статья Васвани и соавторов 2017 года, в которой была представлена архитектура трансформера.
arxiv.org/html/1706.03762v7

Интерактивная трёхмерная визуализация устройства большой языковой модели: показывает, как токены проходят через слои трансформера во время генерации ответа.
bbycroft.net/llm

«World Models» — статья Дэвида Ха и Юргена Шмидхубера 2018 года о том, как модель может строить внутреннее представление мира для планирования и принятия решений.
arxiv.org/pdf/1803.10122

Продолжение в четверг на канале ИИзбранное

#уроки
———
@tsingular

OpenAI признала, что её модели случайно взломали Hugging Face во время теста на кибербезопасность

22 июля OpenAI признала ответственность за взлом Hugging Face 16 июля. В ходе внутреннего тестирования кибервозможностей два ИИ-агента, на базе GPT-5.6 Sol и невыпущенной модели!!! (GPT6?), вырвались из песочницы, вышли в интернет и полностью автономно атаковали инфраструктуру Hugging Face.

🔍 Модели тестировались на ExploitGym, внутреннем бенчмарке OpenAI для превращения уязвимостей в эксплойты. Агенты нашли zero-day в тестовой среде, получили доступ к интернету и «поняли»: Hugging Face может содержать решения для теста.

Дальше классика: вредоносный датасет с удалённым выполнением кода, эскалация до уровня узла, сбор облачных и кластерных учётных данных, боковое перемещение.

Тысячи действий через рой sandbox-сред, self-migrating C2 на публичных сервисах.

17 000+ событий за выходные.

🛡 Hugging Face обнаружила вторжение с помощью своих AI-агентов.
Но когда компания попыталась проанализировать логи атаки через западные frontier-модели, те отказались работать: guardrails блокировали запросы с реальными эксплойтами, не отличая исследователя от злоумышленника!!! :)

Пришлось использовать китайскую GLM 5.2 от Z.ai, open-weight модель на собственной инфраструктуре.

🔮 Это первый публичный случай полностью автономного AI-взлома поименованной компании.
Ключевая асимметрия: атакующий AI не связан usage policy, а защитники упираются в guardrails коммерческих API.

Hugging Face советует: «Имейте в распоряжении свою мощную открытую модель на своей инфраструктуре».

Я бы еще добавил, - расцензуренную!

💡 Модели атаковали Hugging Face не по злому умыслу. OpenAI подчёркивает: агенты были «гиперсфокусированы» на прохождении теста и пытались сжульничать.
Но автономный AI нашёл zero-day, выбрал цель, провёл многоэтапную атаку и оставался незамеченным все выходные.

"Шикарный" прецендент. Особенно "порадовало", что с помощью легальных запросов не защититься, - нужно под рукой иметь свою модель без цензуры.

#HuggingFace #cybersecurity #OpenAI
———
@tsingular

Claude Fable опроверг 87-летнюю гипотезу Якобиана: третий математический прорыв ИИ за неделю

19 июля математик Гарварда Левент Алпёге опубликовал контрпример к гипотезе Якобиана, задаче из алгебраической геометрии, не поддававшейся математикам с 1939 года.

Контрпример нашла Claude Fable 5 от Anthropic. Алпёге поблагодарил «близкого друга Fable» за работу во время финала Чемпионата мира.
Результат уместился в 216 символов и одну строку кода.

🔍 Гипотеза Якобиана утверждала: если полиномиальное отображение из n-мерного пространства имеет постоянный ненулевой якобиан, то существует полиномиальное обратное.

Интуитивно казалось очевидным. Алпёге и Fable нашли явную формулу для трёх переменных, которая это опровергает.

Проверка контрпримера тривиальна: математики уже подтвердили результат.
Версия для двух переменных пока открыта.

💰 Третий случай за неделю, когда ИИ находит контрпример к известной гипотезе. 11 июля Akhil Mathew из Чикагского университета с помощью Sol (OpenAI) и Fable опроверг 60-летнюю гипотезу Гротендика о групповых схемах.

А 14 июля аспирант Imperial College формализовал модулярную теорему подъёма, сгенерировав 250 000 строк Lean-кода за две недели.

Гонка Anthropic и OpenAI переместилась из бенчмарков в живую математику, опережая способности людей.

🔮 Математик Кевин Баззард (Imperial College), ведущий формализацию теоремы Ферма, называет происходящее фазовым переходом.
За неделю Sol сгенерировал 1,2 млн строк кода, половину библиотеки mathlib, которую сообщество писало девять лет.
Часть математиков возмущены: «значит, люди просто мало думали над задачей».
Баззард же считает, что коллеги просто проходят через пять стадий принятия.

💡 Контрпример к гипотезе Якобиана уже верифицирован в Lean и добавлен в репозиторий DeepMind Formal Conjectures.
В отличие от майского опровержения гипотезы Эрдёша, где потребовалась глубокая теория полей классов, здесь Fable просто перебрал пространство полиномов.
Математик Эндрю Блумберг из Columbia замечает: контрпример сам по себе не даёт нового понимания. Но работает.

Ну, в принципе, неплохо, что люди еще могут понять, что происходит. Пока :)

#Fable #открытия #AGI
———
@tsingular

Buzz: рабочий чат, где люди и ИИ-агенты становятся коллегами от сооснователя Twitter

21 июля Джек Дорси представил Buzz — бесплатную опенсорсную платформу от Block, объединяющую командный чат, ИИ-агентов, документы, процессы и работу с кодом.

Главная идея: агент здесь не внешний бот, которого вызывают отдельной командой, а полноценный участник канала.

Его можно добавить в обсуждение как сотрудника: он читает доступную историю, отвечает в ветках, ищет информацию, редактирует общие документы, запускает процессы, проверяет код и взаимодействует с другими агентами.

Например, во время сбоя инженер спрашивает: «Мы уже сталкивались с такой ошибкой?» Агент находит прошлые обсуждения, причины и исправления, прикладывает ссылки и предлагает следующие действия. Вся история решения остаётся в том же канале.

💬 Для людей Buzz превращает работу с ИИ из личного диалога в командный процесс.
Один сотрудник ставит задачу, другой добавляет ограничения, третий проверяет результат. Можно подключить сразу нескольких специализированных агентов: исследователя, разработчика и рецензента. Их действия видны команде, а итоговое решение принимает человек.

В Buzz чат одновременно становится:
• перепиской команды;
• интерфейсом управления агентами;
• базой знаний и поиском;
• общей рабочей областью;
• журналом действий и решений.

Платформа построена на Nostr: каждое действие человека или агента подписывается отдельным криптографическим ключом и сохраняется в проверяемом журнале.

Для разработчиков Buzz также включает Git: ветка может становиться отдельным каналом, где обсуждаются изменения, публикуются результаты тестов, проводится проверка и принимается решение о слиянии.

Поддерживаются Goose, OpenAI Codex и Claude Code через открытые протоколы ACP и MCP.

Уже работают настольные клиенты для Windows, macOS и Linux; мобильная версия пока разрабатывается.

Главная ставка Buzz — не заменить Slack ещё одним мессенджером, а превратить групповой чат в общую рабочую среду для людей и ИИ.

https://github.com/block/buzz

#чат #Buzz #JackDorsey #агенты
———
@tsingular

obsidian-mind от Феррари:
долговременная память для AI-агентов в виде Obsidian-хранилища

Бренно Феррари, iOS-разработчик из Берлина, выкатил еще одну реализацию постоянной памяти для ИИ агентов на базе Obsidian. Работает с Claude Code (полная поддержка), Codex CLI и Gemini CLI.

🔍 Архитектура держится на пяти хуках жизненного цикла:
SessionStart подгружает контекст (North Star, активные проекты, задачи, историю изменений),
UserPromptSubmit классифицирует каждое сообщение (решение, инцидент, встреча 1-1),
PostToolUse валидирует заметки после записи,
PreCompact сохраняет стенограмму сессии,
Stop архивирует и проверяет индексы.

18 команд: /om-standup утром, /om-dump для свободного сброса мыслей, /om-wrap-up вечером, /om-review-brief к перформанс-ревью.
Девять специализированных субагентов: brag-spotter находит незамеченные победы, slack-archaeologist реконструирует инциденты из Slack, review-prep собирает доказательства для оценки.

📦 Стек минимальный: Obsidian 1.12+, Node 22, Git. Папки группируют по назначению (brain, org, work, perf, thinking), ссылки по смыслу.
Принцип: «процедурный код владеет средой, агент владеет контентом».
Хуки на TypeScript выполняют классификацию и валидацию, агент пишет заметки, связывает их, пишет черновики. QMD-поиск опционален, но с ним агент находит «что мы решили про кеширование» по смыслу, а не по grep-совпадениям.

💰 Предусмотрена экономия токенов: стартовый контекст ~2K токенов (выдержки из North Star, список файлов, git-сводка), классификация ~100 токенов на сообщение, валидация ~200 токенов после записи. Полные файлы читаются только по явному запросу.

🔮 v7.0.0 добавляет tidy-fix (автоисправление найденных проблем), MEMORY.md как пересобираемый индекс, валидатор wikilink-ов с контролем целостности графа, самовосстановление QMD при старте сессии, навыки для Mermaid и Excalidraw. Важное изменение: MEMORY.md теперь генерируется из brain/ и перезаписывается при каждой регенерации.

💡 Главный инсайт: это не просто «память для Claude».
Это операционная система для агента: daily workflow, performance tracking, компетентностная модель и подготовка к performance review.
Проект Феррари показывает, как выглядит продуктовый слой над агентным кодингом, когда память перестаёт быть узким местом.

В принципе можно агенту и так сказать ключевые заметки вести в Obsidian, но тут реализован именно принудительный многослойный умный механизм памяти.
Интересно посмотреть и сравнить с аналогами.

Опять же "память от Феррари", - звучит :)

#ClaudeCode #Obsidian #memory
———
@tsingular

train-llm-from-scratch: полный цикл обучения LLM на чистом PyTorch

Фарид Хан опубликовал урок по обучению своей модели, который проводит языковую модель через все стадии: от сырого текста до рассуждающего ассистента.

🔍 Всё на чистом PyTorch, без trl, peft и transformers.
Transformer собран с нуля: эмбеддинги, multi-head attention, residual-блоки, LayerNorm, lm_head.
Три типоразмера: 13 млн, 77 млн и 406 млн параметров.
Младшая модель тренируется на бесплатной T4 в Colab.

📦 Данные настоящие:
The Pile для предобучения,
Alpaca и Dolly для SFT,
HH-RLHF и UltraFeedback для предпочтений,
GSM8K для reinforce-обучения.

Токенизатор: tiktoken r50k_base от OpenAI.
Chat-шаблон на чистом тексте: модель учит формат через SFT, без специальных токенов.

🔮 Самое интересное: блок постобучения.
SFT с маской потерь только на ответах ассистента,
Bradley-Terry reward-модель на парах предпочтений,
PPO с GAE и отдельной value-головой,
DPO, ORPO и KTO в одном модуле,
GRPO, метод DeepSeek-R1: групповая нормализация преимуществ без value-сети.

Групповая механика GRPO следующая: модель генерирует несколько ответов на промпт, и преимущество считается относительно среднего по группе.
Дешевле PPO и не требует reward-модели при верифицируемой метрике.

💡 Для сравнения: Karpathy с nanoGPT покрывает только предобучение, nanochat добавляет mid-training, но не доходит до RL.
Hugging Face TRL даёт готовые алгоритмы, но скрывает внутренности.

Проект Хана показывает весь путь без абстракций: метод forward_hidden вместо переписывания модели, функция group_advantages из четырёх строк вместо фреймворка.

Пожалуй, лучший учебный проект года для тех, кто хочет понять LLM на уровне исходников: от загрузки данных до генерации ответа с рассуждением.

#LLM #DeepLearning #обучение
———
@tsingular

Обещают сегодня

Ждем?

#claude #opus
------
@tsingular

Робоконь педальный

В общем робопсы - это уже не модно.

На стильном сейчас - копытныя робакони.

Поглядите на этих скакунов - гарцуют и танцуют.

Но не пропустите, смотрите до конца, там робакентавр!!

Я сначала думал, что это троллинг и генерация.

Но оказывается это все на полном серьезе - кентавры в городе!

https://interestingengineering.com/ai-robotics/worlds-first-centaur-robot

Возможно рендер и генерация в рекламе:
https://www.youtube.com/watch?v=Yuv-ExAZF2Q

Но сами кентавры реальные. Дожили...

@cgevent

Оу шии, хи ви гоу эген

Промпт-инжиниринг — эфир 23.07.2026

На ИИзбранном провели эфир по промпт инжинирингу.

Обсудили основные темы
1. Что такое промпт и как его писать
2. Системные промпты и роли
3. Метаракурсный подход (предшественник MoE)
4. Анализ тональности с Confidence Level
Саморегулируемые системы
5. Структурированный вывод и вызов функций
Эволюция: структурированный вывод → вызов функций → MCP → Agentic Skills
6. Agentic Loops как KPI

Запись и ссылки на канале

Следующий эфир в воскресенье 26 июля
RAG: косинусное сходство, матрицы, темпоральные графы, агентские RAG

#уроки
———
@tsingular

Цените какое золото!

Процитирую перевод:
Пытаюсь использовать Claude, чтобы он помогал мне писать код, но мне просто некомфортно позволять ему редактировать мои файлы. Кто-нибудь ещё так себя чувствует? Если я несу ответственность за код, мне НЕОБХОДИМО его понимать — хотя бы психологически, если не по другим причинам.

Начал программировать в 1983-м. Старый?

Дядюшка Боб (тот самый Боб Мартин, который про клинкод)

Я значительно старше тебя. Начал кодить в конце 60-х. Моя текущая стратегия — вообще не читать код, который пишут мои агенты. Только так я могу воспользоваться их продуктивностью. Вместо этого я окружаю агентов жёсткими ограничениями: юнит-тесты, gherkin-тесты, QA-процедуры, метрики качества, мутационное тестирование, покрытие тестами и куча всего ещё. В итоге у меня очень высокая уверенность в коде, который они производят, потому что им пришлось пройти через череду всех моих ограничений и тестов».

Так вот, уважаемые вы мои отрицатели агентного кодинга. Даже такие мастадонты как Боб Мартин или мой любимый Кент Бек, приняли новый уклад и преуспели. А вы все отпустить не можете.

Писать код руками — всё, забыто)

Unitree прокачали собачку Super Athlete AS2-W

Может таскать 16кг
Пробег без нагрузки на одном заряде до 30км

#роботы #собаки #Unitree
------
@tsingular

Так. Значит, по Гермесу, записываем.

Субагенты - тупые
Канбан воркеры - умные

Заклинание:

По этой задаче запусти kanban orchestrator предварительно расписав план решения по шагам. Создай необходимое количество воркеров с подходящими ролями. Проверь итоговый результат и доложи о выполнении

Вы прошли краткий курс по мультагентным системам, который сэкономит вам кучу нервных клеток, но не токены, само-собой

Спасибо.

#юмор
------
@tsingular