Важный пост про безопасность

Уже некоторое время назад я перестал использовать пароли, которые придумываю и запоминаю сам. Так как мысль доверять генерацию и хранение паролей Apple и Google мне претила, использую стороннее приложение - Bitwarden. Бесплатное, нравится, есть плагин для браузеров. Паради хранятся на сервере и доступны со всех устройств.

Все было бы хорошо, но работая с нейронками, особенно с моделями типа Claude Code, столкнулся с тем, что они читают .env файлы с паролями не задумываясь, как ты не ограничивай их промптами. Перебирая различные способы скрыть пароли и ключи от нейронок я пришел к следующему.

В дополнение к своему Bitwarden установил опен-сорс серверное приложение Vaultwarden - хранилище для моих паролей и ключей. Bitwarden переключил с облака на мой сервер. Сделал автоматическое формирование бэкапов и дублирующий сервер, если вдруг основной отрубится. В итоге все ключи и пароли - только на моих собственных серверах.

А в скриптах, с которыми работает ИИ, используются не ключи, а ссылки на мое хранилище, чтение которых не позволяет ничего лишнего раскрыть. Ну и браузер заодно поменял на Brave, чтобы сбор информации обо мне был на минимуме.

Все относительно несложно, но выходные на это можно и, пожалуй, стоит потратить.

Да, для двухфакторной аутентификации также попробуйте такую штуку как Google Authentificator. Удобно и надежно, проще, чем использование email и пр., возможно есть и опенсорсные аналоги, но здесь мне это показалось лишним.

Пока возился со всем этим, попутно выяснил, что мой немецкий сервер атакуется не то чтобы нон-стоп, но регулярно. Поэтому к другим серверам, которыми пользуюсь только я, отрубил доступ по паролю и оставил только ключи - то есть на сервер можно зайти только с того компьютера, у которое есть этот ключ (уже наловчился их генерить). Это еще и удобнее для работы в терминале - быстрее подключаешься. Тоже рекомендую

И в довесок - опенсорсное приложение для анализа утекших секретов. Не пробовал, но это один из топов GirHub на сегодняшний день

https://github.com/trufflesecurity/trufflehog

Новая SOTA в размере 32b - K2-Think. Создатели утверждают, что модель превосходит не только конкурентов в своем размере, но и более крупные модели типа gpt-oss 120b и даже DeepSeek V3.1. По идее, на маке с 32гб памяти можно пробовать..

Забавно, что делали в эмиратах, но создатели - сплошные китайцы. Кстати, основой послужила Qwen 2.5

Vikhr Borealis - первая русскоязычная открытая audio llm

Мы долго и не очень успешно развивали свой tts - Salt, от него исторически осталось довольно много данных и наработок, мы решили - чо бы не сварить asr + llm как модно?

Ну и сварили. Архитектурно - whisper + qwen, учили на 7к часов аудио только адаптер+llm, сейчас работает только в ASR режиме, позже возможно довезем инструктивный режим. Так же выйдет бенчмарк для русского asr, он пока в доработке.
Блог так же выйдет, там будут небольшие аблейшены по данным

Модель в данный момент бьет whisperы на русском и на части бенчей лучше чем gigam.

Модель
Сolab поиграться

Кстати, Claude code также выпустил обновление, но там больше всяких мелких улучшизмов. Зато некоторое время назад Claude code научился писать функции и сам их вызывать. Пока не знаю, как это будет на практике, но звучит интересно.

А для программирования с Codex на маках вышло приложение (IDE) от OpenAI, которое называется Xcode 26.

Кстати, как сказал Альтман, на Codex приходится уже 40% использования ChatGPT. В целом народ очень хвалит то, как модель программирует. Подробнее о последних новинках кодекса - по ссылке

Кстати, на днях попробовал Grok 4 от Илона нашего Маска. И знаете, хорошая модель. И раньше модель была неплохой, и сейчас очень даже на уровне Клода, ЧатГПТ и Джемини. Понравилось

Моя ML студия теперь выглядит так

Приехали еще 2 машинки - минимальные мак мини м4 с 16гб памяти. Последние два вечера настраивал их (ранее купил за 9 тыс. простейший монитор - без него никак). Теперь колдую над организацией машин в кластер. Новости есть и плохие, и хорошие. Начну с плохих.

Кластер я начинал создавать исходя из того, что базовые машины очень дешевые. Цена одной - 45 тыс., при увеличении памяти до 32 цена вырастает до 100 тыс. при всех тех же самых характеристиках. Мой эпик фейл заключается в том, что я очень сильно недооценил потребление памяти самой операционкой. В обычном режиме она жрет около 12гб (!) памяти. Убрав все, я сократил потребление примерно до 8, экстремальные варианты обрезания функционала дают около 5-6гб - это то, что использовать никак нельзя. Собственно, это причина, почему Apple поднял минималку с 8 до 16гб. Поэтому выигрыш от машины с большой памятью больше, чем может показаться.

Рассмотрел вариант установки Linux на мак - проблемы с памятью решаются (занимает 1-2 гб), но тут пропадает одна важная фишка. На маках есть библиотека MLX, которая сильно оптимизирует работу с нейронками и дает очень большой прирост и по скорости, и по использованию памяти. При использовании линукса все теряется. Сейчас идет разработка Asahi Linux под эти задачки, но как пишут нейронки, продукт еще сырой.

Ну а хорошая новость - купил кабели thunderbolt 5 (тоже недешевое удовольствие), объединил машины в кластер, они видят друг друга и скорость обмена данными по тандерболту максимальная - 37Гбит/сек, что для моих задачек очень важно, так как одна нейронка будет раскатываться на нескольких машинках.

Устанавливаю exo - пакет для распределенной работы с моделями и, пожалуй, еще поколдую с обрезанием потребителей памяти.

Новости от Qwen (теперь это моя любимая рубрика, так как у ребят очень много топ моделей небольшого размера, которые можно развернуть у себя).

Новейший Qwen 3 Next 80B раскатали на mlx для использования на маках. 4битная квантизация летает на машине с 64гб памяти. Посмотрим, найдется ли там что-то для меня - разве что с супер-квантизацией от Unslosh.

Вышел релиз Qwen3-Coder-480B-A35B-Instruct - агента типа Claude code, которые выступает на том же уровне (по бенчам) и превосходит все другие опенсорсные решения.

И сюда же добавлю новость от Unslosh - выпуск ноутбука Unsloth VLM RL (это программа, не железа) для очень эффективного обучения мультимодальных моделей, включая Qwen-2.5VL. За этими ребятами надо следить внимательно

У меня сегодня небольшой лайфхак. На работе использую старый iMac с 8гб памяти - тормозит безбожно, теперь понятно почему, просто системе надо ее больше. Отключил пожирателей памяти - из стандартных программ это спотлайт и «живые» обои. Вместо них поставил просто черный экран. И вот это вообще бомба - по-сути, режим фокусировки включен всегда. Очень понравилось, думаю, как я раньше до этого не догадался. Попробуйте

В ChatGPT платным пользователям теперь можно выбирать самостоятельно время, которое модель «думает». Отличное обновление

Replit дает бесплатно попользоваться своим новым Agent 3. В Х народ хвалит…