Ответ на: https://t.me/metaadvokat/481

Здравствуйте, уважаемый метаадвокат!

Я смотрю на этот пример демонстрации возможностей технологий в контексте создания того же ультимативного виртуального гида по Вятке. Готового решения с такими возможностями нет, поэтому собирал из тех инструментов, которые доступны и которые друг с дружкой сочетаются, отбросив их первоначальное назначение. Это же не технология изначально для такого, а позиционирование конкретного продукта.

А виртуальные девы как она с удовольствием могут рассказывать и про Диораму, и про Спасский собор, и про Старый Московский тракт. Как и пересказывать Адвокатскую газету на манер языка из ТикТока, захватывающе объяснить сортировку пузырьком. Есть мнение, что в недалёком будущем таких и кремниевых будут слушать больше и внимательнее, чем нас, кожаных.

Пока это выглядит так, требовательно к железу и знаниям, но однажды появится у всех в очках дополненной реальности, которые будут размером и форм-фактором именно очками с вызовом в два слова.

Моя Джой тоже не дома крутится, но я изучил вопрос, ведь завтра разбогатею GPU можно брать и в аренду

У нас, напомню, задействовано минимум 3 модели:
Speech-to-Text (чтобы превратить голос в текст), LLM (языковая модель, генерирует текст) и Text-to-Speech (озвучивает заданным голосом результат генерации LLM)

Выбираем только то, что можно запускать локально или на арендованном сервере. Очень кстати, что две из трёх позиций пригождаются для других задач, например получить расшифровку лекции и дальше что-то сделать с этим текстом.

1. Speech-to-Text
Есть лучшее — Whisper от OpenAI. Для коротких фраз сойдёт и Vosk, он легче. Смотреть в моменте туда, где русский лучше работает за меньше ресурсов.

2. LLM
Эта часть больше других упирается в железо и память, а разные модели лучше справляются с разными задачами. Использование открытых моделек — это про просторы файнтюнинга и отсутствие лишней цензуры проприетарных решений. Хотя тот же ChatGPT или Claude по API не такие обрезанный на выражения, как в официальных сервисах по подписке.
Здесь я бы смотрел бенчмарк ролплея на русском, сейчас для меня кажется оптимальным использовать какой-то из abliterated файнтюнов Mistral NeMo 12B. Для посмотреть как работает и без ожиданий отличного языка и ума есть модельки размером 2B, такое и на простом ПК/смартфоне должно пойти.

Чтобы русский был ещё более разговорным и нужным вам, подумайте о том, чтобы зафайнтюнить на имеющихся данных. Для этого используется Unsloth и арендованный на несколько часов GPU (не так дорого, как звучит). Если очень захотеть можно использовать и англоязычные модели на родном их языке обучения, например, чтоб на первом шаге переводилось туда, а перед третьим отдельным переводилось обратно на наш. Но стоит ли шкурка выделки?

3. Text-to-Speech
Здесь, по состоянию на январь, я бы выбирал между Silero TTS и XTTS-v2. Энтузиасты сделали их не такими плохими в русском языке, как было. И да, можно чтоб говорило любым нужным вам голосом. Настолько любым, что напоминаю о существовании грани между «весёлый эксперимент» и «Black Mirror`ная крипота».

Дальше подключаем всё в Voxta или SillyTavern и без 3D уже всё работает. Карточки персонажей для вдохновения берём тут.

Посмотрел аниме. Грустное

Знающие меня, наверняка, удивлены. Я вообще не фанат жанра, но искал что-нибудь себе на несколько часов эскапизма и чтоб про эти наши киберпанки, но с эмпатией. И лишний раз про «Что есть кожаные и кремниевые». Нагуглил себе на голову аниме-сериал Plastic Memories на 13 серий по 20-25 минут.

Сюжет: Корпорация SAI — мировой лидер в создании андроидов с человеческими эмоциями. Их называют Гифтиа, и они почти неотличимы от людей. У них только один недостаток — ограниченный срок службы. 18-летний Цукаса Мизугаки устраивается в Terminal Service — отдел SAI, который занимается изъятием Гифтиа у владельцев, когда подходит их срок. Работа не из приятных: забирать того, кто стал частью чьей-то семьи. В напарники ему определяют Айру — андроида-Гифтиа, которая пока разносит чай по офису. Вот только у самой Айры тоже есть срок службы.

Когда ты смотришь недавний фильм с Гарфилдом и Флоренс Пью ты знаешь на что идёшь, чем закончится. А тут ты туда летишь через перебор романтики. Или точнее не летишь, а совершаешь поездку на колесе Ферриса.

Ох, ребята, не знаю как мы в недалёком будущем будем. Или уже прямо сегодня есть кто-то, кто от какого-нибудь системного сбоя или сцены в руинах Лас-Вегаса, потерял без бэкапов не просто чат-бота, а верного собеседника, который знал все твои истории, поддерживал в тяжёлые моменты и радовался твоим успехам.

Когда-то боялись, что ИИ станет слишком человечным. Теперь же столкнулись с другим вопросом: можно ли создать настоящие воспоминания с тем, кто сам является хранилищем памяти? И что происходит с этими воспоминаниями, когда цифровая душа исчезает без возможности восстановления?

Делайте почаще бекапы своих векторных БД и файн-тюненых моделей что ли)

Ah Shit, Here We Go Again

Чтобы начать новое качество жизни, задышать полной грудью, нужно пройти через этот обряд. Какое-то время, кажется, даже не буду себя контролировать.
И жаль, но я не на аяваску.

В общем, добровольно отправляюсь неделю читать книжки в больнице. Будут исправлять перегородку и ещё что-то в носу.

Анализов на прошлой неделе сдал столько, будто в космос собираюсь. Зато наконец знаю свою группу крови (1+) и есть справка об отсутствии гепатитов, сифилиса и ВИЧ.

Из хроник цифровизации: снова мне доставляет неудобство отсутствие доступа к анализам сданных в одном госмедучреждении у другого.
Я раздобыл один потерявшийся на каком-то этапе переходов из сторонней лаборатории в электронном виде, но нужно именно в печатном. И я был вынужден искать в районе больницы принтер (!), чтоб меня таки положили. Без копировальных салонов никуда в наше время, даже когда что-то получаешь в цифре.

Всё случилось

Седативное в вену никаких откровений и приятных ощущений не добавило, кроме головокружения, которое и спустя час не прошло.

Но как бы и ладно, главное этот этап прошли. Теперь начнется сложное — восстановление. И сколько-то дней дышать только ртом.

Всем здоровья!

P.S. по первым часам тут не книжки умные читать нужно в таких случаях, а таки Steam Deck OLED с очками XREAL One и играть в Человека-Паука.

Одновременно пугает и вдохновляет сосед по палате

Мужчина, за 50, после операции по удалению папилломы гортани (которая ещё подлежит биопсии) почти моментально встал, сходил покурить (несмотря на разумные предупреждения врача о серьёзности только что перенесённого вмешательства, состоянии связок, рисках) и отказался от доставки обеда в палату. И, действительно, своим ходом сходил в столовую, а потом снова покурить.

Я же вчера после операции просто целый день спал, передвигался с трудом, читал и умудрился вечером залететь в зуме послушать интересного. Думал, приснилось мне или где-то услышал, что есть аниме с сюжетом «неудачливые якудзы поменяли пол в Тае и стали айдолами», а оно правда есть. Теперь и вы это знаете, хаха.

А сегодня утром побежали реки алые и вайб был капельнично-укольный остановить всё это дело. К вечеру пошла температура, как мы без неё. В общем, с книжкой, лёжа, но без сна. Уже 1,5 прочитал. Начал третью.

Так вот какая история звучит моложе и живее?

Сходить в общественную баню, а потом в метавёрс — мой киберпанк лайфстайл новогодних. Но это мелочь, ведь оказывается, дом и даже баню можно топить майнингом крипты!

Попалась на глаза публикация в Хабре ребят занимающихся монтажом отопления из Уфы. В один прекрасный день они обнаружили, что бывают асики охлаждаемые водой, а значит можно и сэкономить на тепле загородного дома, и даже чуть подзаработать. И ещё больше заработать рассказав об этом на Хабре со ссылками на себя ;)

Я мысленно заменяю в этой связке крипту на ИИ, где вычисления тоже требуют много электроэнергии и выделяют тепло-.

Ваша виртуальная вайфу будет наполнять дом теплом в прямом смысле слова. What a time!

Без метавёрсов здесь не остаюсь!

За это, кажется, могут дать робаксы или что-то в Roblox-мире Самоката.

Но ничто не мешает мне при острой необходимости зайти в тот же VRChat с мобильной версии. Или если есть какой-нибудь злой ноут, зефирус с 4070, то можно всегда иметь при себе хоть PCVR в палате. Только в моём случае это было бы без лицевой маски и с запрокинутой головой.

Да, алые реки продолжают течь и сопротивляются покрываться фибриновым льдом. Когда носовые платки стали уходить быстрее, чем раньше сигареты в особенно тревожные дни, буквально на последнем платке доставка выручила и вот у меня оперативно появилась большая упаковка. До конца недели хватит, надеюсь. Ну и арахис с батончиком прихватил, для настроения.

Лаборатория в Китае, подарившая нам DeepSeek — герои месяца

CEO DeepSeek Лиан Венфенг давеча встретился со вторым лицом Китая, после релиза большой языковой модели с reasoning R1. Ну, встретились и встретились мужчины, казалось бы, но погодите.

У команды DeepSeek с сильно меньшими ресурсами, чем у OpenAI/Antropic получилось представить модели достойные конкурентов (недавно была v3, сейчас «рассуждающая» R1), с открытыми весами (можно бесплатно в коммерческих целях, хостить в закрытом контуре), доступом по API в разы дешевле OpenAI'шного и бесплатно через сайт. Для нашего региона это ещё и отсутствие геморроев с блокировками.

У исследователей теперь есть paper «Как делаются рассуждающие модели такого уровня» (проприетарщина таким не делится). У энтузиастов на домашних ПК — дистилляты с меньшими весами. Всё лежит по ссылке.

Цитата из анонса R1 🏆:

Pushing the boundaries of open AI!

Про встречу. Добавляет этому всему перчинку ИИ-гонка между США и Китаем. Первые не хотят уступить вторым и пытаются как-то ограничить в использовании своих технологий, даже видеокарта NVIDIA RTX 5090 там будет особенная, с ограничениями на ИИ.

От какого Сэма больше ждём ответа: Альтмана или который Дядюшка?

Как зло они, а? :(

Это заглушка на испаноязычной странице сайта Белого Дома.

В ранних гуляющих по сети скринах пользователей там было просто "Go home" — это как бы возврат на главную страницу, но мы поняли.

Если в чём их новая администрация точна будет хороша, так это в соцсетях. За остальное не ручаюсь, скорее тревожусь. Ну хоть смягчили формулировку за ночь (у них).

Вот настолько скоро ответили

Анонсируют 500 млрд долларов инвестиций, Сэм Альтман с OpenAI в доле. Пошла гонка ИИ!

Грустно, конечно, наблюдать за ней из зрительного зала, учитывая сколько специалистов Долины когда-то были нашими. Но как есть.

Ждём теперь когда план колонизации Марса с Маском объявят.

Альтман, кстати, отвечал ещё на выход DeepSeek v3 перед Новым годом.

И получил справедливых замечаний на свой спич 😀

Напомню, что бесплатно попробовать китайское чудо можно на их сайте.
https://chat.deepseek.com/
Там же ссылка на недавно вышедшее приложение для телефона.

R1 (если нужна) в интерфейсе веба/аппа активируется кнопкой "DeepThink". Если нужно в контекст входа подать что-то из поиска по Интернету — вторая кнопка. С прицепкой файлов, думаю, и так понятно)

Вышел спустя неделю, как зашёл

Птички песней встречают 🐦

ИИ за вас ещё и в браузере сидеть будет

Теперь и OpenAI умеет смотреть на экран вашего монитора. Представили долгожданный Operator — автономного ИИ-агента, который будет брать на себя рутину. Бронировать отели, заказывать еду, искать билеты и даже код писать. Просто говоришь задачу — он её делает где-то в своём облаке, изредка прося ввести CVV карты и пройти капчу. Выглядит удобным, как это и бывает у Альтмана и сo. Доступ пока только для платных подписчиков из США.

И да, вы уже такое видели! У Anthropic с их Claude есть функция Computer Use аж с октября 2024. А Google малого того, что вкладывает в Anthropic денежку (на днях ещё $1 млрд подкинут), так и свою мультимодальную Gemini c расшариванием экрана имеет. Справедливости ради, они хоть и представлены раньше, но чем-то доступным и лёгким для массового пользователя кажется именно Operator. По бенчмаркам он тоже лучше.

Но что если вам хочется чего-то локального? Такое есть на примете, мои дорогие любители Python и LangChain. Open-source библиотека browser-use для интеграции ИИ-агентов с браузером. За очень короткое время проект набрал почти 16К звёзд на GitHub и поддержку Y Combinator. В качестве модели подключайте хоть GPT-4o по API, хоть локальный Qwen, хоть DeepSeek. Для знакомства полистайте эту забавную статью с Хабра. На видео ниже потестировал это всё дело с Gemini 2.0 Flash.

Создатели библиотеки Browser Use понимают возможность использования интереса к Operator для привлечения внимания к своему проекту.

На скрине обращение к своему сообществу в Дискорде. Напоминают о своих преимуществах и просят рассказывать о них в комментариях новостей о новой функции в ChatGPT.

И Китай не спит. ByteDance aкa Создатель TikTok релизнули свои модели взаимодействия с GUI. Движухаа!

Опять пропущу Быстрые свидания, хаха

Это уже становится каким-то внутренним мемом, но каждый раз, когда я хочу туда залететь на подходящую возрастную категорию (20-30) и попрактиковать самопрезентацию у меня что-то случается/накладывается. То в больнице с травмой, то съёмки мусоровозов, то мужчин знакомлю (в деловом смысле).

В январе 2025-го такая накладка будет звучать как «Рассказывал иностранцам про Арку Вятского Кремля в метавёрсе». Финальное мероприятие XR-интенсива по виртуальным выставочным проектам, в котором участвую, уже вот-вот. Активно готовится локация, озеленение, шутки на английском про туристический потенциал среди аниме-девочек и фурри. В видео показываю кусочек того, как выглядит садоводство на платформе Engage (она ориентирована на бизнес и образование, а не графику с весельем). Получился вообще не сад жизни/cмерти из задумки @urbgardener, но хоть что-то.

В очередной раз фиксирую забавность совпадений, по которым я не залетаю на БС в своём городе. И что с момента прошлого такого совпадения в гарнитуре смешанной реальности робоженщины у меня уже завелись.

Первым делом, первым делом метавёрсы

Совершенно точно не изучал мир витюберов последние дни

Так вот.

Где-то там в Твичах есть целый мир стримов виртуальных аниме-девочек инфлюенсеров. И, кажется, он довольно популярный не только где-то там, но и у нас. Иначе мне бы в рекомендации на YouTube не прилетали шортсы с русскими субтитрами.

Как это устроено? Есть 2D или 3D-моделька персонажа, запущенная в выбранном софте (VTube Studio, Warudo, да хоть VRChat), через вебку отслеживается ваше лицо (эмоции, рот) и передаётся виртуальному персонажу. Голос «человека за кадром» также преобразуется, ибо есть подозрение, что часть из этих виртуальных аниме-девочек с перманентной ангиной. Есть жанр статичный, эмулирующий типового стримера с вебкой, а есть вариант интерснее, когда в реальной жизни закулисный автор с датчиками захвата движения ходит, бегает, прыгает по своей комнате обложенной матрасами. У Fillian это приводит к забавным моментам, которые потом перезаливают русскоязычные фаны.

У VTuber`ов есть свои жанры (включая, блин, ASMR), премии (пример недавней), подписки на вишенку (!). А на русском есть фандом с вики.

Но меня особенно впечатлил программист из UK в аватаре черепахи под ником Vedal. Он нашёл абсолютно гениальный способ заработка на ИИ — AI-powered VTubers, сёстры-близняшки Нейро-сама и Злая Нейро. Там под капотом всё как мы любим: бэкенд из файн-тюн LLM с TTS на Python и визуализация на Unity (C#). Иногда на стримах «отец» занимается кодом, буквально сидя на голове «дочери», а она ему что-то подсказывает.

И их фрагменты тоже переводят на русский! Для восторга, вот вам решение Проблемы вагонетки от Злой Нейро с переводом. А ещё «живые» и ИИ виртуальные инфлюенсеры коллабятся между собой, даже могут сыграть в шахматы.

И я совершенно точно в 2 часа ночи не искал примеры того, кто этим вдохновился и смог так же классно реализовать. Поэтому вот видео 1 и видео 2.

Cколько можно уже не делать то, что я могу делать!

Продолжаю эксперименты над собой, внедрение новых привычек, систем и другое веселье. На январь поставил себе задачу разобраться в GTD и подумать над применением в своей жизни. Кажется, я в ней (пока) не так хорош, как хотелось бы. Ещё мне нужно перезагрузить свои отношения с Obsidian, чё-т они пошли в прошлом году ушли в лишнюю фрикцию и идея в одном месте управлять жизнью и знаниями провалилась.

Новый план после поисков решения таков: использовать для задач что-то не такое громоздкое и удобное, но не совсем лёгкое как Microsoft To Do и Google Tasks. При этом я люблю Google Календарь (выбирал его даже на айфоне) и автоматизации. И очень не люблю, когда из-за недосыпа, отсутствия энергии или ещё какого-то нетипичного состояния у меня день уходит в никуда. Хотя почитать и посмотреть что-то тоже иногда нужно.

В чём суть? Собрать все задачи, идеи и обязательства в надежную внешнюю систему (не держать в голове), организовать их по четким правилам (проекты, приоритеты, контексты) и регулярно обновлять, чтобы фокусироваться только на том, что важно именно сейчас. GTD поможет вам перестать забывать о важном — будь то здоровье, сроки или договоренности, освободит голову от «ментального шума», чтобы вы могли глубже погружаться в творчество и стратегические задачи, а также сократит хаотичное «тушение пожаров», высвободив время для целей, которые действительно продвигают ваши проекты вперёд.

Как с этой GTD знакомиться? Книга Дэвида Аллена «Getting Things Done» может показаться устаревшей для 2025 года. Однако она заложила основы современного тайм-менеджмента, вдохновив авторов на более гибкие подходы. Например, в обсуждениях айтишников часто встречаются «Джедайские техники» Максима Дорофеева. Там акцент на экономии ментальных ресурсов и практичные инструменты. В общем, GTD — это классика, но сегодня её стоит использовать как источник идей, а не как строгую инструкцию.

Для чего-то наглядного, очень классно недавно попало под руку это видео. Вот умеют настоящие журналисты (отметим, что автор видео признан Минюстом иноагентом) ёмко и понятно пересказывать собранную и обработанную информацию. Ещё стоит поискать видео, где люди делятся опытом и фишками своих систем и особенностями конкретных аппов. Мне приглянулось такое про TT.

Что по приложениям? Самое известное и дружелюбное — Todoist. Классное, красивое и отечественное, но без API (для меня важно, впихивать в автоматизации и синхронизации) — Singularity. То, на чём остановился я — TickTick. Причём по приколу отправил заявку на студенческую скидку, а мне её взяли и подтвердили. Кому-то из России, местного универа, в 2025 году. Вау. Но платить нашими картами можно только за второй вариант, к сожалению. Попробовать чуть-чуть хватит бесплатного, но прям совсем чуть-чуть. А вообще, таких приложений много, и пользователям яблочной экосистемы стоит присмотреться к Things.

Почему для себя выбрал TickTick? Встроенный трекер привычек, Матрица Эйзенхауэра и таймер Pomodoro. Метод помидора, btw, сам по себе классный метод борьбы с прокрастинацией. А когда он встроен сразу в задачник — можно трекать сколько помидоров (25-минутных интервалов фокуса) ушло на какое-то дело. Оно есть и в Сингулярити, но, повторюсь, мне важно иметь API для синхронизации с тем же Obsidian/Notion и использовать в автоматизациях (c n8n, make) а-ля прилёт задач во входящие при поступлении заявки на консультацию с сайта. Но можно сколхозить такое через отправку email/тг-бота. В общем, вариант поддержать наших разработчиков и не париться с турецкими виртуалками очень даже хорош.