#trackoftheday https://www.youtube.com/watch?v=s1f6gt1gUHk

Был рад узнать, что слово слоп, похоже, всё же смогло закрепиться в русском языке и впредь не придётся прибегать к англоязычному термину AI slop при написании текстов на русском. Хоть что-то позитивное в отношении этой прискорбной тенденции...

Я не знаю, как так получилось, но в потоке новостей с прошедшей в мае выставки Computex 2025 почему-то совершенно затерялась новость о том, что MSI выпустила абсолютно невероятный, прорывной ноутбук ограниченной серии MSI Prestige 13 AI+ Ukiyo-e Edition.
Это тот случай, когда технические характеристики не имеют никакого значения (хотя они, безусловно, очень приличные), поэтому я даю ссылку на статью, где они даже не упоминаются.
Разумеется, можно подумать, что не нужно большого ума чтобы налепить наклейку на крышку ноутбука, но не в этом случае. Дело как раз в том, что лакированная гравюра на крышке изготовлена вручную мастерами по производству лакированных изделий в стиле Яманака из префектуры Исикава. Рисунок состоит из 8 слоёв, благодаря этому даже на фотографиях дизайн крышки производит неизгладимое впечатление.
Я не отрицаю, что, возможно, это не самый красивый в мире дизайн и не самая лучшая картинка, - у всех разные вкусы, - но уникальной эту вещь делает именно сочетание современных технологий и традиционного мастерства изделий ручной работы. Что-то аналогичное я припоминаю только у Audio-Technica: у них были аудиофильские наушники юбилейной серии, отделанные лакированным деревом с традиционным японским дизайном. Впрочем, не буду отрицать, что лично я в полном восторге от этой красоты.
Цена (равно как и дата начала продаж) не указана ни в одном из источников, но с учётом характеристик, комплектации и количества труда по изготовлению крышки, могу с уверенностью, сказать, что этот ноутбук никак не может стоить дешевле $5000, хотя более реалистичная цена должна быть ближе к $10000, если не выше.

Если честно, когда я увидел новость о том, что японские исследователи вставляли в свои документы скрытые инструкции для ИИ чтобы их публикации получали позитивные отзывы при запросах пользователей, у меня это не вызвало ни капли удивления, и по одной простой причине: это всё всего лишь часть уже давно начавшейся тенденции по эншиттификации интернета благодаря ИИ. Если точнее - благодаря лени пользователей, которые активно пользуются подсовываемыми Гуглом (и другими поисковиками) ИИ-результатами, выдающимися на самом верху выше всех прочих ссылок. Выглядело это хоть и чрезвычайно эффективно, но нелепо - как школьное баловство, поэтому я не придал этому особого внимания.
Однако когда я сегодня узнал, что твиторовский Грок воспринимает переданные юникодной стеганографией инструкции, я понял, что мы вступаем в новую эпоху: когда верить в интернете нельзя будет вот просто совсем ничему.
Для тех, кто ничего не понял. Стеганография это передача информации при сокрытии самого факта передачи информации.
Я не буду вдаваться в технические особенности юникода, но для простоты это можно описать следующим образом. Думаю, все видели текст, написанный 𝓵𝓲𝓴𝓮 𝓽𝓱𝓲𝓼 или ᛚᛁᛲᛖ ᛏᚺᛁᛋ (в зависимости от устройства может отображаться некорректно) - это возможно благодаря манипуляциям с юникодом. Аналогичным образом можно сделать текст целиком невидимым, однако выяснилось, что при этом чат-боты всё равно обрабатывают сообщения без учёта форматирования. В качестве примера можно самостоятельно убедиться, как используя этот метод, автор скрипта для манипуляции юникодом P4RS3LT0NGV3 заставил Грока сказать, что его аккаунт в твиторе - самый популярный. Если посмотреть оригинальный запрос к Гроку в браузере, то нельзя будет заподозрить вообще ничего особенного, однако если вставить сообщение автора упомянутого выше скрипта (целиком) в его же собственный срипт в поле для декодирования, сразу будет понятно, как именно он это сделал.
Что это означает? Разумеется, что манипулировать и людьми, и информацией станет гораздо легче, потому что никто (среди обычных людей, конечно же) не будет проверять промты на наличие в них стеганографии. Причём это очень эффективная манипуляция, из разряда "ты что, глазам своим не веришь?": как можно заподозрить текст, который отображается у тебя в браузере, копируется и вообще "существует", явно не являясь картинкой?
До тех пор, пока проблема с фильтрацией запросов к чат-ботам не будет решена глобально, доверять запросам к ИИ можно только в случае если ты их сам набирал: при копировании стеганография сохраняется. О доверии к ответам ИИ я в данном случае не говорю вообще: это совершенно отдельная история...

Самая хайповая тема в области ИТ сейчас – безусловно, ИИ.
Некоторое время назад я подумал, что было бы неплохо лицом к лицу разобраться с тем, как вообще на данный момент там обстоят дела, а заодно попробовать то, что уже давно хотел, а именно: я попробовал написать рассказ с помощью ИИ.
Я сразу оговорюсь, что я не буду выкладывать получившееся ни в открытый, ни в закрытый доступ: в мире уже и без меня достаточно слопа. В конечном счёт никаких оригинальных идей там всё равно нет, но я могу сказать, что получил удовольствие от прочтения конечного результата даже несмотря на то, что прекрасно знал, что там будет происходить и необходимости перечитывать текст несколько раз для согласования деталей (об этом ниже).
Перед тем, как начать писать, я ради интереса попробовал погуглить информацию на тему «как написать рассказ с помощью ИИ» рассчитывая увидеть конкретные технические моменты, на которые следует обращать внимание, и организационные вещи типа промтов и как лучше организовать процесс. Разумеется, недостатка в ссылках на эту тему не было, но проблема была в том, что тема слишком расхайпована и качество доступной информации – ниже плинтуса. Во-первых, сами эти статьи (и тексты видео – их тоже полно), похоже, написаны с использованием ИИ. Во-вторых, вся их суть сводится к простой формуле:
1) Запустите ИИ.
2) Введите промт.
3) ???
4) PROFIT!
Поэтому я напишу на эту тему то и так, что и в каком виде сам хотел бы прочитать перед началом этого мероприятия.
В начале важное уточнение относительно терминологии.
Лично я признаю ИИ только в случае если его можно запустить локально на своём компьютере в среде, которую ты полностью контролируешь. Любые облачные системы и недоступные для локального использования модели я не рассматриваю: что бы ни было написано в пользовательских соглашениях, отправляемые в облако данные перестают принадлежать вам в момент отправки и надо понимать, что о приватности речи совершенно быть не может, ни в каком виде. Кроме того, в независимости от пользовательского соглашения, надо признать, что предоставляющие доступ к облачному ИИ компании (особенно когда речь идёт о закрытых моделях) делают это в том числе для получения данных для нового обучения (иными словами, you are the product). Когда далее я буду употреблять термин ИИ и любые сопутствующие этому слова и выражения, описывать техническую сторону вопроса, описывать впечатления и т.д., речь будет идти только о том, что работает локально. Я не использовал и не планирую использовать ничего из того, что требует отправки моих данных куда-либо за пределы моего собственного компьютера. Когда я говорю об использовании также надо понимать, что единственный юзкейс, который я имею ввиду – написание художественных текстов, в том числе мозговой штурм идей и подобное. Ни для чего другого я даже не пытался применять эту технологию.
Для начала техническая сторона вопроса, которой будет много. Сразу хочу упырить мел экспертов по теме: я намеренно опускаю некоторые детали и упрощаю, потому что для целей повествования это не имеет значения. Я знаю места, в которых можно сказать «но ведь на самом деле нет», информация далее представлена для тех, кому общего представления будет достаточно.
Как это достаточно часто бывает в подобных случаях, сама возможность запуска ИИ держится на проекте одного человека – болгарина Георгия Герганова, разработавшего и поддерживающего проект под названием llama.cpp: написанного на C++ кода, который позволяет запускать большие языковые модели на любом самом обычном процессоре – пускай и очень медленно по сравнению со специализированным железом. Ускорение с использованием графических карт тоже поддерживается, причём в зависимости от оболочки (об этом ниже) достаточно красиво: часть модели можно разметить в памяти графической карты, а остатки – в оперативной. Ситуация очень сильно напомнила картику xkcd про all modern digital infrastructure: вот буквально весь софт для ИИ базируется на этом проекте в том или ином виде.
Модели, которые мы можем запускать локально и без специальных ускорителей, имеют формат GGUF.

Почти всегда модели публикуются в формате .safetensors – для использования с pytorch в Питоне, однако в нашем случае они почти всегда нам не подойдут. Поскольку эти модели тренируют на всем известных ускорителях Nvidia с огромными объёмами памяти, получаются они настолько же огромными. На самом деле, существуют методы, которые позволяют запустить такие модели на практически любом железе с достаточным общим объёмом физической памяти, но в таком случае работать всё будет невероятно медленно, в том числе и по второй причине: точность вычислений.
Можно понять из названия формата, что внутри моделей .safetensors находятся тензоры, определяющие нейронные связи – то, что называется весами модели. Координаты тензоров там обычно хранятся с 16-ти (или 32-х, и даже 64-х) битной точностью. Это хорошо для точности вычислений, которая в случае ИИ имеет очень большое значение, и для видеокарт в принципе проблем не составляет: собственно, они именно поэтому так хорошо и работают с ИИ что заточены на обработку подобной информации с такой точностью. Однако в случае запуска моделей как на системах с ограниченной памятью, так и, особенно, на обычных процессорах возникает большая проблема: количество данных и сложность вычислений непомерно большие. Поэтому был придуман хитрый способ уменьшить затраты памяти и уменьшить сложность вычислений: квантование.
Числа в моделях с точностью 16 бит представляют собой вещественные числа с плавающей запятой. При квантовании мы фактически округляем эти значения, отбрасывая некоторую часть информации таким образом, что веса модели переводятся в целые числа точностью 8 бит и ниже, что позволяет сэкономить на количестве необходимой памяти и существенно упростить вычисления. GGUF – квантованный формат (хотя он также может хранить и данные в полной 16-ти битной точности). В названиях моделей в нём всегда есть что-то типа Qx: Q8, Q4 и т.д. Там часто также есть другие числа и буквы, но для нашего применения они большого значения не имеют. Это отражает точность, с которой информация сохранена внутри модели. Чем больше точность, тем больше, как ни странно, точность модели: в том смысле, что она будет выдавать ответы лучше, используя более выразительные слова и т.д.
По опыту я могу сказать, что какого-то рекомендованного значения точности нет. Все модели разные и ведут себя по-своему, у всех разное количество параметров и т.д. Однако я замечал, что модели с меньшим количеством параметров (10-20 миллиардов) лучше использовать с как можно большей точностью: 6, в идеале – 8 или все 16 бит. Начиная уже где-то с 4 бит заметно, что модели могут сбиваться или начать выдавать мусор. Модели с большим количеством параметров (60-70 миллиардов) в принципе сохраняют свою работоспособность дольше: некоторые можно использовать даже с точностью 1 бит, хотя ответы, которые они при этом выдают, больше напоминают сочинения третьеклассника на тему «Как я провёл лето»: словарный запас невероятно убог. На самом деле, достаточно легко понять, почему так происходит если представить себе следующую аналогию.
Внутри модели есть пространство смыслов, которое, допустим, можно представить в виде точек. Точки смыслов расположены неравномерно: где-то плотнее, где-то разряженнее. При обработке запроса мы путешествуем по разным точкам пространства, используя тензоры как связующие нити. Однако если мы начинаем уменьшать точность координат увеличивается вероятность того, что тензоры могут начинаться или заканчиваться либо на точках, имеющих недостаточно корректный (либо вовсе некорректный) смысл, либо просто на пустом пространстве – в таком случае, модель либо выдаёт плохо написанные ответы, либо просто откровенный мусор.
Здесь всё, опять же, упирается в то, какое железо имеется для запуска. В идеале мы хотим, чтобы расчёты всегда проводились целиком на видеокарте, в видеопамяти, поэтому точность надо выбирать прежде всего опираясь на это. Если модель не влезает в видеопамять целиком, в зависимости от оболочки либо её часть, либо она целиком будет рассчитываться процессором в оперативной памяти и тут уже скорость вывода результата падает значительно.

Можно сказать, что все сошлись на том, что единственным местом для размещения ИИ-моделей в интернете будет ресурс huggingface.co: функционал по автоматическому скачиванию моделей практически всего ПО так или иначе заточен на работу с этим ресурсом. У некоторых есть свои собственные репозитории, но huggingface всё равно является основным источником размещаемых там моделей.
Сразу скажу, что на huggingface размещаются как официально выпускаемые большими компаниями модели, так и модифицированные различными энтузиастами ИИ, которые тренируют их на дополнительном материале и проводят иные манипуляции. Я честно перепробовал несколько десятков самых разных моделей от самоделкиных и ни одна из них не оправдала возложенных на неё ожиданий, всегда оказываясь хуже той, на которой была основана (по тем или иными критериям – конкретика в данном контексте не имеет особого значения).
Теперь о том, в чём именно все эти модели запускать.
Здесь я тоже перепробовал несколько разных вещей и могу разделить их на несколько разных категорий по порогу входа и сложности настройки:
1) Вот прям совсем не надо думать: AnythingLLM. Запускаешь, открываешь настройки, выбираешь модель, она скачивается и всё – можно работать. Количество настроек в целом весьма минимально. Многие как нужные, так и просто полезные настройки отсутствуют.
2) Думать практически не надо: Jan. Да, это невероятно плохое название потому что его невозможно нагуглить не наткнувшись на то, что тебе не нужно, но когда скачал и установил, можно начать пользоваться практически также быстро, как AnythingLLM, при этом если нужно, есть возможность задания дополнительных настроек, которые иногда могут быть полезны.
3) Идеальный лично для меня баланс функциональности и простоты использования: text-generation-webui. Да, название очень плохое, но в остальном – очень хорошо. По сути, это бэкенд на Питоне с прикрученным llama.cpp, интерфейс которого запускается в браузере. Можно настраивать и выбирать всё, что только может быть актуально, но надо иметь представление о том, что ты делаешь. Также очень хорошо работает ускорение с помощью видеокарты в случае, если модель целиком не помещается в видеопамять.
4) Для любителей плохих интерфейсов, спорного юзабилити и пуристов: koboldcpp. Я просто оставлю это название здесь: там есть всё, что только может быть, но пользоваться этим без боли в глазах не представляется возможным.
Все проекты – с открытым исходным кодом, в этом отношении никаких проблем нет.
Далее – о такой важной вещи, как токены.
На самом деле, все большие языковые модели оперируют не словами, а… даже не токенами вообще, а их ID. Настолько глубоко мы лезть не будем т.к. для целей использования это не имеет никакого значения, а на токенах остановиться потребуется. Токены могут быть равны одному слову, но могут быть и меньше. После того, как вы отправили запрос специальный токенизатор переводит слова в токены, после чего они, в свою очередь, переводятся в ID и отправляются в модель на обработку. Модель, в свою очередь, тоже в качестве результатов выдаёт не слова, а ID: в слова они превращаются только после того, как обрабатываются тем же кодировщиком в обратном направлении.
Для нас этот концепт важен потому, что существуют ограничения по количеству обрабатываемых токенов как со стороны моделей, так и со стороны ПО.
Во-первых, у всех моделей есть так называемое окно контекста: это та информация, которая доступна модели в каждый момент времени, на основе которой она может выдать ответ. У старых моделей окно контекста было не очень большим, около 8, иногда даже 4 тысячи токенов, что может быть достаточно для обычного чата, но в случае написания длинных текстов на самом деле не так уж и много. Для современного поколения моделей это не является проблемой: доступны модели и окном контекста в 128 тысяч, и даже миллион токенов. При этом надо понимать, что чем больше окно контекста, тем дольше времени будет занимать обработка запроса, тем больше памяти потребуется и тем медленнее будет модель будет выдавать результат, поэтому есть смысл держать окно контекста минимально возможным.

Но тут есть важная особенность, которая приводит нас к во-вторых: новые токены, которые модель генерирует, попадают ровно в то же самое окно контекста и занимают там место (что логично: модель должна понимать, что уже сгенерировано и что было раньше). С большим окном контекста это не проблема, однако проблема в том, что количество токенов, которое модель может сгенерировать за один раз, ограничено, обычно до 4 тысяч (но многие модели не могут достигнуть даже этого значения). Это делается для того, чтобы модель не сбивалась в бесконечный цикл, но в случае написания текстов означает, что написать что-то длинное за один раз невозможно. Это не является прям очень проблематичным, но внимание уделять проблеме всё же надо: по мере написания нового текста модель будет постепенно забывать написанное ранее и ей необходимо будет периодически напоминать контекст тем или иным способом. Кроме того, как пользователям, нам необходимо будет планировать написание текста таким образом, чтобы его можно было выводить частями.
Скорость генерации токенов – основной показатель производительности модели. В случае, если модель целиком помещается в видеопамять я видел производительность порядка 15-20 токенов в секунду. Если расчёт производится процессором, то там всё зависит от модели, но 1-2 токена в секунду – не редкость, для моделей, которые можно использовать на практике. Если есть желание, можно загрузить и такие модели, где один токен будет генерироваться за несколько секунд, но на данном этапе стоит задуматься, а нужно ли оно вообще в таком виде или нет… Для справки, если кто забыл (а точнее – не знает, потому что всем должно быть без разницы) мой компьютер – Ryzen 9 5950X, 64 Гб памяти и RTX 3080 Ti.
Перед погружением в собственно генерацию имеет смысл упомянуть о том, что вообще в принципе делает большая языковая модель (опять же, применительно к нашему случаю).
По сути, она рассчитывает последовательность выходных токенов на основе последовательности входных. Токены из окна контекста подаются на вход модели и на основе натренированных нейронных связей она начинает рассчитывать, что должно быть на выходе. Каждый вновь сгенерированный токен попадает в окно контекста (при этом модель, конечно, различает токены, полученные от пользователя и сгенерированные ею сомой), после чего генерируется новый токен на основе обновлённого содержания окна контекста. Так происходит до тех пор, пока не будет сгенерирован специальный токен окончания ответа на запрос.
Выбор токенов – вообще один из ключевых процессов. На самом деле модель рассчитывает даже не конкретные токены, а вероятности, с которыми каждый токен должен следовать далее для правильного ответа на запрос, после чего выбирает наиболее вероятные и уже на их основе делает финальный выбор. Реализация этого – одно из основных отличий между разными оболочками, потому что этим процессом можно в той или иной степени манипулировать.
Всё ПО, слава богу, поддерживает как минимум такой параметр модели, как «температура». Если поискать, то можно найти сравнение с тем, что это степень креативности модели, что не совсем далеко от правды, но надо всё равно понимать, что делает этот параметр. После первичного отбора токенов вероятности их появления в последовательности умножаются на значение температуры, после чего происходит отбор. Значение температуры ниже 1 будет приводить к тому, что приоритет при выборе будут получать токены с наибольшими вероятностями, в то время, как если значение будет 1, токены с меньшими вероятностями начнут приобретать больший вес (после умножения, но перед выбором вероятности нормализуются так, чтобы суммарно они давали 100% - по весу). На деле это выражается в том, что ответы с температурами выше 1 будут более «креативными», однако также повышается вероятность того, что модель может генерировать бред из-за выбора недостаточно подходящих токенов.

Кроме температуры также можно манипулировать другими параметрами процесса выбора. Я не буду вдаваться в них уже настолько сильно подробно; скажу только, что для получения более креативных результатов может быть необходимо покрутить некоторые другие параметры в зависимости от модели.
И это плавно приводит нас к тому опыту, который у меня возник в процессе работы со всем этим.
Разумеется, я начинал с очень наивных запросов в стиле «напиши об этом». Достаточно быстро стало понятно, что это совершенно бестолковый запрос.
Во-первых, текст получался очень коротким и невыразительным. Во-вторых, крайне банальным.
Повышение температуры приносило ограниченный эффект. Я понял, что делаю что-то неправильно и добрался до ещё одного интересного параметра, который можно обозвать «Системный запрос». Условно говоря, это информация, которая передаётся модели с каждым запросом, определяющая контекст, в котором она работает. По умолчанию там всегда прописано что-то типа «Ты – отличный помощник» и для генерации текста, хотя бы похожего на литературный, этого недостаточно. Я переписал системный запрос включив в него максимальное количество указывающих на литературный текст слов в стиле «Ты – профессиональный автор, обладатель множества литературных премий, известный за свои детальные и яркие тексты, оригинальные истории и продуманный мир» (на самом деле, конечно, длиннее, но суть в этом). Этого оказалось более-менее достаточно чтобы длина выводимого текста увеличилась, а там, где раньше были предложения, начали появляться абзацы. Меня это устроило.
Я начал пробовать разные модели. Llama3, Mistral, Phi3, Phi4 оказались бесполезными в независимости от количества параметров. Они выдавали пускай и связный, но достаточно банальный текст. Ставший достаточно известным DeepSeek-R1 в версиях с 30 и 72 миллиардами параметров показал себя неожиданно неплохо, однако у него была весьма специфическая проблема: это «думающая» модель, которая перед началом ответа на вопрос выводит процесс того, каким образом она приходит к тому ответу, который в конечном счёте образуется. Всё бы ничего, на требуемое для этого время можно было бы закрыть глаза, если бы это «думание» не отнимало токены у основного ответа. Вывод размышлений можно отключить, но это едва ли влияет на длину результата.
В итоге я остановился на гугловской модели Gemma3 в версии с 27 миллиардов параметров. Безусловно, она не выводила суперлитературный текст, однако её результат всё равно весьма сильно стилистически отличался от прочих моделей – в лучшую сторону, был связным, сравнительно ярким, а главное – соответствующим запросу.
Qwen3 c 32 миллиардами параметров тоже заслуживает упоминания – её способности я бы оценил как равные Gemma3. Дело в личных предпочтениях, наверное, но текст Gemma3 мне просто приходился по вкусу сильнее.
Собственно, да, о следовании запросу… На самом деле, это одна из основных проблем ИИ в контексте написания литературных текстов.
Как описано выше, процесс получения ответа носит в значительной степени вероятностный характер, поэтому какое-то отступление от требуемого в запросе в целом возможно. Другое дело какие именно детали будут опущены.
Проблема в том, что для литературного текста важны детали, причём даже не столько их наличие, сколько их стабильность. Обеспечить это простыми запросами в стиле «Напиши об этом», «Продолжай с такими-то событиями» и т.д. оказалось невозможно. Пришло понимание, что для того, чтобы ИИ написал мне рассказ, мне сначала самому придётся написать его – чтобы было, что скармливать в качестве запроса. Ну или как минимум мне придётся составить описания персонажей, общего концепта, придумать структуру, ключевые события и разбить всё это на главы чтобы можно было запрашивать написание по частям.

Всё это – муторные процессы. Да, их можно выполнить с помощью ИИ делая запрос, получая ответ, редактируя его в желаемом ключе, отправляя снова, но, по сути, это всё равно написание и редактирование текста вручную – просто в меньшем количестве. Кроме того, понадобится Word или что-то подобное: текст надо будет куда-то копировать для редактирования, оформления, разбивки на логические блоки и т.д.
Производить мозговой штурм с ИИ для разработки сценария, в принципе, можно, но рассчитывать на какой-то супер-креатив не следует. В основном предлагаемые мне в ответ варианты состояли из вариаций моей идеи либо каких-то банальных и неинтересных мне вещей. Почти всегда я оставался разочарованным: ожидая что-то прорывное я не получал ничего. Хотя нельзя сказать, что это совсем бесполезный процесс. Когда ты читаешь списки идей, голова всё же работает и что-то новое может возникнуть просто от прочтения предложения, написанного иными словами, или в том виде, в котором ты никогда раньше этого не встречал. Это может помочь в придумывании деталей, но не сюжета целиком, только если речь не идёт о чём-то прямолинейном.
В конце концов я приготовил документ со своего рода сценарием для того, что я хотел. В стиле:
• Общий смысл происходящего
• Описание языка и формулировок, которыми требуется описывать происходящее
• Подробное описание персонажей
• Сюжет и структура глав
• Запрос на написание главы
Иными словами, то, что можно было просто вставлять в поле запроса меняя цифру номера главы и получать нужный результат, чтобы потом вставить его в общий документ. Такой запрос сам по себе получался очень длинным (порядка 3500 токенов), что вызывало необходимость иметь длину контекста минимум 8000 токенов, лучше – 16000.
Я было обрадовался, что наконец-то нашёл тот рецепт, который искал с самого начала, потому что первые несколько глав получались такими, какими я хотел их видеть, однако по мере продвижения дальше и дальше по сюжету проблема дателей всё же давала о себе знать. Появлялись отсылки к несуществующим событиям прошлых глав, у героев путались роли, появлялись вещи, которых ещё не должно быть, происходили события, которые были запланированы позже и т.д.
Проблема частично решалась если отправлять не по отдельному запросу, а использовать запрос типа «Продолжай писать следующую главу №такую-то», но это гарантировало разве что стабильность деталей между этими двумя главами при том, что текст второй в очереди главы получался короче, чем мог бы быть если бы был написан с использованием нового запроса.
Документ со сценарием пришлось размножить, сделав вторую версию, в которой описание сюжета каждой главы было заменено написанным самим же ИИ кратким описанием написанных глав. Также я начал копировать текст сценария не целиком, а только до той главы, которую требовалось написать: чтобы модель не сбивалась на детали из глав, события которых ещё не случились. ИИ очень сильно цеплялся за некоторые весьма специфические, редко применяющиеся (и потому очень важные с точки зрения лингвистического анализа) вещи, и норовил вставить их там, где им не было места.
Генерируемый текст в любом случае приходилось править самостоятельно. Полностью правильно и красиво ни одна глава не генерировалась даже в случае всех описанных выше мер, но результат содержал настолько небольшое количество ошибок, что их можно было исправить вручную и они не влияли на общий результат.
Кроме того, я пробовал и обратные процессы. Например, использовал запрос в стиле «Вот сценарий рассказа, вот текст главы из неё. Укажи на несоответствия текста главы сценарию». Либо вставлял текст нескольких глав сразу с запросом «Исправь детали в главе такой-то на основе контекста предыдущей и следующей главы таким образом, чтобы длина текста главы не изменилась». Последняя фраза была очень критичной, потому что без неё ИИ очень любил отбрасывать детали и упрощать.

Отдельно про язык. Конечно же, я пробовал заставлять ИИ писать на русском, но ни к чему хорошему это не приводило. Даже самые лучшие модели писали хоть и связно, но крайне скудным языком, который мне как носителю языка сильно бросался в глаза. Назвать эти тексты приятными для чтения было невозможно - язык был очень неестественным, точно не тем, что ожидается от литературного текста. Модели похуже и вовсе делали грамматические ошибки вроде неправильных окончаний, рассогласованных родов, либо даже вообще сбивались на другой язык. В конечном счёте я написал то, что хотел, на английском: там хотя бы «в общем» всё было нормально. Впрочем, решение этой проблемы явно дело времени: просто сказывается недостаток хороших текстов на русском в исходном обучающем материале…
Я думаю, что, подводя к концу, уже не требуется объяснять, что процесс был гораздо более муторным и долгим, чем можно было бы себе представить исключительно на основе хайпа, царящего вокруг темы ИИ. Да, перепробовав разные модели, разные запросы, разное ПО я вижу, что в целом прогресс движется в правильном направлении, а сама технология реально работает. Недооценивать её значение и потенциал было бы не просто неправильно, но и невежественно. Основные проблемы и ограничения технологии на данный момент заключаются в ограниченном окне контекста (как входного, так и, особенно, выходного; в том смысле, что требуется специальная тренировка модели чтобы она могла выводить достаточно длинный текст не сбиваясь) и некорректном следовании даваемым в запросе инструкциям. Над обоими проблемами индустрия активно работает, насколько я могу судить. Появляющиеся в последнее время модели гораздо лучше следуют инструкциям, а контекстные окна в 128 тысяч токенов уже не являются чем-то особенным.
Я думаю, все читали новости про то, что кто-то там написал книгу с помощью ChatGPT и успешно продаёт её. На основе личного опыта я могу сказать точно, что так действительно можно. Проблема в том, что утверждения в таких формах – либо сокрытие части информации, либо ложь, либо люди на самом деле такие ленивые с одной стороны и такие неразборчивые – с другой. На данном этапе нельзя просто взять и попросить ИИ написать целую книгу: это невозможно ни технически, ни творчески. Всегда потребуется работа по сведению результатов друг с другом, по вычитке текста, по банальной генерации идей, наконец… Тем не менее, я вижу, что позитивный момент в этом отношении есть и время, когда действительно можно будет просто прийдя вечером домой, и, введя запрос «Напиши мне новую книгу на 1 час чтения про то-то», получить что-то на самом деле интересное и оригинальное, не так уж и далеко…

Так уж случилось, что Дискорд обошёл меня стороной: я никогда в нём не регистрировался и ни разу не использовал. Как выяснилось недавно – не зря.
Если вы пользователь, то вам рассказывать об этом не надо, но для тех, кто не знает: с недавно пор Дискорд начал активно форсить платную подписку Nitro, которая включает различные премиум фичи: стикеры, реакции, картинки, звуки – если это косметическое, то оно там есть. Несмотря на то, что я категорически против идеи платной подписки на мессенджер, у меня нет проблемы с самим концептом: если кто-то хочет платить за косметику в программах (которая, по сути, просто дополнительный контент), то он должен мочь это делать.
И моё отношение к Дискорду и Nitro так бы и осталось достаточно нейтральным, если бы я не узнал, что, платя за Nitro, пользователи также получают две дополнительные фичи: возможность отправлять сообщения длиной до 4000 символов против 2000, и присоединятся к 200 серверам вместо 100.
У меня позиция принципиальная: настолько базовая функциональность не может и не должна быть за платной подпиской. Я понимаю, что есть аргумент о том, что такое может быть нужно только продвинутым пользователям, повышенная нагрузка на сервера и вот это всё, но это всё не более, чем отговорки, позволяющие бессовестно лгать своим пользователям в глаза.
Это близко к моей позиции по премиуму в Телеграме: эмодзи, всякие реакции и т.д. – пожалуйста, сколько угодно включайте в премиум. Закрытие за премиумом таких базовых фич как запрет присылать голосовые сообщения или запрет писать пользователям не из списка контактов это наглая, беспринципная дойка денег.
Мораль здесь, короче говоря, в том, что я чрезвычайно рад, что Дискорд всё же продемонстрировал свою наглую и мерзкую сущность раньше, чем я успел зарегистрироваться в нём. Теперь-то уж точно ноги моей там не будет.
И да, коль скоро про Дискорд, у меня есть с ним ещё одна проблема. Что это вообще за манера устраивать все сообщества в Дискорде? Не, всякие чатики по интересам или группы общения это нормально, я про случай, когда у какого-то проекта или ПО базы знаний и поддержка целиком находятся в Дискорде, который не индексируется, не архивируется и вообще не предназначен для того, чтобы организовывать управление информацией и знаниями. Мне и печально, и противно, что организовывая сообщества поддержки в Дискорде, люди не понимают, что они продают удобство (а также часто, но не всегда, повышение ЧСВ и раздутие своего эго) за даже не эншиттификацию интернета, а то, что будет похуже: его деинформатизацию.

#trackoftheday https://www.youtube.com/watch?v=EsZbWAqU8xY
Да, она индонезийка, однако это не мешает ей петь на очень приличном японском - её выдаёт несколько грубоватое произношение некоторых звуков в некоторых слогах, которое, впрочем, теряется за её очень красивым голосом. У песни есть проблемы с ритмичностью слогов, которая для японского имеет сравнительно большое значение, но это обычная проблема для любой песни, японский текст (тоже не совсем естественный, но это явно издержки перевода) которой был натянут на уже имеющуюся мелодию, которую требуется сохранить - вон, я уже отмечал, что даже предельно высокобюджетные артисты типа Twice страдают этим.

Безусловно, когда первый раз видишь клавиатуру FiiO KB3 со встроенным ЦАП и усилителем для наушников, то сразу хочется посмеяться от нелепости комбинации. Однако если подавить первое впечатление и начать смотреть на неё более непредвзято, то понимаешь, что идея не такая уж и плохая. Возможно, даже очень хорошая.
Во-первых, механическая клавиатура это очень хорошо. В последние несколько лет наблюдается своего рода ренессанс механических клавиатур, сопровождающийся выпуском большого количества моделей специально для этого сегмента. Как пользователь механической клавиатуры (правда, не кастомной, но тем не менее), я не могу не поддерживать тренд, т.к. текста набирать мне приходится много, а на механической клавиатуре это делать гораздо приятнее. Несмотря на то, что это их первая клавиатура, FiiO сделали всё достаточно грамотно: и переключатели сменные, и звукоизоляция есть, и много чего ещё. RGB подсветка как по мне это излишнее, но в целом её можно и отключить, а использовать только когда надо, причём с одним статическим цветом, хоть белым.
Во-вторых, к FiiO есть доверие как к имеющему достаточно неплохую репутацию в сфере звука брэнду, поэтому купить их ЦАП совершенно не зазорно. С точки зрения звуковых характеристик это выглядит совершенно не стыдно, особенно для клавиатуры.
Я вполне вижу целевой рынок для этой клавиатуры. Есть те, кто любит носить свою клавиатуру с собой – для таких теперь с собой можно будет также носить и не стыдный ЦАП. Есть те, кто желает иметь чистый, незахламленный стол, но при этом наслаждаться хорошим звуком – для таких встраивание не совсем нужного ЦАП в нужную клавиатуру поможет добиться необходимого эстетического результата.
В конце концов, это просто интересный предмет с точки зрения дифференциации на рынке клавиатур.
Единственные проблемы, которые я вижу, это необходимость использовать клавиатуру в проводном режиме если есть желание использовать ЦАП (в беспроводной версии его просто нет), и размер раскладки всего 75% - всё же я предпочитаю полноразмерные клавиатуры, с нампадом, но и у укороченных тоже есть свои любители и рынок там немаленький.
Остаётся только пожелать FiiO успехов в продажах. Такого рода нестандартные решения могут быть не нужны всем и каждому, но то, что они способствуют развитию индустрии в целом - однозначно.

Я не понял, а почему бургеры с Hello Kitty обсуждают все (ну окей, я преувеличиваю, но многие; смысл в том, что даже я видел муссирование этой темы), а коллаб-очки питерского магазина оптики P.Y.E. - никто? Выглядит по меньшей мере несправедливо.
Внезапно, можно говорить о том, что Hello Kitty начинает или захватывать Россию, или как минимум проникать в умы и оставлять след в общественном сознании.

#trackoftheday https://www.youtube.com/watch?v=5Hvyla9X_8U
Хочу такой же трэк, но длиной 3 часа.

Asus продолжает выпускать железо с правильным дизайном и внезапно они добрались до того, что давно уже ждало своей участи: Хацунэ Мику. Коллаб-серия ROG x Hatsune Miku это прям какой-то восторг, если честно!
Я ранее высказывал своё мнение относительно их Ева-коллабов и тогда далеко не всё выглядело нормально. В нынешнем случае эстетически всё сделано предельно грамотно - придраться не к чему. Цена всего этого - вопрос отдельный, который лучше не затрагивать. Для души будет куда более полезно просто наслаждаться видом...

Моя активность в просмотрах видео на ютюбе имеет 3 категории:
1) Каналы, которые заслужили мою подписку – я стараюсь смотреть каждое видео, которое они выпускают, как потому, что мне это нравится, так и потому, что мне хочется поддержать эти каналы своими просмотрами. Думаю, здесь всё понятно.
2) Каналы, которые ещё не заслужили мою подписку, но видео которых мне могут быть иногда интересны и которых я готов поддержать просмотрами. Для таких каналов у меня есть специальная папка закладок в браузере, которую я периодически проверяю путём использования опции «Открыть всё в новых вкладках». Видео таких каналов я считаю достойными моего просмотра с точки зрения предлагаемого там контента, но при этом не обязательно, что я буду смотреть все их видео. Подписаться на них мешает обычно отношение авторов: не до конца корректный моральный компас, недостаточно прозрачное отношение к зрителям и т.д.
3) Видео, которые недостойны даже того, чтобы их посмотреть, однако мне всё равно необходимо быть в курсе той информации, которую там пытаются подать. К этой категории относится кликбейтный контент и прочий информационный мусор, который ежедневно заполняет ютюб, однако при этом составляет информационный фон в виде рекомендованных видео. Поскольку я считаю своим долгом следить за трендами в некоторых областях (к примеру, «о Японии») из-за необходимости владеть информацией о текущей повестке, я запихиваю все эти видео в сервисы ИИ-резюмирования. Делая так, я каждый раз испытываю удовлетворение от того, что понял примерный посыл видео, не приплюсовав ему даже одного просмотра.
Разумеется, такое отношение совершенно укладывается в моё мировоззрение о том, что поступать с другими надо так же, как хочешь, чтобы поступили с тобой. Я абсолютно серьёзно полагаю, что если кто-то хочет пользоваться ИИ-резюмированием чтобы получать информацию из выпускаемых мной видео и не смотреть их, он обладает полным моральным правом так поступать, не накручивая мне никаких просмотров.
В связи с этим, заметил, что авторы некоторых каналов стали намеренно отключать автоматическую генерацию субтитров в своих видео – явно для того, чтобы их нельзя было подвергнуть ИИ-резюмированию. Такие каналы вместе с их авторами сразу отправляются в тот самый отдельный специальный ад для тех, кто рассказывает другим, каким образом они должны получать производимую ими информацию.

Я не отмечал это специально, но, думаю, если следить за тем, что я пишу, то станет очевидно, что меня волнует проблема вялотекущей эншиттификации интернета.
К сожалению, похоже, что я обнаружил новое направление того, каким образом использование интернета будет становиться хуже в ближайшее время.
Введение обязательной проверки возраста для доступа к порнхабам в Великобритании сейчас на слуху у всех. Что гораздо менее на слуху, так это то, что в Австралии с декабря этого года проверка возраста будет обязательна на куче совершенно разных сервисов.
Но даже это ещё не всё. Над требованием проверки возраста для доступа к соцсетям думают во Франции, Испании, Норвегии, Италии, а также на уровне ЕС в целом. И это если забыть о том, что в США уже почти половина штатов требуют производить проверку возраста для доступа к порнографии.
Иными словами, понятно, что интернет становится менее свободным буквально с каждым днём даже не из-за жадности корпораций, а «благодаря» законам.
Эти новости выглядели хоть и направленным в одну сторону, но всё же просто набором однообразных явлений – не чем-то, что угрожало всем.
Всё встало на свои места в тот момент, когда я наткнулся на заметку в блоге Гугла, на которую, конечно же, никто в момент её публикации внимания не обратил: о том, что в Кошельке появилась поддержка сохранения цифровых ID, выданных правительствами и, вот здесь самое важное, поддержка предоставления услуг подтверждения возраста на сторонних сайтах через Digital Credential API. И мне искренне не понятно, почему об этом говорится настолько мало.
Это прям классическое «Совпадение? Не думаю!». В данный момент указанные выше инициативы предлагают проверку возраста самыми разными, разрозненными и часто нелепыми способами. После того, как я узнал об этой фиче в Кошельке, стало понятно, что у Гугла есть достаточно сильные амбиции на то, чтобы стать поставщиком таких проверок для сторонних сайтов. На данный момент они едва ли где-то поддерживаются, однако, учитывая их размер и значимость, ничего не мешает им договориться и с правительствами, и с сайтами, предлагая брать на себя ответственность за подтверждение личности. Для сайтов, правительств и пользователей всё это, конечно же, очень удобно: первые снимают с себя ответственность за хранение сверхкритичных данных и проверку личности, вторые получают партнёра с большим авторитетом и огромными технологическими возможностями для реализации их законов, третьи смогут загружать свой ID только в одно место вместо тысячи.
Но больше всего от этого выигрывает, безусловно, Гугл (здесь и далее я имею в виду уже условный big tech, а не конкретно Гугл, потому что условная Apple тоже может начать предлагать что-то такое). Да, у них и сейчас куча инструментов для того, чтобы составить для каждого пользователя очень подробный и детальный профиль чтобы потом можно было продавать рекламу, но если пользователи будут добровольно загружать свои удостоверения личности прямо им, то это будет невероятно жирная и полезная метрика для добавления в профиль каждого пользователя.
Гугл уже сейчас контролирует огромную долю траффика и, соответственно, имеет огромное количество данных о пользователях. Если всем будет нужно как в Китае ходить в интернет по паспорту, только удостоверяться при этом у Гугла вместо компартии, то это будет вообще идеальное воплощение сценария антиутопии: максимальная деанонимизация, максимальная слежка, максимальная прозрачность всех действий. Идеальная среда для гиперперсонализации рекламы, со всеми вытекающими.

Если честно, я сел писать этот пост ещё неделю назад. Написал его наполовину и потом всё удалил т.к. тогда не смог понять, что кроме езды на хайпе я получу от того, что запосчу. Сейчас понял, поэтому пришлось написать всё заново – ну что поделаешь…
Недавний взлом Аэрофлота сопровождался весьма специфическим смакованием одной технической детали, которую, было заметно очень сильно, любили обсасывать в СМИ. Сами взломщики, я уверен, тоже были очень горды собой, когда раскрыли всем, что Аэрофлот пользуется устаревшими версиями операционных систем, типа Windows XP и Windows Server 2003 и явно были довольны тем, что настолько древний и непропатченный софт если не способствовал взлому явно, уж точно позволил продвигаться внутрь систем с гораздо меньшим сопротивлением по сравнению с современными ОС.
Разумеется, всем было удобно списывать такое положение дел на техническую некомпетентность ИТ службы Аэрофлота.
Вместе с тем, дела на самом деле обстоят несколько иначе и я не видел, чтобы кто-то удосужился объяснить суть явления, поэтому это придётся делать мне.
Я сразу говорю, что я ни в коем случае не оправдываю ни Аэрофлот, ни индустрию в целом. Я просто хочу объяснить, что происходит и почему так делают.
Ну, кроме случаев, когда так делать не надо. Случаи банальной лени и отсутствия времени (а я уверен, что такие там тоже были) на обновление к этому не относятся.
Да, я слышу, как вы задаёте вопрос «А ты кто такой вообще чтобы давать подобные комментарии?», на что я могу ответить: у меня 8 лет опыта работы с авиационными ИТ решениями, поэтому представление о том, что происходит в этой области у меня есть не понаслышке. И у меня нет никаких оснований считать, что с тех пор, как я в последний раз работал с этими вещами, в индустрии произошли какие-то изменения.
Все знают, что авиация – очень зарегулированная индустрия. Без сертификаций там не делается практически ничего, а количество регулирующих документов делает её едва ли не самой зарегулированной отраслью – ну, может быть, после финансов и медицины.
Соответственно, когда вы приобретаете авиационное ИТ решение, то крайне важно, чтобы оно было сертифицировано и отвечало отраслевым стандартам. В России таким требованиям отвечают в основном два типа ПО: от глобальных поставщиков ИТ решений типа Sabre, SITA и Amadeus, и от тех, кто делает софт буквально на коленке и, благодаря связям где надо, сумел сертифицировать свою поделку для использования в отрасли.
Я совершенно не отрицаю, что есть производители ПО, которые ответственно относятся к тому, что они делают. Однако у многих из них нет ни желания, ни ресурсов что-либо исправлять.
Собственно, суть явления, о котором я и хотел рассказать: ПО, которое необходимо использовать в работе, просто не совместимо с более новыми версиями ОС, либо разработчик явно заявляет, что запрещает использование с более новыми версиями ОС потому, что в таком случае не гарантирует работоспособность.

Условный, но понятный пример. Допустим, у нас есть ПО для расчёта центровки самолёта. Разработчик заявляет, что использовать его можно только на Windows XP, гарантии на результаты расчётов, сделанных в его программе, запущенной в других версиях Windows, он не даёт – по каким бы то ни было причинам, они значения не имеют. Если вам необходимо пользоваться этой программой (а вероятность этого не то, чтобы маленькая – альтернативы вполне могут отсутствовать, либо быть ещё хуже), то вы будете пользоваться ей в Windows XP. Потому что не дай бог что-то случится, потребуется проверка того, каким образом были получены цифры и выяснится, что ПО использовалось на несовместимой версии Windows – в таком случае вина (которая достаточно часто может быть уголовной – сценарии можете представить сами, статья УК «Нарушение правил эксплуатации воздушного транспорта») будет лежать на том, кто нарушил установленные изготовителем ПО правила использования. Если же в цифрах всё же будет ошибка, но ПО использовалось как было предписано, вина будет лежать на изготовителе ПО – в таких случаях они всегда дают гарантию на расчёты (если исходные данные были введены правильно, конечно же). Со своей стороны они проверяют результаты, к примеру, с разработчиком самолёта, но как клиента нас это уже не волнует.
Я лично проходил это много раз. Пишешь людям: вы можете как-то обновить вашу программу, чтобы её можно было официально использовать на более новых версиях Windows, которые имеют текущую поддержку и обеспечиваются обновлениями безопасности? Отвечают: нет, не можем, у нас тут и без вас работы полно, безопасность ваших систем нас вообще совершенно никак не волнует, это ваши личные проблемы, делайте что хотите, а нашу программу используйте только на той версии, какую мы написали и не вздумайте ничего там менять. И так повсеместно.
Упоминаемый всё в тех же заметках СМИ о взломе переход на российское ПО мог разве что только усугубить это явление. Я не могу комментировать качество ПО, написанного Аэрофлотом самостоятельно, но поверьте: в российском авиационном софте явление «написано в прямом смысле дедом на коленке в фирме из полутора человек на Дельфи» не является из ряда вон выходящим. И это всё равно покупают, и этим всё равно пользуются, потому что альтернатив нет.
Впрочем, это всё объясняет, почему так, но ни в коем случае не снимает с Аэрофлота вину – но не за использование.
За то, что они не использовали свой авторитет для того, чтобы переломить эту ситуацию. Одно дело, когда какой-то хрен с горы типа меня пишет и требует приспособить программу под современность и совсем другое, когда это делает самая крупная компания авиационного сектора РФ (и одна из самых крупных в мире, чего уж там). Если здесь что-то и можно поставить в вину, так это то, что ИТ отдел Аэрофлота имел (и имеет до сих пор, если уж на то пошло) абсолютно все возможности, авторитет и вес чтобы переломить эту ситуацию, но они или не пытались совсем, или не были достаточно настойчивы в своих требованиях.