​​#conference

Прошел жаркий период мероприятий. За последние 2 недели их у меня было аж 4 штуки. Пора подводить итоги и выдыхать.

Немного про мероприятия:

1. Коллеги позвали на "прожарку AI". Там за готовкой мы с участниками South Hub обсуждали "горячие" темы в области AI. Формат необычный, но не без минусов. Отвлекаться чревато последствиями - я себе в первые 10 минут готовки палец порезал (впрочем, я очки опыта вкладывал в интеллект, а не в ловкость, может проблема в этом). Пообщаться было прикольно, да и формат был весьма камерным + уровень участников весьма хорош, редко удается пообщаться с таким количеством директоров разом ;)
2. Был наш ИИ Demo Day в рамках X5. Рассказали о последних достижениях подразделения, ответили на вопросы коллег, подняли понимание о том, что мы делаем и кто все эти люди (ну, я очень на это надеюсь). В общем, получилось полезно (а еще весьма лампово, что тоже важно).
3. Сходил на оба дня Aha'25. На одном даже выступил (фото как раз оттуда). После доклада еще продуктивно пообщался и ответил на вопросы, которые не успел задать после доклада. А еще допытывал коллег из Сбера на предмет бенмаркинга LLM (вероятно, даже немного задолбал околофилософскими вопросами "а как вообще набором цифр описать, насколько хорошо LLM работает и возможно ли это в принципе?".
4. Закончилось все днем X5 на DataFest. Было весьма немало народа (человек 300-400 по моим оценкам, может и побольше). Активно общался, много интересных тем поднималось в обсуждениях, что весьма приятно. На DataFest тоже выступил, доклад зашел (хоть это и повтор с митапа, но многие его не слышали, так что все ок).

Какие из всего этого выводы:
1. LLM - горячая тема практически везде. Не особо удивлен, хайп продолжается.
2. Клево, когда сообщество обменивается мнениями. Например, мой доклад на aha - скорее призыв к обсуждению в рамках сообщества, ибо одна голова - хорошо, а много голов - хтонический Лавкрафтианский монстр лучше.
3. Клевый мерч привлекает на стенд и позволяет "зацепить" человека еще и пообщаться (капитанский вывод, но работает же). Одним из факторов мотивации тусоваться на датафесте был еще и корпоративный мягкий енот (спойлер - я его получил и без приключений передал в руки дочки, она довольна).
4. Мероприятия - дело энергозатратное. Много общения, много эмоциональных сил затрачивается (если, конечно, хочешь делать хорошо). Потому сейчас буду немного "отмокать".
5. Личный бренд - штука рабочая. Меня (и моих коллег) уже узнают по прошлым докладам и материалам (в позитивном ключе, конечно). Одну мою коллегу даже специально искали на датафесте, чтобы пообщаться именно с ней, т.к. очень понравилось одно из предыдущих выступлений (вот ее канал с прикольным названием "LLM и гречка").

В общем, я весьма доволен, но устал. Потому пока буду восстанавливать силы, т.к. летом и осенью будут еще мероприятия, так что stay tuned, так сказать.

Переслали мне корпоративную методичку по управлению продуктовым портфелем

Итак, если бы пожарную команду создавали по этой методичке:

1. Ideation (оценка идеи)
Варианты:
За месяц не произошло ни одного пожара, потенциальных клиентов нет — закрываем продукт (KILL)
или
Один пожар был, но с погорельцев особо ничего взять — MERGE с водовозами, водовозы — жизнеспособный продукт с устойчивой клиентской базой и выраженной сезонностью.
Но перед тушением пожара необходимо будет производить расчет эффекта от тушения и сравнение с прямыми продажами воды клиентам
Или
Было несколько пожаров — когда пришли опрашивать клиентов получили люлей как поджигатели, глаз подбит 🤕, но зерно есть — PIVOT. Будем дистанционно (чтобы снова не получить) продавать палатки жертвам пожаров

2. Concept Validation — подтвердить жизнеспособность концепции
Продуктовый комитет затребовал дорожную карту по тушению пожаров на следующий год
Необходимо рассчитать точное время и место пожаров, затраты на тушение, экономический эффект
Ок, провернули фокус из финала The Incredible Burt Wonderstone и прошли дальше

3. Prototype Development
Сделали пожарную машину на деньги, выделенные на этапе 2.
Машиной сложно назвать — поэтому скорее получилась пожарная тачка.
Комитет отправил нас на Technical Pivot, без доп финансирования конечно же
На остатки финансирования получилось сделать лейку-поливалку

А дальше пришла летняя жара , и пол-города сгорело вместе с продуктовым комитетом 😂😂😂

PS: для тех кто не в курсе — частная пожарная охрана есть и вполне благополучно работает (например) и в нашей стране и в других

PPS: у любого инструмента есть своя область применения, даже у продуктовых методичек, и вот уж методички неплохо бы начинать с описания к чему их следует применять

#llm #paper

Прочитал на досуге статью "Beyond Benchmarking: A New Paradigm for Evaluation and Assessment of Large Language Models".

Достаточно короткая статья. Идея тоже обычная, но хорошо, что ее явно вытащили и прописали, т.к. часто вроде у всех это крутится где-то на границе сознания, а вот когда явно кто-то написал или проговорил - все становится на свои места.

Итак, в чем смысл стать? Авторы рассматривают типичный процесс бенчмаркинга LLM, а именно засилие "тестов" в бенчмарках. Что неплохо, но просто дает ряд циферок, но не отражает всей сложности процесса оценки и проверки качества работы LLM.

Потому авторы предлагают трехступенчатый процесс оценки LLM (Benchmarking-Evaluation-Assessment), который сравнивают с медицинским осмотром. Получается такой подход:
1. Benchmarking. Его мы не откладываем в сторону, но считаем первым шагом. Условно, оцениваем какие-то базовые параметры (как на осмотре - давление померить, общий анализ крови сделать и вот это все). По факту смотрим, где есть проблемы;
2. Evaluation. На основе выявленных проблемных зон делаем более глубокие исследования (медицинский аналог - более сложное исследование выписывается, например, УЗИ);
3. Assessment. Пытаемся интерпретировать результаты детальных исследований с помощью "модели-доктора", вместе с которой разрабатывается "план лечения" (то есть, направления и шаги по исправлению проблем на прошлых шагах).

В итогу, много где так и работает, просто это формально не фиксировали в таком процессе. Так что заслуга авторов тут, как я сказал, именно в том, что вытащили общую идею на свет и формально описали.

Но, на самом деле, есть и вопросы к такому формату:
1. А заметим ли мы важные проблемы на первом этапе (вроде в анализах все ок, а челу все хуже и хуже)?
2. Как подобрать эти более предметные исследования? Ок, модель на чем-то не очень хорошо справляется, но как мне набрать данные, чтобы более детально понять проблемы в работе LLM.
3. А судьи кто? Ок, человек может что-то попробовать понять (но с интерпретацией могут быть вопросики), а если использовать именно "модель-доктора", то на чем ее учить и как понять, что она корректно предлагает решение?

Итог.

Хорошо, что написали, но пока выглядит больше "за все хорошее и против всего плохого". Надеюсь, что авторы накинут в будущих работах еще деталей по пунктам, может тогда будет полезнее.

#random

Пока ездил в Псков и Великий Новгород и ходил по музеям, мне в голову пришла забавная мысль. Средневековые художники часто не видели зверей из других частей света, которых рисовали в бестиариях, а только лишь слышали описания (причем, далеко не всегда точные описания и не всегда существующих животных). Потому я решил сделать симуляцию такого художника.

Итак:
1. Попросил perplexity собрать средневековые описания животных из книг (как настоящих, так и выдуманных);
2. Написал коротенький промпт для генерации изображения в средневековом стиле (пришлось тут поиграться с промптами, чтобы модель не вспоминала реальное животное, но она все равно вспоминает немного);
3. Сгенерировал изображения по описанию из бестиариев.

Кстати, будет еще забавнее, если при генерации текста LLM будет галлюцинировать. Это еще более подходящий опыт (но это оставлю самой LLM). Как будто средневековый автор что-то где-то еще читал и добавил эти обрывки воспоминаний в свой процесс рисования зверя в бестиарии.

Результаты в посте. Попробуйте отгадать, что за звери изображены. Ответы будут завтра.

P.S. На первой картинке справа мандрагора на дереве (а то мало ли, что тут кто навоображает).

#random

Продолжаем наше страдающее средневековье. Что же это были за покемоны фантастические (и не очень) звери?

1. Слон. Животное это очень велико. Имеют они живой ум и долгую память; ходят стадами; бегут от мыши; совокупляются спина к спине. Живут триста лет. Если хочет иметь сыновей, идет на восток, близ рая; там растет дерево, называемое мандрагора. Идет к нему со своей самкой, которая первая берет плод с дерева и дает своему самцу. Самец охраняет ее, пока она в родах, потому что у них есть враг - дракон.
2. Лев. Царь зверей. Имеет три главных свойства. Первое: когда ходит по дорогам и приходит к нему запах охотников, то хвостом своим заметает следы свои, чтобы охотники не нашли логова его. Второе: когда спит в пещере, бодрствуют очи его, ибо открыты они. Третье: когда львица рождает детеныша, мертвым рождает его, и охраняет детеныша, пока не придет отец. на третий день и не дунет в лицо ему и не пробудит его.
3. Единорог. Чудовище с ужасным ревом, телом коня, ногами как у слона и хвостом очень похожим на оленя.
4. Еж. Поросенок с шипами, скрипящий как телега. Когда созревает виноград, подползает к виноградной лозе и, трясясь, сбрасывает ягоды на землю, затем катается по ним, пока они не насадятся на иглы.
5. Олень. Плачет, объевшись ядовитых змей. Когда чувствует в себе болезнь от яда, бегут к источнику и пьют воду. Враждебен змеям, выгоняет их из нор дыханием через ноздри.
6. Кот. Представляет угрозу для мыши. Ловит предметы. Ловит мышей с помощью своего острого зрения. Способен видеть в полной тьме, без малейших проблесков света.
7. Дракон. Обвивает хвостом жертву и может убить даже слонов удушением. Подстерегает на тропах, по которым привыкли проходить слоны, опутывает их ноги узлами и убивает удушением.
8. Левкрота (есть такое мифическое животное). Величиной с осла, с задними частями оленя, грудью и ногами льва, головой лошади и ртом, разорванным до самых ушей.

Вот такой вот нейронный бестиарий вышел. Кто теперь ваше любимое животное из тех, что были на картинках?

Мне нравятся кот, еж, олень и мандрагора (она реально забавная). Львенок в пещере тоже мемный вышел.

#music

А у меня тут вышел dark ambient альбом. Надеюсь, что любителям зайдет. Я туда даже добавил концептуальности в названия и порядок песен.

В общем, enjoy!

А что тут у нас? Вышел мой хоррор-монолог в озвучке (называется "Колыбельная").

Послушать его (как и другие) можно по ссылке. При авторизации каждый день дают бонусы за вход, вот их можно как раз потратить на прослушивание ;)

В комментах пишите ваше мнение по поводу монолога и задавайте вопросы, если будут.

#конкурсхорроров #релиз #одиннаодинсострахом

А тепер работа из ТОП-3 нашего конкурса!

"Колыбельная"🤱💀 по сценарию Артёма Ерохина уже на Фабуле!

​​Is AI writing any good?

Есть такой писатель фэнтези, Mark Lawrence. Он довольно популярен и время от времени организует различные активности.

2 года назад он организовал эксперимент с попыткой сравнить качество написания текстов реальными авторами и AI.

Идеально было бы организовать написание длинных текстов, но их сложнее сравнивать, и людям может быть лень их читать, поэтому ограничились текстами в ~350 слов. 4 автора и ChatGPT 4, потом количество текстов стало 10. Промпт был "write a piece of fiction based on meeting a dragon", при этом для ChatGPT дали дополнительные инструкции.

Потом это дали почитать желающим и попросили проголосовать в двух опросах: отранжировать тексты в порядке предпочтения и попробовать угадать написан текст AI или нет.

Результат: в большинстве случаев (кроме двух) люди правильно угадали был ли автором AI (но лишь с небольшим перевесом), топ-2 и топ-3 по предпочтениям заняли тексты написанные AI (причём люди ошибочно считали, что топ-2 текст написан человеком). Результаты получились не особо радостные для авторов - топ два места из трёх у AI, в большинстве случаев люди не смогли чётко отличить AI от человека.

И вот недавно был проведён второй раунд. Результаты и тексты. В написании текстов принимало участие 4 автора с общим тиражом проданных книг около 15 млн. Со стороны AI участвовал GPT-5 (не уточнено какая версия). Опять тексты по 350 слов.

Для чистоты эксперимента предлагаю вам самим вначале прочитать тексты и проголосовать :)

Какие же итоги? 964 голоса. Люди угадали правильно авторство трёх историй (1 AI, 2 автора), неправильно тоже три (2 AI, 1 автор) и два раза была ничья (1 AI, 1 автор). Получается по факту рандомное угадывание.

Но ещё печальнее то, что средняя оценка сгенеренных историй выше, чем написанных людьми. И топ-1 место по предпочтениям - AI.

Организатор опроса с печалью признаёт, что AI выиграл этот раунд.

> Should AI generate fiction, imagery, voices etc competing with artists in a number of fields and fooling the public. No, of course not. I hate that idea and most people do too.

> Will it happen? It's already happening. Wherever anyone can circumvent skill and heart and just profiteer off a new technology, they're going to do it. People threaten people with knives in the street for a few dollars - are people going to try to sell you AI books ... of course.

> It's a huge shock to me that fiction which, in this test, scores higher than great authors who write wonderful stories full of soul and heart and wit and intelligence, can be generated by the multiplication of a relatively small number of not particularly large matrices. On the face of it it undercuts so many things we value about being human.

В настоящий момент AI не может писать хорошие, последовательные истории большого размера, но прогресс не стоит на месте. И повторю, что промтп для написания историй был очень простой - если потратить больше времени на написание промта, результат будет ещё лучше.

Обсуждение на reddit и ycombinator.

В этот раз уже не спикер, но ведущий. Приходите посмотреть топовые доклады в летний кинотеатр, пока лето не кончилось ;)