Новые архитектуры (не трансформеры). Часть 1

В апреле этого года на arxive.org появилась очень интересная статья, которая наделала шума (да, сейчас конец октября, но лучше поздно, чем никогда). Речь о публикации «KAN: Kolmogorov-Arnold Networks», которая предлагает новую архитектуру для нейросетей, и я сейчас попробую в двух словах объяснить, почему она так замечательна.
Во-первых, архитектура новая, но базовые принципы у нее старые – теорема Колмогорова-Арнольда. Если коротко, эта теорема гласит, что любую очень сложную функцию, которая зависит от множества переменных, можно представить в виде суммы простых функций, каждая из которых зависит от одной переменной.
Во-вторых, современные нейросети построены на базе многослойных перцептронов (Multilayer Perceptron). О том, кто такой многослойный перцептрон я писала здесь, и еще не мое, но очень хорошее объяснение есть здесь. Коротко: мы имеем сеть из нескольких слоев, на каждом из которых данные преобразуются линейным способом. В конце к ним применяется нелинейная функция, и готово – у нас есть ответ.
В сложных нейросетях большого размера есть несколько (много) нелинейных функций, которые применяются после группы линейных слоев. Больше слоев – более сложные данные могут быть обработаны. Число нелинейных преобразований и сами такие преобразования определены заранее, как и число линейных слоев – это параметры зафиксированы, меняются коэффициенты (на которые мы в каждом слое умножаем данные и которые мы прибавляем к данным).
А у сетей Колмогорова-Арнольда вообще нет никаких линейных весов. Все ее параметры – функции от одной переменной, и все они определяются в процессе обучения, а не задаются заранее. Это делает сети намного более гибкими, масштабируемыми и, что важно, более удобными с точки зрения интерпретации человеком (все хорошо, мы сейчас к этому придем).
В статье очень много красивой математики, но я не стану здесь ее пересказывать, чтобы не перегружать пост. Сосредоточимся на ключевых моментах.
Сети Колмогорова-Арнольда в сущности своей комбинируют свойства перцептронов, которые очень хорошо масштабируются (то есть, которые можно слоями складывать, чтобы получить более высокую точность) и сплайнов. Сплайн – это такая математическая функция, которая собрана из кусочков других функций, и может, таким образом, принимать сколь угодно сложную форму. Симпатичное объяснение с картинками есть вот здесь, посмотрите для лучшего понимания.
То есть, сети Колмогорова-Арнольда могут, во-первых, адаптироваться к данным очень сложной структуры (читаем «почти любым данным из реального мира»), во-вторых, легко увеличиваться в размерах (при этом занимая меньше места, чем перцептроны сопоставимого размера, посмотрите на строку «Model (Deep)» на скриншоте). Это ли не потрясающе?
Так что там с интерпретацией человеком? Мы можем визуализировать функции, которые применяет сеть, и своими глазами увидеть, как именно она работает. А еще мы можем взаимодействовать с ней и изменять эти функции, чтобы посмотреть, как изменится результат.
Если мы говорим в терминах объяснимого ИИ или ответственного ИИ, это отличная новость, потому что на данный момент одна из главных проблем работы с глубокими нейросетями в том, что мы понятия не имеем, что и где пошло не так (а оно пошло). Сети Колмогорова-Арнольда имеют потенциал в решении этой задачи.
Разумеется, у этих сетей есть свои ограничения. Например, они намного более медленно учатся. Однако точность многообещающая, и потенциальных областей применения у них немало (авторы указывают решение задач из области физики и математики в качестве приоритетных, однако сети уже хорошо показали себя в работе с изображениями, потенциально могут улучшить распознавание речи и много чего еще).
На момент написания поста (середина октября) я не нашла упоминаний о практическом применении сетей Колмогорова-Арнольда (упоминаний о том, что какой-то крупный разработчик нейросетей ими занимается, например). Но совершенно точно профессиональное сообщество активно заинтересовано, так что ждем.

Пришло время обсудить еще одну классную модель, которая фигурирует во всех рейтингах на первых строчках – Claude. Мы ее немного обсуждали уже, но сегодня полезем внутрь, потому что как же не полезть.

У меня ушло много времени на этот пост, но оно того стоило. Встречайте: протокол для создания мультиагентных систем на основе блокчейна

#инструменты

ИИ-агентов много не бывает, так что вот история о том, как их научили играть в "мафию"

Еще один инструмент, который до этот упоминался вскользь, но теперь нужно рассмотреть поподробнее.
Инструмент называется Gurobi и предназначен для математической оптимизации сложных процессов принятия решений. Вы даете на вход описание вашей задачи, ограничения вашей компании и другую важную информацию – Gurobi вам разрабатывает стратегию решения.
К сайту проекта доступ можно получить без VPN, но для запроса пробного периода тестирования (на 30 дней) VPN нужен. А потом нужно еще один-два рабочих дня, чтобы с вами связался представитель и выполнил запрос. Я попробовала притвориться, что я в Нидерландах, но меня раскусили и написали, что доступ не дадут. Но ничего, я попробую найти варианты.
Пока же поговорим о том, как это все работает и почему математическая оптимизация – это важно.
Gurobi – это «решатель» (solver). У него нет пользовательского интерфейса с окошками и кнопками, работать нужно с использованием программного кода (он поддерживает несколько языков, в том числе, например, Python и R). Кроме того, пользователям нужно понимать, как работают и создаются математические модели, так что это для продвинутых. Для тех, кто не обладает необходимыми навыками, есть Gurobi Alliance – группа организаций-партнеров, которые помогают собрать работающее решение. И еще команда Gurobi сама проводит обучение для своих клиентов.
Итак, что делает решатель? Решатель помогает вам принять решения (простите за тавтологию) по развитию вашего проекта или компании. Делает он это с использованием ИИ. Где математическая оптимизация? Внутри. Она делает так, чтобы ИИ придумал вам хороший (и оптимальный с точки зрения затрат, что важно) план для решения вашей задачи, за пару секунд.
На сайте приведены разные примеры работы Gurobi с клиентами, рассмотрим один из них – пример Uber. Задача компании состояла в том, чтобы оптимизировать маршруты транспортных средств для использования в городе, причем по воздуху (будущее здесь). Похоже, речь идет вот об этом проекте – электрические летательные аппараты с вертикальным взлетом и посадкой. Судя по информации в открытых источниках, они в итоге отказались от реализации. Продали подразделение, которое отвечало за работу с беспилотным транспортом вообще, а Uber Elevate (которое работало над воздушным транспортом) отдали Joby Aviation. Дальше я уж не пошла отслеживать судьбу этого амбициозного проекта, вернемся к математике.
Ограничением проекта было то, что беспилотные летательные аппараты (давайте далее говорить «летающее такси» для краткости) привязаны к специальным взлетно-посадочным станциями и не могут припарковаться где попало. Таким образом, сначала нужно было определить оптимальное расположение этих станций (помните игру про фургончик с буррито?). Для этого на вход алгоритму передавались маршруты (список пунктов отправления и прибытия), и алгоритм высчитывал оптимальное расположение станций на основании того, как много людей выбирает места поблизости для отправки или прибытия.
Затем нужно было построить оптимальные маршруты с учетом необходимости подзарядки летающего такси по дороге и посадки новых пассажиров (это такси, которое нужно делить с другими пассажирами, с которыми вам по пути). Задача непростая, потому что нужно убедиться в том, что не будет момента, когда все такси отправятся на подзарядку разом, или что посадка новых пассажиров не затянет поездку для первых пассажиров слишком сильно. Кроме того, речь идет о принципиально новом виде транспорта, поэтому данные, собранные заранее об обычном такси на колесах, не вполне подходят для моделирования.
Эти две задачи решали с помощью Gurobi, а потом прикрутили простой пользовательский интерфейс, чтобы можно было проверить работу алгоритма визуально.
Компания раскрывает не то чтобы очень много деталей реализации решателя, что можно понять. Но, думаю, пример Uber дает базовое понимание принципов, лежащих в его основе.

И зачем это все надо? Затем, чтобы ускорять рабочие процессы. Большой и сложный ИИ думает над задачами долго (особенно над такими, как у Uber), а решение нужно быстро (желательно вчера, мы все это знаем). Математическая оптимизация позволяет ускорить процесс и избежать части издержек, связанных в простоем, с одной стороны, и с затратами электроэнергии, с другой (пока ИИ будет думать, вы будете платить за электроэнергию).

Почти #инструменты

Еще одна интересная архитектура - ансамбль (коллектив) экспертов

Low-code инструмент для работы с данными

#инструменты

Приближается декабрь и тот самый чудесный период, когда ложится устойчивый снежный покров и начинает происходить волшебство. Например, работа 5/2 волшебным образом превращается в работу 24/7.
По этой причине я решила себе немного облегчить жизнь, и в ближайшее время здесь будет немного больше коротких постов про инструменты и немного меньше обзоров научных публикаций, потому что посты по публикациям отнимают очень много времени.
Как зимняя жара спадет, я вернусь в привычный режим, а пока масштабная писанина будет размещаться главным образом на vc.
Все, минутка оправданий закончена, сегодняшний инструмент – foondamate (‘AI study buddy’). Он необычный, потому что все, что мы ранее здесь обсуждали: инструменты для учебы, ведения заметок, планирования и так далее – это инструменты для взрослых работающих людей. Foondamate – это инструмент для детей среднего и старшего школьного возраста.
Проект изначально задуман как социальный, его основатель родом из ЮАР. Он ходил в класс на 50-70 человек, где на учеников не хватало книжек, а уж внимания и помощи учителей не хватало тем более. В итоге он и придумал умного помощника, который помогает находить ответы на вопросы, готовиться к экзаменам и быстро находить нужные документы из загруженных ранее (например, конспекты за прошлый год).
Приложение доступно из России, но работает только на английском и некоторых африканских языках. Использует модели с открытым исходным кодом из семейства Llama.
Понятно, что я здесь не могу его рекомендовать в силу очевидных причин, но мне показалась интересной сама идея создания такого помощника именно для школьников. Можно спорить, наверное, на тему того, в каком объеме разумно привлекать ИИ в рамках школьного образования, все-таки дети пока не смогут самостоятельно оценить качество информации. Но если, например, дать возможность использовать ИИ для разбора конкретной главы в учебнике или для повторения пройденного материала, то я здесь вреда не вижу. В классах даже по 30 человек бывает непросто успеть как следует разобраться в теме. Деньги на репетиторов тоже есть не у всех. Так что при наличии разумных «детских» ограничений такое приложение – вполне себе вариант. Я бы в свои школьные годы была ему очень рада.

✨Responsible AI Institute, про который я писала здесь, проводит ежегодную конференцию, посвященную ответственному подходу к разработке ИИ✨

Если вы готовы 11 декабря в 19:00 по Москве подключиться и послушать, вход свободный, надо только зарегистрироваться. Если не готовы, я в любом случае пойду и расскажу потом, что там было ✍️

Сегодня снова инструмент для взрослых работающих людей. Он называется Toolfolio, это целый сайт, на котором собраны инструменты под разные задачи, в том числе на базе ИИ. На сам сайт войти можно без VPN, но доступ к инструментам регулируется провайдерами, то есть, если что-то недоступно в России, через Toolfolio оно тоже недоступно.
Приложения разделены на несколько групп: дизайн, YouTube, стартапы (там планирование задач, автоматизация процессов, инструменты для ведения заметок на совещаниях и так далее), ИИ (там вообще все от генерации текстов до создания видео по сценарию), социальные сети и вебсайты.
Там есть как инструменты, которые мы тут обсуждали: Notion, Perplexity, Taskade и некоторые другие, так и много чего нового. Меня, например, очень интересуют приложения для повышения продуктивности на базе ИИ, так что планирую попробовать NotebookLM (у меня некоторые коллеги пользовались и хорошо отзываются), BeforeSunset и AudioNotes. Если там будет что-то интересное, напишу потом.
AudioNotes уже немного начала пробовать, там есть бесплатная тестовая версия, есть поддержка русского языка, и все доступно без VPN. BeforeSunset тоже доступен из России, но бесплатной версии, похоже, нет. По языкам пока не смотрела. NotebookLM придется через VPN доставать. Там работает Gemini, она неплохо справляется с кодом (но уступает Claude в большинстве тестов). Посмотрим, что будет с текстом. Из хорошего – она мультиязычная и русский язык понимает тоже, так что, возможно, NotebookLM получится потестировать прям на полную катушку. Поскольку это инструмент Google, для него доступна интеграция с другими сервисами. Это хорошо, у меня как раз примерно 40% всей проектной работы координируется в гугл-доках.

#инструменты

Я обещала пост про работу с памятью. Вот он

Я люблю писать код
Это очень приятная работа: ты пишешь, он работает. Точнее, сначала он не работает, потом опять не работает, потом, наконец, работает, и это приносит много радости. Потом он начинает работать на реальных данных, и из него лезут ошибки. Но в их исправлении тоже, на самом деле, много радости.
Мне нравится писать код самостоятельно, отлаживать и оптимизировать. Но мне также нравится работать быстро, потому что чем быстрее я расправлюсь с работой, тем больше времени у меня останется для того, чтобы экспериментировать с собственными проектами, читать статьи про ИИ и ходить на всякие курсы.
Серьезно использовать нейросети для работы с кодом я начала, наверное, только в этом году (они неплохо эволюционировали), и сейчас процесс выглядит примерно так:
- я продумываю логику работы, форматы входных и выходных данных, набор сценариев и пишу техническое задание. Если нужно, в него входит описание базы данных, ограничения по производительности и так далее – все, о чем обычно люди думают, когда пишут код;
- нейросеть пишет функцию. Обычно это GPT, потому что она все время под рукой, но пару раз тестировала Claude, Gemini и Codestral;
- я тестирую полученный код на разных данных, правлю ошибки частично вручную, частично с помощью нейросети, совместными усилиями мы оптимизируем функцию, чтобы все работало за вменяемое время;
- я иду пить чай дальше работать.
Получается намного быстрее, чем писать все руками, особенно когда нужно сделать базу данных.
Конечно, этот подход все еще требует навыков программирования, особенно в процессе отладки и оптимизации. Однако в последнее время, в том числе благодаря освоения нейросетями навыков программирования, растет большая область low-code и no-code разработки, про которую я сегодня как раз хочу поговорить (это вот все была очень долгая подводка).
Итак, low-code / no-code разработка – это разработка приложений (практически) без создания программного кода. Точнее, без целенаправленного создания кода. Он, на самом деле, все равно пишется, просто вы не участвуете в процессе напрямую. Совсем недавно я писала про prophecy – это хороший пример low-code инструмента.
Как правило, low-code / no-code инструменты – это либо drag-and-drop конструкторы (где вам нужно перетаскивать фрагменты приложения на нужное место; упомянутый выше prophecy как раз имеет такой интерфейс), либо набор готовых шаблонов, которые можно немного видоизменить под свои задачи (мне пока такие не попадались). Конечно, если вы умеете писать код самостоятельно, это даст вам немного больше свободы и гибкости. Но если нет, это не проблема: вы все еще можете создать собственное приложение как для работы, так и для личных целей.
Мне видится, что low-code / no-code разработка – это хорошее направление развития для любой компании, от малого бизнеса до крупной корпорации, потому что она и время экономит, и деньги (на найм новых сотрудников или обучение имеющихся).
Раз мы тут собрались говорить про ИИ, то вот пара инструментов, с которых можно начать свой путь в разработке ИИ-приложений для собственных целей (на момент написания поста все доступны из России, я зарегистрировалась):
- Akkio (есть две недели доступного пробного периода; не требует специальных навыков, нужно только привыкнуть к интерфейсу, но он не сложный; в нем можно обрабатывать данные и обучать модели);
- Apple CreateML (это если у вас iOS, и вы собираетесь разрабатывать для этой операционной системы; для использования нужен Xcode, который, скорее всего, у вас уже установлен; бесплатно);
- Google Teachable Machine (пожалуй, самый простой инструмент из всех; здесь сложно создать что-то серьезное и масштабное, но для первого знакомства самое то, тем более что оно совершенно бесплатное).
Не бойтесь пробовать, особенно если за это не берут денег. Это пригодится.

#инструменты

Кем вы видите себя через пять лет?

Разбавим разговоры про ИИ разговорами про жизнь, это иногда полезно

В среду 11.12 прошла ежегодная панель RAISE, посвященная вопросам ответственного подхода к ИИ и регулированию ИИ. Это мероприятие проводит Responsible AI Institute (RAII) – одна из активных организаций в этой области. Институт основан в 2016 году – это как раз примерно то время, когда об ответственном подходе к ИИ начали всерьез разговаривать. Из ключевых моментов, которые обсуждались на панели, я отметила следующие:
- рынок решений на основе ИИ созрел, а регулирование находится в зачаточном состоянии. На данный момент кроме локального Европейского EU AI Act толком нет серьезных регулирующих документов. Я про это писала пост, там и про упомянутый акт есть. Большинство организаций пользуются стандартами, разработанными для других отраслей: управления проектами и разработки ПО, в частности. Однако ведется большая работа по созданию бенчмарков (тут писала, что это) и разных метрик для оценки надежности и безопасности ИИ – это предстандартизационная деятельность, которая ляжет потом в основу регулирования;
- организаций, занимающихся продвижением ответственного подхода к ИИ больше, чем мне казалось. Во многих странах есть крупные институты и организации поменьше. Одна из тех, что зацепили мое внимание – AI Truth. Они занимаются обучением пользователей и разработчиков. На сайте много интересных материалов, думаю, я ими воспользуюсь как-нибудь;
- многие решения на базе ИИ выкатываются в «сыром» виде, и у компаний нет стратегий для того, что Кортни Аберкромби (Cortnie Abercrombie) из AI Truth назвала «вот чёрт»-моментами (‘oh crap’ moments). Из-за высокой конкуренции разработчиков постоянно торопят продажники, времени на тестирование и отладку почти не остается. В результате, ошибки начинают проявляться уже тогда, когда продукт находится в руках у пользователей. И только тогда начинаются шевеления в сторону «а как это обезопасить?». Вообще выступление Кортни мне было как бальзам на душу, потому что спешка и недостаток времени на хорошую проработку ИИ-решений – это моя актуальная личная боль. Кроме того, она говорила о необходимости вовлечения непрофессионального сообщества в обсуждение ИИ и создания доступных обучающих материалов – я подписываюсь под каждым ее словом;
- по-хорошему, внедрение ответственного подхода ИИ в организацию должно проходить следующую цепочку: осознание рисков – эксперименты – разработка системы регулирования – выявление и заполнение пробелов в этой системе. Как все происходит на деле, см. выше.

В начале января у меня планируется большой пост про то, как крупные компании следуют или не следуют своим принципам (например, как Anthropic сотрудничает с военными) и как лезут куда не нужно (с GPT в боевые дроны, например. Действительно, что может пойти не так?). В общем, материалов много, поговорить есть о чем.

Но этот пост хочется завершить на позитивной ноте. Например, на перечислении победителей Leadership in Responsible AI Award (премии за лидерство в ответственном подходе к ИИ). Номинантов на эту премию RAII cобирают в своих соцсетях, и голосование тоже проходит публично, так что это глас народа в некотором смысле (того народа, который был в курсе, во всяком случае). У премии есть три номинации: «Выдающаяся инициатива», «Выдающаяся организация» и «Выдающаяся личность». Выдающаяся по степени вклада в развитие ответственного подхода к ИИ, разумеется.
Победители:
- OneTrust Coilot (инициатива);
- Brown-Forman (организация; этот внезапный победитель – компания, которая производит алкоголь, что немного забавно. Но наградили их за грамотный подход к использованию ИИ в управлении бизнесом);
- Брайан МакГован (Bryan McGowan) из KPMG (личность; KPMG – одна из крупнейших в мире консалтинговых компаний. Брайан МакГован там веден направление, связанное с управлением рисками в области ИИ).

Это тоже интересный источник информации, я собираюсь прошерстить публикации по итогам RAISE за предыдущие годы и посмотреть, что там были за победители. Возможно, найдется пара ценных инструментов. Или интересных сценариев, как с Brown-Forman (вы вот ожидали производителя виски в этом перечне? Я нет).