Ответственного ИИ и безопасности данных пост. Он важный, посмотрите

Новые архитектуры (не трансформеры). Часть 1

В апреле этого года на arxive.org появилась очень интересная статья, которая наделала шума (да, сейчас конец октября, но лучше поздно, чем никогда). Речь о публикации «KAN: Kolmogorov-Arnold Networks», которая предлагает новую архитектуру для нейросетей, и я сейчас попробую в двух словах объяснить, почему она так замечательна.
Во-первых, архитектура новая, но базовые принципы у нее старые – теорема Колмогорова-Арнольда. Если коротко, эта теорема гласит, что любую очень сложную функцию, которая зависит от множества переменных, можно представить в виде суммы простых функций, каждая из которых зависит от одной переменной.
Во-вторых, современные нейросети построены на базе многослойных перцептронов (Multilayer Perceptron). О том, кто такой многослойный перцептрон я писала здесь, и еще не мое, но очень хорошее объяснение есть здесь. Коротко: мы имеем сеть из нескольких слоев, на каждом из которых данные преобразуются линейным способом. В конце к ним применяется нелинейная функция, и готово – у нас есть ответ.
В сложных нейросетях большого размера есть несколько (много) нелинейных функций, которые применяются после группы линейных слоев. Больше слоев – более сложные данные могут быть обработаны. Число нелинейных преобразований и сами такие преобразования определены заранее, как и число линейных слоев – это параметры зафиксированы, меняются коэффициенты (на которые мы в каждом слое умножаем данные и которые мы прибавляем к данным).
А у сетей Колмогорова-Арнольда вообще нет никаких линейных весов. Все ее параметры – функции от одной переменной, и все они определяются в процессе обучения, а не задаются заранее. Это делает сети намного более гибкими, масштабируемыми и, что важно, более удобными с точки зрения интерпретации человеком (все хорошо, мы сейчас к этому придем).
В статье очень много красивой математики, но я не стану здесь ее пересказывать, чтобы не перегружать пост. Сосредоточимся на ключевых моментах.
Сети Колмогорова-Арнольда в сущности своей комбинируют свойства перцептронов, которые очень хорошо масштабируются (то есть, которые можно слоями складывать, чтобы получить более высокую точность) и сплайнов. Сплайн – это такая математическая функция, которая собрана из кусочков других функций, и может, таким образом, принимать сколь угодно сложную форму. Симпатичное объяснение с картинками есть вот здесь, посмотрите для лучшего понимания.
То есть, сети Колмогорова-Арнольда могут, во-первых, адаптироваться к данным очень сложной структуры (читаем «почти любым данным из реального мира»), во-вторых, легко увеличиваться в размерах (при этом занимая меньше места, чем перцептроны сопоставимого размера, посмотрите на строку «Model (Deep)» на скриншоте). Это ли не потрясающе?
Так что там с интерпретацией человеком? Мы можем визуализировать функции, которые применяет сеть, и своими глазами увидеть, как именно она работает. А еще мы можем взаимодействовать с ней и изменять эти функции, чтобы посмотреть, как изменится результат.
Если мы говорим в терминах объяснимого ИИ или ответственного ИИ, это отличная новость, потому что на данный момент одна из главных проблем работы с глубокими нейросетями в том, что мы понятия не имеем, что и где пошло не так (а оно пошло). Сети Колмогорова-Арнольда имеют потенциал в решении этой задачи.
Разумеется, у этих сетей есть свои ограничения. Например, они намного более медленно учатся. Однако точность многообещающая, и потенциальных областей применения у них немало (авторы указывают решение задач из области физики и математики в качестве приоритетных, однако сети уже хорошо показали себя в работе с изображениями, потенциально могут улучшить распознавание речи и много чего еще).
На момент написания поста (середина октября) я не нашла упоминаний о практическом применении сетей Колмогорова-Арнольда (упоминаний о том, что какой-то крупный разработчик нейросетей ими занимается, например). Но совершенно точно профессиональное сообщество активно заинтересовано, так что ждем.

Пришло время обсудить еще одну классную модель, которая фигурирует во всех рейтингах на первых строчках – Claude. Мы ее немного обсуждали уже, но сегодня полезем внутрь, потому что как же не полезть.

У меня ушло много времени на этот пост, но оно того стоило. Встречайте: протокол для создания мультиагентных систем на основе блокчейна

#инструменты

ИИ-агентов много не бывает, так что вот история о том, как их научили играть в "мафию"

Еще один инструмент, который до этот упоминался вскользь, но теперь нужно рассмотреть поподробнее.
Инструмент называется Gurobi и предназначен для математической оптимизации сложных процессов принятия решений. Вы даете на вход описание вашей задачи, ограничения вашей компании и другую важную информацию – Gurobi вам разрабатывает стратегию решения.
К сайту проекта доступ можно получить без VPN, но для запроса пробного периода тестирования (на 30 дней) VPN нужен. А потом нужно еще один-два рабочих дня, чтобы с вами связался представитель и выполнил запрос. Я попробовала притвориться, что я в Нидерландах, но меня раскусили и написали, что доступ не дадут. Но ничего, я попробую найти варианты.
Пока же поговорим о том, как это все работает и почему математическая оптимизация – это важно.
Gurobi – это «решатель» (solver). У него нет пользовательского интерфейса с окошками и кнопками, работать нужно с использованием программного кода (он поддерживает несколько языков, в том числе, например, Python и R). Кроме того, пользователям нужно понимать, как работают и создаются математические модели, так что это для продвинутых. Для тех, кто не обладает необходимыми навыками, есть Gurobi Alliance – группа организаций-партнеров, которые помогают собрать работающее решение. И еще команда Gurobi сама проводит обучение для своих клиентов.
Итак, что делает решатель? Решатель помогает вам принять решения (простите за тавтологию) по развитию вашего проекта или компании. Делает он это с использованием ИИ. Где математическая оптимизация? Внутри. Она делает так, чтобы ИИ придумал вам хороший (и оптимальный с точки зрения затрат, что важно) план для решения вашей задачи, за пару секунд.
На сайте приведены разные примеры работы Gurobi с клиентами, рассмотрим один из них – пример Uber. Задача компании состояла в том, чтобы оптимизировать маршруты транспортных средств для использования в городе, причем по воздуху (будущее здесь). Похоже, речь идет вот об этом проекте – электрические летательные аппараты с вертикальным взлетом и посадкой. Судя по информации в открытых источниках, они в итоге отказались от реализации. Продали подразделение, которое отвечало за работу с беспилотным транспортом вообще, а Uber Elevate (которое работало над воздушным транспортом) отдали Joby Aviation. Дальше я уж не пошла отслеживать судьбу этого амбициозного проекта, вернемся к математике.
Ограничением проекта было то, что беспилотные летательные аппараты (давайте далее говорить «летающее такси» для краткости) привязаны к специальным взлетно-посадочным станциями и не могут припарковаться где попало. Таким образом, сначала нужно было определить оптимальное расположение этих станций (помните игру про фургончик с буррито?). Для этого на вход алгоритму передавались маршруты (список пунктов отправления и прибытия), и алгоритм высчитывал оптимальное расположение станций на основании того, как много людей выбирает места поблизости для отправки или прибытия.
Затем нужно было построить оптимальные маршруты с учетом необходимости подзарядки летающего такси по дороге и посадки новых пассажиров (это такси, которое нужно делить с другими пассажирами, с которыми вам по пути). Задача непростая, потому что нужно убедиться в том, что не будет момента, когда все такси отправятся на подзарядку разом, или что посадка новых пассажиров не затянет поездку для первых пассажиров слишком сильно. Кроме того, речь идет о принципиально новом виде транспорта, поэтому данные, собранные заранее об обычном такси на колесах, не вполне подходят для моделирования.
Эти две задачи решали с помощью Gurobi, а потом прикрутили простой пользовательский интерфейс, чтобы можно было проверить работу алгоритма визуально.
Компания раскрывает не то чтобы очень много деталей реализации решателя, что можно понять. Но, думаю, пример Uber дает базовое понимание принципов, лежащих в его основе.

И зачем это все надо? Затем, чтобы ускорять рабочие процессы. Большой и сложный ИИ думает над задачами долго (особенно над такими, как у Uber), а решение нужно быстро (желательно вчера, мы все это знаем). Математическая оптимизация позволяет ускорить процесс и избежать части издержек, связанных в простоем, с одной стороны, и с затратами электроэнергии, с другой (пока ИИ будет думать, вы будете платить за электроэнергию).

Почти #инструменты

Еще одна интересная архитектура - ансамбль (коллектив) экспертов

Low-code инструмент для работы с данными

#инструменты