Телеграм не дает нормально публиковать большие посты, поэтому я сейчас буду пробовать разные форматы.
Сегодня загрузила пост в телеграф, надеюсь, он нормально отобразится.

UPD: починила картинки, теперь всё отображается

У меня есть смарт-часы, которыми я пользуюсь в том числе для того, чтобы контролировать продолжительность сна. Благодаря этому использованию я узнала, что мой письменный стол, на котором лежат часы, пока я занимаюсь домашними делами, спит крепко и пульс у него стабильный (а всякие обзорщики еще говорили, что Apple Watch – одни из лучших часов на рынке. Вот и верь им). В общем, ИИ в смарт-часах пока несовершенен, однако его туда очень активно суют. И не только туда. Поговорим об этом.
Чтобы не разойтись на трехтомное собрание сочинений, ограничимся мониторингом некоторых показателей здоровья.
Совсем недавно, в феврале текущего года, Samsung сообщила, что их смарт-часы получили одобрение от FDA (Управление по санитарному надзору за качеством пищевых продуктов и медикаментов США) как устройство для определения апноэ сна. Апноэ сна – это нарушение, в результате которого во время сна у человека останавливается дыхание. Такие остановки сами по себе не смертельны, но приводят к тому, что человек многократно просыпается, спит прерывисто и мало, а это уже ведет к разным проблемам со здоровьем, которые сокращают продолжительность жизни. Проблема апноэ в том, что оно часто не диагностируется годами, а то и десятилетиями. Его симптомы (храп, сухость во рту и головная боль с утра, частые пробуждения, которые полусонный человек не всегда может запомнить) можно списать на самые разные обстоятельства. Храп, например, в массовой культуре настолько нормализован, что храпящий человек едва ли пойдет к врачу именно с этой проблемой (а надо).
Поэтому распознавание признаков апноэ и оповещение пользователя – это важное дело. Несколько позднее об одобрении аналогичной функции сообщили и в Apple (посмотрю, как там дела с апноэ у моего стола).
Помимо отслеживания сна, Apple занимается исследованиями в области определения мерцательной аритмии. Функция такая в часах уже доступна, и исследование проводилось совместно со Стэнфордским университетом. Пришли к тому, что ранние признаки можно в самом деле обнаружить с помощью часов и послать человека к врачу вовремя.
У Samsung помимо часов еще есть умное кольцо, у которого тоже есть функция анализа сна. По всей видимости, для кольца функция определения апноэ не одобрена. Во всяком случае, пока.
Умные кольца есть не только у Samsung. Среди прочих на рынке выделяется умное кольцо финской компании Oura. Оно измеряет температуру, частоту сердечных сокращений, уровень кислорода в крови, некоторые другие показатели, которые обычно определяют смарт-часы, и отслеживает сон. По Интернету ходят восторженные отзывы (не буду их здесь приводить).
Еще одно важное направление развития – отслеживание уровня глюкозы в крови для людей с диабетом. Пока часы или кольца не умеют по расписанию забирать кровь и делать анализ, но есть приложения, в которые можно добавить данные с некоторых глюкометров. Уровень глюкозы будет отображаться вместе с показателями активности и сна, и это может помочь людям понять, что на них больше всего влияет и как себя вести.
Умные очки тоже кое-что умеют. Для подсчета шагов и мониторинга сердечного ритма они, пожалуй, не так удобны (хотя мне лично не приходилось бегать в очках), не говоря уж о паттернах сна. Но они могут записывать информацию о том, насколько скрюченно мы сидим за компьютером, например. Еще очевидное применение – отслеживать первые признаки нарушений зрения или снимать изображение радужки глаза. По очкам пока не так много информации, как по другим устройствам, но исследования ведутся активно.

(Изображение сгенерировано с использованием PaLM AI)

Примерно 150 лет назад я собиралась написать пост про то, как языковые модели видят (или не видят) текст. Вот, наконец, и повод подвернулся

Ответственного ИИ и безопасности данных пост. Он важный, посмотрите

Новые архитектуры (не трансформеры). Часть 1

В апреле этого года на arxive.org появилась очень интересная статья, которая наделала шума (да, сейчас конец октября, но лучше поздно, чем никогда). Речь о публикации «KAN: Kolmogorov-Arnold Networks», которая предлагает новую архитектуру для нейросетей, и я сейчас попробую в двух словах объяснить, почему она так замечательна.
Во-первых, архитектура новая, но базовые принципы у нее старые – теорема Колмогорова-Арнольда. Если коротко, эта теорема гласит, что любую очень сложную функцию, которая зависит от множества переменных, можно представить в виде суммы простых функций, каждая из которых зависит от одной переменной.
Во-вторых, современные нейросети построены на базе многослойных перцептронов (Multilayer Perceptron). О том, кто такой многослойный перцептрон я писала здесь, и еще не мое, но очень хорошее объяснение есть здесь. Коротко: мы имеем сеть из нескольких слоев, на каждом из которых данные преобразуются линейным способом. В конце к ним применяется нелинейная функция, и готово – у нас есть ответ.
В сложных нейросетях большого размера есть несколько (много) нелинейных функций, которые применяются после группы линейных слоев. Больше слоев – более сложные данные могут быть обработаны. Число нелинейных преобразований и сами такие преобразования определены заранее, как и число линейных слоев – это параметры зафиксированы, меняются коэффициенты (на которые мы в каждом слое умножаем данные и которые мы прибавляем к данным).
А у сетей Колмогорова-Арнольда вообще нет никаких линейных весов. Все ее параметры – функции от одной переменной, и все они определяются в процессе обучения, а не задаются заранее. Это делает сети намного более гибкими, масштабируемыми и, что важно, более удобными с точки зрения интерпретации человеком (все хорошо, мы сейчас к этому придем).
В статье очень много красивой математики, но я не стану здесь ее пересказывать, чтобы не перегружать пост. Сосредоточимся на ключевых моментах.
Сети Колмогорова-Арнольда в сущности своей комбинируют свойства перцептронов, которые очень хорошо масштабируются (то есть, которые можно слоями складывать, чтобы получить более высокую точность) и сплайнов. Сплайн – это такая математическая функция, которая собрана из кусочков других функций, и может, таким образом, принимать сколь угодно сложную форму. Симпатичное объяснение с картинками есть вот здесь, посмотрите для лучшего понимания.
То есть, сети Колмогорова-Арнольда могут, во-первых, адаптироваться к данным очень сложной структуры (читаем «почти любым данным из реального мира»), во-вторых, легко увеличиваться в размерах (при этом занимая меньше места, чем перцептроны сопоставимого размера, посмотрите на строку «Model (Deep)» на скриншоте). Это ли не потрясающе?
Так что там с интерпретацией человеком? Мы можем визуализировать функции, которые применяет сеть, и своими глазами увидеть, как именно она работает. А еще мы можем взаимодействовать с ней и изменять эти функции, чтобы посмотреть, как изменится результат.
Если мы говорим в терминах объяснимого ИИ или ответственного ИИ, это отличная новость, потому что на данный момент одна из главных проблем работы с глубокими нейросетями в том, что мы понятия не имеем, что и где пошло не так (а оно пошло). Сети Колмогорова-Арнольда имеют потенциал в решении этой задачи.
Разумеется, у этих сетей есть свои ограничения. Например, они намного более медленно учатся. Однако точность многообещающая, и потенциальных областей применения у них немало (авторы указывают решение задач из области физики и математики в качестве приоритетных, однако сети уже хорошо показали себя в работе с изображениями, потенциально могут улучшить распознавание речи и много чего еще).
На момент написания поста (середина октября) я не нашла упоминаний о практическом применении сетей Колмогорова-Арнольда (упоминаний о том, что какой-то крупный разработчик нейросетей ими занимается, например). Но совершенно точно профессиональное сообщество активно заинтересовано, так что ждем.

Пришло время обсудить еще одну классную модель, которая фигурирует во всех рейтингах на первых строчках – Claude. Мы ее немного обсуждали уже, но сегодня полезем внутрь, потому что как же не полезть.

У меня ушло много времени на этот пост, но оно того стоило. Встречайте: протокол для создания мультиагентных систем на основе блокчейна

#инструменты

ИИ-агентов много не бывает, так что вот история о том, как их научили играть в "мафию"

Еще один инструмент, который до этот упоминался вскользь, но теперь нужно рассмотреть поподробнее.
Инструмент называется Gurobi и предназначен для математической оптимизации сложных процессов принятия решений. Вы даете на вход описание вашей задачи, ограничения вашей компании и другую важную информацию – Gurobi вам разрабатывает стратегию решения.
К сайту проекта доступ можно получить без VPN, но для запроса пробного периода тестирования (на 30 дней) VPN нужен. А потом нужно еще один-два рабочих дня, чтобы с вами связался представитель и выполнил запрос. Я попробовала притвориться, что я в Нидерландах, но меня раскусили и написали, что доступ не дадут. Но ничего, я попробую найти варианты.
Пока же поговорим о том, как это все работает и почему математическая оптимизация – это важно.
Gurobi – это «решатель» (solver). У него нет пользовательского интерфейса с окошками и кнопками, работать нужно с использованием программного кода (он поддерживает несколько языков, в том числе, например, Python и R). Кроме того, пользователям нужно понимать, как работают и создаются математические модели, так что это для продвинутых. Для тех, кто не обладает необходимыми навыками, есть Gurobi Alliance – группа организаций-партнеров, которые помогают собрать работающее решение. И еще команда Gurobi сама проводит обучение для своих клиентов.
Итак, что делает решатель? Решатель помогает вам принять решения (простите за тавтологию) по развитию вашего проекта или компании. Делает он это с использованием ИИ. Где математическая оптимизация? Внутри. Она делает так, чтобы ИИ придумал вам хороший (и оптимальный с точки зрения затрат, что важно) план для решения вашей задачи, за пару секунд.
На сайте приведены разные примеры работы Gurobi с клиентами, рассмотрим один из них – пример Uber. Задача компании состояла в том, чтобы оптимизировать маршруты транспортных средств для использования в городе, причем по воздуху (будущее здесь). Похоже, речь идет вот об этом проекте – электрические летательные аппараты с вертикальным взлетом и посадкой. Судя по информации в открытых источниках, они в итоге отказались от реализации. Продали подразделение, которое отвечало за работу с беспилотным транспортом вообще, а Uber Elevate (которое работало над воздушным транспортом) отдали Joby Aviation. Дальше я уж не пошла отслеживать судьбу этого амбициозного проекта, вернемся к математике.
Ограничением проекта было то, что беспилотные летательные аппараты (давайте далее говорить «летающее такси» для краткости) привязаны к специальным взлетно-посадочным станциями и не могут припарковаться где попало. Таким образом, сначала нужно было определить оптимальное расположение этих станций (помните игру про фургончик с буррито?). Для этого на вход алгоритму передавались маршруты (список пунктов отправления и прибытия), и алгоритм высчитывал оптимальное расположение станций на основании того, как много людей выбирает места поблизости для отправки или прибытия.
Затем нужно было построить оптимальные маршруты с учетом необходимости подзарядки летающего такси по дороге и посадки новых пассажиров (это такси, которое нужно делить с другими пассажирами, с которыми вам по пути). Задача непростая, потому что нужно убедиться в том, что не будет момента, когда все такси отправятся на подзарядку разом, или что посадка новых пассажиров не затянет поездку для первых пассажиров слишком сильно. Кроме того, речь идет о принципиально новом виде транспорта, поэтому данные, собранные заранее об обычном такси на колесах, не вполне подходят для моделирования.
Эти две задачи решали с помощью Gurobi, а потом прикрутили простой пользовательский интерфейс, чтобы можно было проверить работу алгоритма визуально.
Компания раскрывает не то чтобы очень много деталей реализации решателя, что можно понять. Но, думаю, пример Uber дает базовое понимание принципов, лежащих в его основе.