Патентование ИИ. Часть 1

В прошлой жизни, еще в 2019 году вышел отчет Всемирной организации интеллектуальной собственности (ВОИС) про ИИ в рамках серии про технологические тренды. Информация для отчета была извлечена из патентов и научных публикаций, и это подводка к разговору о патентовании ИИ, в котором есть много чего интересного.
Во-первых, некоторое время ушло на то, чтобы понять, патентовать ли решения, относящиеся к ИИ. По общему правилу, математические методы и компьютерные программы не патентуются (Европейская патентная конвенция, ГК РФ). Спустя энное количество сломанных копий и судебных заседаний, человечество пришло к тому, что программное обеспечение и ИИ таки патентоспособны.
Во-вторых, сегодня ИИ уже активно используется в изобретательской деятельности (например, с помощью ИИ можно написать код, генерировать идеи, разрабатывать прототипы и так далее), и тут встает вопрос: а на кого регистрировать патент? Тут копья пока в процессе поломки, но можно наметить некоторые особенно острые темы.

Начнем с того, о чем договорились – о патентовании разработок на основе ИИ. Признание ИИ патентоспособным (с нюансами) выражается в разработке рекомендаций экспертам патентных ведомств относительно того, когда патент можно или нельзя выдать. Европейское патентное ведомство выпустило отдельное заявление по поводу того, что алгоритм ИИ можно запатентовать, если (вот здесь нюансы) такой алгоритм решает конкретную техническую задачу (таким образом покидая мир математических абстракций). В рекомендациях экспертам это правило прописано с примерами: в частности, просто алгоритм для классификации изображений запатентовать нельзя, а если он используется для обнаружения, например, опухолей на рентгеновских снимках – можно.
Подобные инструкции есть и в Великобритании. Там тоже прописано, когда ИИ вносит технический вклад в изобретение. В качестве примера установления наличия технического вклада приводится решение суда по спору между правообладателем патента и патентным ведомством. Предметом спора была выдача патента на нейросеть, в итоге в выдаче патента отказали, потому что не нашли технического вклада нейросети в изобретение. Но это ладно, а нам здесь интересно другое: суд постановил, что нейросеть к компьютерным программам не относится:

Accordingly, the court held as a matter of construction the claimed invention was not a computer program at all (see paragraph 61). The computer program exclusion was not invoked by the claimed invention.

То есть, вообще экспертам рекомендуют не отказывать в выдаче патента на нейросеть на основании того, что «это компьютерная программа».
На сайте, ссылку на который я прикрепила выше, приводятся еще несколько судебных решений, важных для разных аспектов патентования ИИ. Не будучи юристом, я не полезу в эти дебри, остановлюсь только на заключении: алгоритмы ИИ патентоспособны, если они вносят технический вклад в разработку. Технический вклад не должен касаться объектов, исключенных из патентоспособности: бизнес-методов, методов обработки информации и т.п. Важно смотреть на конечную цель: если целью является анализ информации как таковой, патент получить нельзя. А если анализ информации используется для того, чтобы далее (с помощью ИИ) предсказывать ввод пользователя на виртуальной клавиатуре – можно.
Для России, к сожалению, удалось найти только Руководство по экспертизе заявок на изобретение от 2018 года, которое утратило силу. Аккуратно предположу, что у нас правила не сильно отличаются от общемировых, потому что патенты на разработки, связанные с ИИ, есть. Кроме того, есть позиция Евразийской патентной организации (ЕАПО), членом которой Россия является. ЕАПО тоже указывает на необходимость технического вклада ИИ в изобретение.

Патентование ИИ. Часть 2

Теперь же перейдем к тому, что пока еще никому не понятно: что делать, если ИИ был задействован в процессе создания изобретения? в феврале этого года Ведомство по патентам и товарным знакам США выпустило руководство для экспертов, в котором сказано, что на изобретение можно выдать патент, если вклад в его создание человека существенен. Это значит, что разработка идеи и принятие ключевых решений в рамках ее осуществления должны быть выполнены человеком. ИИ может быть использован при проведении экспериментов, генерации данных, моделировании образцов и в прочих подобных задачах. Человек, который принимал участие только в проведении экспериментов, оказывал консультативную поддержку, собирал данные и пр., не считается изобретателем, поскольку его вклад не считается существенным.
ВОИС несколькими годами ранее публиковала статью о двух заявках на выдачу патентов на изобретения, полностью созданные с использованием ИИ. Это был эксперимент, обе заявки успешно прошли экспертизу на патентоспособность. Авторы публикации занимают позицию, противоположную позиции патентного ведомства США, и считают, что патенты на созданные ИИ изобретения выдавать надо (и указывать ИИ в качестве автора). По мысли команды, это подтолкнет изобретателей к более активному использованию ИИ и поможет ускорить научно-технологический прогресс. На странице проекта The Artificial Inventor Project они публикуют актуальную информацию о том, что происходит с их сгенерированными ИИ изобретениями, и как они работают над продвижением своей идеи.
Согласно информации на этом сайте, один патент таки был выдан, но только в ЮАР. В графе «Изобретатель» так и написано: «Изобретение было автономно сгенерировано с помощью ИИ». В некоторых других странах поданы заявки, во многих ведутся судебные споры о патентоспособности изобретения.
Этот незаконченный проект – интересный прецедент. Посмотрим, к чему приведут все эти бурные обсуждения.

Генеративный ИИ развивается быстро, но не так быстро, как если бы нам хватало чипов. Часть 1

Это не то чтобы большая новость, конечно, но для обучения больших генеративных моделей нужны вычислительные ресурсы. Вычислительные ресурсы – это графические процессоры, которые производят гиганты вроде Nvidia и AMD. Первые графические процессоры появились в 1980х, и, когда их стали использовать для глубокого обучения, развитие ИИ пошло в гору.
Сейчас спрос вырос, потому что модели стали больше и тяжелее, и потребность в их использовании для разных задач тоже возросла. Компании-производители графических процессоров, конечно, озолотятся на спросе (если у вас была мысль заняться производством, время пришло).
Однако для обычных потребителей, которые пользуют графические процессоры для своих локальных нужд (не будем показывать пальцем), это может вылиться в рост цен. Например, есть вот популярный у тех, кто работает с данными, Google Colab. Там можно подключить себе разные процессоры и пользоваться арендованными вычислительными мощностями, которые измеряются в «вычислительных единицах». Не вдаваясь в подробности, 100 таких единиц стоит 10 долларов (цена зависит от региона). При среднем расходе примерно в 5 единиц в час мы получаем путем несложных вычислений 20 часов работы. Это примерно на неделю-полторы с учетом того, что мы не все рабочее время пишем и запускаем код, а сколько-то часов лазаем по Интернету, ищем ошибки и все такое. 500 единиц можно разом купить за 50 долларов. При аккуратном использовании этого могло бы хватить на месяц, но не хватит, потому что сгорают они так, как будто их кто ест (сейчас я перестану ныть, просто накипело). Конечно, есть и другие способы получить вычислительные мощности, можно поискать варианты побюджетнее. Но в итоге, скорее всего, все равно придется выложить кругленькую сумму за удовольствие поработать с моделями. Я еще молчу про то, что для работы понадобится немаленький объем оперативной памяти, который не у каждого процессора будет. В общем, все сложно и дорого.

Но тут на сцену выходят они – методы оптимизации. То есть, они и раньше были, разумеется, но в условиях нехватки мощностей получили шанс на новую популярность. Математическая оптимизация – это непростая тема, и многие, кто работает с анализом данных, ее побаиваются (включая меня; но я с этим работаю). Поэтому наряду с производителями процессоров озолотятся, видимо, люди, которые создают продукты для оптимизации (вот вам еще бизнес-идея, всегда пожалуйста).

Генеративный ИИ развивается быстро, но не так быстро, как если бы нам хватало чипов. Часть 2

Мне более или менее близко знакомы только два продукта. Первый – Gurobi. Про него была серия в подкасте SuperDataScience. Он платный, но команда выпускает множество открытых обучающих материалов по оптимизации. Я собираюсь про них отдельно сделать исследование и, если наберется на пост, будет пост. А пока вот вам игра про математическую оптимизацию на примере фургончика с буррито.
Второй – Ollama. Это проект с открытым исходным кодом, который можно прям себе скачать и сразу начать использовать. Одной простой командой в терминале запускается любая из доступных в каталоге моделей, тут даже не нужно навыков программирования, чтобы их протестировать. Обучение можно посмотреть здесь, оно максимально понятное. Я начала использовать Ollama для своих проектов недавно, и пока очень радуюсь.
Ollama использует ресурсы компьютера, поэтому, конечно, чем он мощнее, тем быстрее все будет работать. Еще нужно иметь хотя бы 8 ГБ оперативной памяти для запуска самых маленьких моделей.
Принцип работы Ollama, если коротко, следующий: создается контейнер, в котором есть среда для запуска модели: веса, необходимые файлы конфигурации и зависимости. То есть, ничего дополнительно устанавливать не нужно и страдать, совмещая разные версии пакетов, – тоже. Эта конструкция совместима с любой операционной системой и не создает конфликтов с другими приложениями.
Помимо очевидного, у Ollama есть еще один плюс: весь ваш проект находится у вас на компьютере, а не на чьем-то сервере, с которым всякое может случиться. К тому же, после загрузки модели, ее можно будет использовать без доступа к Интернету (разумеется, задания, связанные с поиском в Интернете, она не выполнит).
Некоторые команды, инструкции по установке и полезные подсказки можно подсмотреть здесь.

Есть, правда, еще один путь – атомная энергия. По этому пути пошла компания Microsoft, подписав соглашение о перезапуске реактора Three Mile Island. Планируют его использовать, чтобы обеспечивать электричеством свои дата-центры. Разумеется, просто взять и запустить реактор, на котором произошла серьезная авария, нельзя, нужно получать разрешение комиссии по ядерной регламентации (Nuclear Regulatory Commission). Экспертиза может завершиться к 2027 году, посмотрим, что из этого выйдет.

(Изображение героической ламы создано с использованием ChatGPT)

Телеграм не дает нормально публиковать большие посты, поэтому я сейчас буду пробовать разные форматы.
Сегодня загрузила пост в телеграф, надеюсь, он нормально отобразится.

UPD: починила картинки, теперь всё отображается

У меня есть смарт-часы, которыми я пользуюсь в том числе для того, чтобы контролировать продолжительность сна. Благодаря этому использованию я узнала, что мой письменный стол, на котором лежат часы, пока я занимаюсь домашними делами, спит крепко и пульс у него стабильный (а всякие обзорщики еще говорили, что Apple Watch – одни из лучших часов на рынке. Вот и верь им). В общем, ИИ в смарт-часах пока несовершенен, однако его туда очень активно суют. И не только туда. Поговорим об этом.
Чтобы не разойтись на трехтомное собрание сочинений, ограничимся мониторингом некоторых показателей здоровья.
Совсем недавно, в феврале текущего года, Samsung сообщила, что их смарт-часы получили одобрение от FDA (Управление по санитарному надзору за качеством пищевых продуктов и медикаментов США) как устройство для определения апноэ сна. Апноэ сна – это нарушение, в результате которого во время сна у человека останавливается дыхание. Такие остановки сами по себе не смертельны, но приводят к тому, что человек многократно просыпается, спит прерывисто и мало, а это уже ведет к разным проблемам со здоровьем, которые сокращают продолжительность жизни. Проблема апноэ в том, что оно часто не диагностируется годами, а то и десятилетиями. Его симптомы (храп, сухость во рту и головная боль с утра, частые пробуждения, которые полусонный человек не всегда может запомнить) можно списать на самые разные обстоятельства. Храп, например, в массовой культуре настолько нормализован, что храпящий человек едва ли пойдет к врачу именно с этой проблемой (а надо).
Поэтому распознавание признаков апноэ и оповещение пользователя – это важное дело. Несколько позднее об одобрении аналогичной функции сообщили и в Apple (посмотрю, как там дела с апноэ у моего стола).
Помимо отслеживания сна, Apple занимается исследованиями в области определения мерцательной аритмии. Функция такая в часах уже доступна, и исследование проводилось совместно со Стэнфордским университетом. Пришли к тому, что ранние признаки можно в самом деле обнаружить с помощью часов и послать человека к врачу вовремя.
У Samsung помимо часов еще есть умное кольцо, у которого тоже есть функция анализа сна. По всей видимости, для кольца функция определения апноэ не одобрена. Во всяком случае, пока.
Умные кольца есть не только у Samsung. Среди прочих на рынке выделяется умное кольцо финской компании Oura. Оно измеряет температуру, частоту сердечных сокращений, уровень кислорода в крови, некоторые другие показатели, которые обычно определяют смарт-часы, и отслеживает сон. По Интернету ходят восторженные отзывы (не буду их здесь приводить).
Еще одно важное направление развития – отслеживание уровня глюкозы в крови для людей с диабетом. Пока часы или кольца не умеют по расписанию забирать кровь и делать анализ, но есть приложения, в которые можно добавить данные с некоторых глюкометров. Уровень глюкозы будет отображаться вместе с показателями активности и сна, и это может помочь людям понять, что на них больше всего влияет и как себя вести.
Умные очки тоже кое-что умеют. Для подсчета шагов и мониторинга сердечного ритма они, пожалуй, не так удобны (хотя мне лично не приходилось бегать в очках), не говоря уж о паттернах сна. Но они могут записывать информацию о том, насколько скрюченно мы сидим за компьютером, например. Еще очевидное применение – отслеживать первые признаки нарушений зрения или снимать изображение радужки глаза. По очкам пока не так много информации, как по другим устройствам, но исследования ведутся активно.

(Изображение сгенерировано с использованием PaLM AI)

Примерно 150 лет назад я собиралась написать пост про то, как языковые модели видят (или не видят) текст. Вот, наконец, и повод подвернулся

Ответственного ИИ и безопасности данных пост. Он важный, посмотрите

Новые архитектуры (не трансформеры). Часть 1

В апреле этого года на arxive.org появилась очень интересная статья, которая наделала шума (да, сейчас конец октября, но лучше поздно, чем никогда). Речь о публикации «KAN: Kolmogorov-Arnold Networks», которая предлагает новую архитектуру для нейросетей, и я сейчас попробую в двух словах объяснить, почему она так замечательна.
Во-первых, архитектура новая, но базовые принципы у нее старые – теорема Колмогорова-Арнольда. Если коротко, эта теорема гласит, что любую очень сложную функцию, которая зависит от множества переменных, можно представить в виде суммы простых функций, каждая из которых зависит от одной переменной.
Во-вторых, современные нейросети построены на базе многослойных перцептронов (Multilayer Perceptron). О том, кто такой многослойный перцептрон я писала здесь, и еще не мое, но очень хорошее объяснение есть здесь. Коротко: мы имеем сеть из нескольких слоев, на каждом из которых данные преобразуются линейным способом. В конце к ним применяется нелинейная функция, и готово – у нас есть ответ.
В сложных нейросетях большого размера есть несколько (много) нелинейных функций, которые применяются после группы линейных слоев. Больше слоев – более сложные данные могут быть обработаны. Число нелинейных преобразований и сами такие преобразования определены заранее, как и число линейных слоев – это параметры зафиксированы, меняются коэффициенты (на которые мы в каждом слое умножаем данные и которые мы прибавляем к данным).
А у сетей Колмогорова-Арнольда вообще нет никаких линейных весов. Все ее параметры – функции от одной переменной, и все они определяются в процессе обучения, а не задаются заранее. Это делает сети намного более гибкими, масштабируемыми и, что важно, более удобными с точки зрения интерпретации человеком (все хорошо, мы сейчас к этому придем).
В статье очень много красивой математики, но я не стану здесь ее пересказывать, чтобы не перегружать пост. Сосредоточимся на ключевых моментах.
Сети Колмогорова-Арнольда в сущности своей комбинируют свойства перцептронов, которые очень хорошо масштабируются (то есть, которые можно слоями складывать, чтобы получить более высокую точность) и сплайнов. Сплайн – это такая математическая функция, которая собрана из кусочков других функций, и может, таким образом, принимать сколь угодно сложную форму. Симпатичное объяснение с картинками есть вот здесь, посмотрите для лучшего понимания.
То есть, сети Колмогорова-Арнольда могут, во-первых, адаптироваться к данным очень сложной структуры (читаем «почти любым данным из реального мира»), во-вторых, легко увеличиваться в размерах (при этом занимая меньше места, чем перцептроны сопоставимого размера, посмотрите на строку «Model (Deep)» на скриншоте). Это ли не потрясающе?
Так что там с интерпретацией человеком? Мы можем визуализировать функции, которые применяет сеть, и своими глазами увидеть, как именно она работает. А еще мы можем взаимодействовать с ней и изменять эти функции, чтобы посмотреть, как изменится результат.
Если мы говорим в терминах объяснимого ИИ или ответственного ИИ, это отличная новость, потому что на данный момент одна из главных проблем работы с глубокими нейросетями в том, что мы понятия не имеем, что и где пошло не так (а оно пошло). Сети Колмогорова-Арнольда имеют потенциал в решении этой задачи.
Разумеется, у этих сетей есть свои ограничения. Например, они намного более медленно учатся. Однако точность многообещающая, и потенциальных областей применения у них немало (авторы указывают решение задач из области физики и математики в качестве приоритетных, однако сети уже хорошо показали себя в работе с изображениями, потенциально могут улучшить распознавание речи и много чего еще).
На момент написания поста (середина октября) я не нашла упоминаний о практическом применении сетей Колмогорова-Арнольда (упоминаний о том, что какой-то крупный разработчик нейросетей ими занимается, например). Но совершенно точно профессиональное сообщество активно заинтересовано, так что ждем.