Раз пока по-прежнему нет интересных новостей про лингвистику, порадуемся телефонам для линуксоидов! НТЦ «ИТ РОСА» поделилась подробностями о своих телефонах и своей операционной системе для них ROSA Mobile. Про телефоны известно только то, что их стоимость будет до 40 тыс. рублей.

А вот ОС уже интересней. Это их собственная разновидность Linux, которая в своей основе опирается на обычный настольный дистрибутив (наверно, поскольку, естественно, и близко её не видел), но с переработанным интерфейсом и частичной поддержкой приложений для Android. Поддержка приложений для Android, пусть и частичная, — это очень хорошо. Пользователи обрадуются. Это большое преимущество перед «Авророй». Китайский OpenKylin тоже заявлял, что имеет поддержку приложений для Android, хотя сам по себе ориентирован на настольные системы.

Ключевой момент, который, например, мне был бы интересен в первую очередь, — это возможность залезть во все внутренности устройства. Это даёт определённую свободу, чего часто не хватает на популярных моделях. Ради этого готов подержать на своей трубке систему от ROSA, которую, если бы не драйверы и другие технические моменты, с большой вероятностью снёс бы вмиг. Если устройство будет работать хорошо, и проблем с доступом не будет, то телефон может оказаться весьма привлекательным для линуксоидов. Если доступа внутрь не будет, то в руки не возьму принципиально, ибо незачем.

https://www.rbc.ru/technology_and_media/18/07/2023/64b579429a79475b14a1b3ae

#ROSA #ROSAMobile #linux #телефон

Когда все уже расслабились от «глупостей» ChatGPT и GPT-4, в процессе разработки моделей произошёл интересный поворот. В целом, ожидаемый, но от этого не менее интригующий. Интересен он тем, что модели впервые пытаются научить «думать» (ниже будут подробности, что не совсем впервые, конечно).

История началась с оценок математических возможностей ChatGPT и GPT-4. Мне попадались оценки успешности решения математических задач в диапазоне от 2% до 78%. Очень много зависит от того, как формируется тестовый набор, т.е. что принимается за 100%. Поэтому цифры были в целом не так важны.

Традиционная схема работы генеративной модели, при которой модель генерирует ответ в рамках одной итерации, реализует стратегию, называемую outcome supervision. Разработчики начали предпринимать попытки развить её в новую схему, называемую process supervision. В новом варианте модель должна пройти для генерации ответа несколько шагов обработки, на каждом из которых получает отдельное «вознаграждение» (rewarding).

Многих людей это дело немало порадовало, потому что эта схема уже начинает напоминать процесс размышления у человека. Результат будет получен после того, как обработается цепочка вывода с критической оценкой промежуточного результата на каждом шаге. Давно хотелось заставить модели «думать», но ничего не получалось. Всё решат, конечно, фактические результаты, которых удастся достичь. Будем наблюдать, но уместны некоторые оговорки.

Подобная идея далеко не нова. В архаическом ИИ был целый пласт исследований, направленных на развитие логического поиска и вывода. Прежде всего вспомним алгоритм A*, который может проводить поиск, если задана направляющая функция (именно она, мне кажется, лучше всего подходит под применяемые «вознаграждения»). Всё это было давно и в своё время никаких значимых результатов не показало.

Вместе с тем, видимо, можно предположить, что Open AI фактически признало ограниченность работы GPT в схеме outcome supervision.

https://openai.com/research/improving-mathematical-reasoning-with-process-supervision

https://weloveai.ca/improving-mathematical-reasoning-with-process-supervision/

#GPT #OpenAI #progresssupervision

Сбер представил новую версию генеративной модели ruGPT-3.5. Это событие на общем фоне новостей LLM, возможно, не самая сенсация, но предыдущая их версия была крайне удобной для любых академических и технических экспериментов.

Эту версию пока не запускал. Было бы хорошо, если бы она не стала бы принципиально тяжелее, к чему, естественно, всегда есть тенденция. Прежняя ruGPT запускалась на ноутбуках от 8G RAM и основывалась на кодовой базе Transformers от HuggingFace, что открывало необъятные просторы для её изучения.

Если качество возрастёт, эта серия моделей может оказаться ключевой в решении ряда задач, включая производство синтезированных аудиокниг, где пока не всё ещё гладко. Для русского языка конкурентом этой модели можно считать YaML100B от Яндекса.

https://3dnews.ru/1090296/sber-vilogil-v-otkritiy-dostup-model-rugpt35

#ruGPT #GPT #LLM #Сбер

Про искусственный интеллект, мудрость и убеждения. Время от времени люди вокруг обращают внимание на то, что при вычитании слова «наука> из слова «жизнь» в списке разных горестных явлений неожиданно появляется слово «счастье». Дескать, батюшка, вот глючит твоя векторная модель вместе со всем твоим искусственным недоинтеллектом. Пишу несколько утрированно, но чтобы было понятно.

А я напротив считаю, что здесь Word2vec проявляет редкостную мудрость. Это не глюк, а математическое подтверждение одного из моих фундаментальных жизненных убеждений.

Совершенно на полном серьёзе уверен, что в жизни счастье и истина являются взаимоисключающими понятиями. Тут мною истина понимается в буквальном смысле как множество и полнота бесспорных неопровержимых утверждений, а не в философском или религиозном плане. В случае эксперимента с Word2vec слово наука оказывается синонимом истины, следовательно, при исключении науки — истины — из жизни в жизнь приходит счастье.

Именно на основе этого фундаментального явления появилось латинское изречение «Sapere aude», которое Иммануил Кант понимал как «Имей мужество использовать свой собственный разум».

В художественном смысле другой прекрасной иллюстрацией этого явления может быть мультфильм по рассказу Рэя Брэдбери «Здесь могут водиться тигры». В истинном мире люди не могут летать, реки не приносят рыбу и вино, и следует сделать выбор: согласиться на счастье в неистинном мире или на тягость в истинном. Один герой выбирает счастье, два других истину, а четвёртый пытается это всё совместить и погибает, что, впрочем, закономерно.

Так что подумайте, прежде чем спорить с искусственным интеллектом. Точно ли все правильно понимают, как вообще устроен этот мир?

На всякий случай ещё раз исходный список слов, являющихся результатом вычитания «науки» из «жизни»: «страданье», «одиночество», «терзание», «горе», «счастье», «тоска», «душа», «бездомность», «существованье», «прозябание», «разлука», «безмятежность», «сиротство».

#НеПоДелу #истина #счастье #word2vec