всем привет, новый выпуск капитанского мостика, в этот раз мы снова вдвоем с Димой Колодезевым

ИИ-саммари:
В этом выпуске обсуждаются ключевые темы, связанные с искусственным интеллектом, включая концепцию сверхсильного интеллекта, проблемы взаимодействия с ИИ, необходимость разработки стандартов и регулирования, а также оптимизм Илона Маска в отношении будущего AGI. Участники подчеркивают важность терминологии и коммуникации в этой области, а также возможные последствия для общества. В этом разговоре обсуждаются ключевые темы, связанные с развитием технологий и искусственного интеллекта. Участники делятся мнениями о зрелости рынка, важности перевода знаний, языковых барьеров, монетизации технологий и качестве кода, сгенерированного AI. Также рассматриваются перспективы безопасных транзакций и магазинов навыков для роботов. В этом разговоре обсуждаются современные технологии, их влияние на бизнес и проблемы внедрения искусственного интеллекта.

ссылки:
ODS VK Video

ODS YouTube

мой дзен

@valuableai

недели не прошло, как мы обсуждали общество победившего киберпанка, а тут опять:

— Чем вы занимались в своей стране?

— В основном я работал в компаниях вроде Microsoft и использовал новые инструменты — ИИ, чат-боты, GPT и тому подобное. По сути, я разработчик.

— Почему вы решили приехать в Россию на работу?

— Я индиец, и для индийца не имеет значения, какая работа. Работа — это для Бога. Работать можно где угодно — в туалете, на улице, где угодно. Это моя работа, мой долг и ответственность — делать её как можно лучше. Вот и всё.

@valuableai

тут пару дней назад чуть-чуть хайпанула статья от коллег из Google, суть которой описывается одной фразой повторение промта, увеличивает качество генерации

но интересно тут другое, коллеги подсказали, что такая идея уже была высказана почти два года назад; там правда было про то, что повторение улучшает качество эмбеддинга (картинка оттуда)

как пошутили у нас в чате "решили повторить статью, чтобы улучшить результат"

смешнее было бы, если бы свежая статья не ссылалась на более старую, но тут коллег нельзя упрекнуть; на самом деле это даже удивительно - на ICLR тысячи статей, еще десятки тысяч на других конференциях и сотни тысяч - на архиве; но они нашли статью с похожей идеей (а может быть и стартовали с нее, как более вероятный вариант); если бы не стартовали - вряд ли бы чисто статически смогли найти и сослаться

P.S. Ване и Тимуру спасибо

@valuableai

летом обещали, а сейчас наконец дошли руки, военное министерство США заключило контракты с двумя бигтехами: Google и xAI

контракты эти на предоставление доступа к LLM на платформе GenAI.mil; у многих крупных организаций внутри есть аналоги - единая точка доступа к разным провайдерам LLM; анонсировано, что модели будут работать с Impact Level 5 - это аналог нашего грифа "для служебного пользования" (т.е. ни с чем секретным LLM работать не будут); но лиха беда начало, как говорится

интересно, что обещали еще контракты OpenAI и Anthropic, но про них новостей не было; стесняются?

@valuableai

с берегов туманного Альбиона пришло две новости:

с одной стороны, ИИ-суммаризация приводит к тому, что создатели рецептов теряют в рекламном трафике

но с другой стороны исследование коллег из Кэмбриджа показывает, что конспектирование (то есть та же суммаризация с помощью естесственного интеллекта) полезно при обучении

то есть учим детей навыку суммаризации, а потом машина с этим навыком отбирает у них работу; оставлю вас с этой мыслью

@valuableai

всем привет, итоговый выпуск капитанского мостика за 2025 год, мы снова вдвоем с Димой Колодезевым

ИИ-саммари:
В этом выпуске обсуждаются ключевые события года, включая рост цен на технологии памяти, скорость изменений в индустрии, дефляцию технологий и трансформацию маркетинга. Также рассматриваются новые навыки, необходимые в программировании, и важность образования в технологической сфере России. В этом разговоре обсуждаются ключевые проблемы и перспективы агрономии, сравнение технологий в агропромышленности и IT, влияние цензуры на информационное поле в разных странах, культурный код и его влияние на бизнес, а также потенциал Японии в области искусственного интеллекта и хрупкость новой экономики. В этом разговоре обсуждаются ключевые темы, такие как хрупкость современного мира, влияние технологий на общество, ограничения реального мира, пузырь в индустрии технологий и роль Китая в гонке роботов.

ссылки:
ODS VK Video

ODS YouTube

мой дзен

@valuableai

интересные новости приходят с той стороны глобуса: в Огайо депутат местного парламента предложил закрепить в законе, что любой ИИ является неразумной сущностью ("nonsantient entity", даю ссылку на Wall Street Journal, т.к. сам законопроект у меня ни из-под одного прокси не открылся)

это интересно обсудить, т.к. с одной стороны сейчас много людей, которые пытаются найти в LLM признаки разума - тут достаточно вспомнить тестировщика из Google, который 3,5 года назад их "нашел"; я считаю, что никакого разума там, конечно, не было и нет, но утверждать, что он не появится в процессе разработки, особенно условиях усилий большого количества людей по созданию т.н. сверхсильного ИИ (ASI), я бы не стал

это все ставит важный вопрос - а что такое этот самый разум? по каким признакам мы отличим его наличие? на этот вопрос много людей пытается ответить; я бы здесь хотел вспомнить книгу "Ложная слепота" (Blindsight) - там вопрос определения разума ставится, но остается без ответа

@valuableai

я долго думал, как поздравить всех с наступающим Новым Годом, а потом мне на глаза попалась эта милая история: некий энтузиаст сделал самую крошечную языковую модель - вместе с кодом для обработки ввода-вывода она занимает всего 40 килобайт

на самом деле все еще интереснее, эта языковая модель - это программа для CP/M для процессора Z80 с 64 кБ памяти; в языковой модели используется хэширование для входных токенов - в его случае триграмм, это обеспечивает устойчивость к опечаткам; модель сквантована в 2 бита (-2, -1, 0 и 1), но на инференсе используется 16-битные целые вычисления, на которые рассчитан Z80

в качестве архитектуры там используются 3 полносвязных слоя и ReLU для активаций; при этом 128 токенов длинна входа и еще 128 - контекст; причем с этой радостью можно поиграть в загадки (отсюда взялся слон на заглавной картинке)

эта история учит нас, что даже в чем-то большом нужно видеть малое, а в малом - большое
с наступающим Новым Годом!

@valuableai

я хотел сегодня пропустить, чтобы дать всем отдохнуть, но меня догнала огненная новость - мои бывшие коллеги из исследовательского центра им. Н.Н. Лузина (это псевдоним, могу намекнуть на оригинальное навзвание - 🐉🪷🌺) выложили свой претрейн!

модель под названием Gamayun на 1.5B параметров, лучше Qwen2.5 аналогичного размера на русском, арабском, болгарском, испанском и польском языках!

также в этой работе коллеги предложили бенчмарк RuBIN, фактически измеряющий знание популярных русскоязычных цитат

мне очень приятно начать год с такой новости, поздравляю коллег из исследовательского центра им. Н.Н. Лузина, а также всех интересующихся русскоязычным NLP! 🎉🎉🎉

@valuableai

всем привет, если вам нечем заняться на новогодние праздники, кроме доедания салатов, то еще есть возможность залететь в соревнование по переводу на тюркские языки (будет идти до конца праздников)

тем более, что появился повод, прямо под ёлочку 🎄 Tencent выпустили обновление своих моделей для машинного перевода Hunyuan 1.5 (если я правильно понял, то наилучшим переводом 混元 будет "первичный бульон", как источник для всего разнообразия жизни)

коллеги выпустили две новых модели 1.8B и 7B, результаты (на картинке) впечатляют - бьют специализированные переводчики от Google и Microsoft, правда, проигрывают Gemini Pro (что, конечно, неудивительно)

кстати, часть результатов на FLORES-200, который среди 200 языков включает башкирский, казахский, кыргызский и татарский, так что можно залететь в соревнование с этими моделями; присоединяйтесь!

@valuableai

вообще эта новость вполне могла быть в любой день, но иллюстрация требует поставить ее в субботу; суть новости - Google выкатил генератор заголовков для новостных сюжетов, и все заверте... я могу восстановить логику событий так, что кто-то решил обучить генератор делать привлекательные (кликабельные) заголовки; как следствие, генератор честно выучился делать кликбейт - то есть максимально "желтые"

я думаю, что люди, которые обучали, не были знакомы со спецификой новостного домена, что еще раз подчеркивает необходимость погружения в область, прежде, чем "палить из всех столов", в смысле обучать самые модные модели на любых доступных данных

@valuableai

всем привет, сегодня "Капитанского мостика" не будет, поэтому выкладываю свое декабрьское выступление на митапе Китай AI х Open Source в Иннополисе

@valuableai

из США приходят интересные новости: частная охранная фирма использует для патрулирования территории ЖК робопса (на видео)

этим в наше время мало кого удивишь, но важно другое - они заявляют, что используют удаленного оператора (заявляется, что из Колумбии); в свете недавнего происшествия с роботом Optimus, когда, кажется, оператор снял шлем, после чего робот отключился; также можно вспомнить телеуправляемых роботов-уборщиков

из всего этого вырисовывается некоторая тенденция - в Китае ставят на замену человека на алгоритмы, а в США на замену человека другим человеком - но подешевле, из страны третьего мира

@valuableai