новый мир наступает стремительно: пришла новость, что парень, бросивший школу, самостоятельно изучил LLM и устроился в OpenAI

сам по себе этот случай можно считать выбросом, но сейчас идет большая тенденция к тому, чтобы использовать ИИ в образовании; если задавать правильные вопросы, то ИИ вполне способен помочь разобраться в сложной теме

ключевой аспект тут, что предварительно у человека уже должна быть сформирована картина мира, иначе освоения знаний не получится; это можно сравнить с изучением новой области по справочнику - там потенциально есть все, но нет структуры области

на мой взгляд сейчас школьное образование стоит перед серьезным вызовом - его нужно перестроить с передачи знаний на формирование цельной картины, а знания можно получить у ИИ; последнее уже активно происходит (1, 2), а вот про первое я ничего не слышал

@valuableai

всем привет, новый выпуск капитанского мостика, в этот раз мы снова вдвоем с Димой Колодезевым

ИИ-саммари:
В этом выпуске обсуждаются ключевые темы, связанные с искусственным интеллектом, включая концепцию сверхсильного интеллекта, проблемы взаимодействия с ИИ, необходимость разработки стандартов и регулирования, а также оптимизм Илона Маска в отношении будущего AGI. Участники подчеркивают важность терминологии и коммуникации в этой области, а также возможные последствия для общества. В этом разговоре обсуждаются ключевые темы, связанные с развитием технологий и искусственного интеллекта. Участники делятся мнениями о зрелости рынка, важности перевода знаний, языковых барьеров, монетизации технологий и качестве кода, сгенерированного AI. Также рассматриваются перспективы безопасных транзакций и магазинов навыков для роботов. В этом разговоре обсуждаются современные технологии, их влияние на бизнес и проблемы внедрения искусственного интеллекта.

ссылки:
ODS VK Video

ODS YouTube

мой дзен

@valuableai

недели не прошло, как мы обсуждали общество победившего киберпанка, а тут опять:

— Чем вы занимались в своей стране?

— В основном я работал в компаниях вроде Microsoft и использовал новые инструменты — ИИ, чат-боты, GPT и тому подобное. По сути, я разработчик.

— Почему вы решили приехать в Россию на работу?

— Я индиец, и для индийца не имеет значения, какая работа. Работа — это для Бога. Работать можно где угодно — в туалете, на улице, где угодно. Это моя работа, мой долг и ответственность — делать её как можно лучше. Вот и всё.

@valuableai

тут пару дней назад чуть-чуть хайпанула статья от коллег из Google, суть которой описывается одной фразой повторение промта, увеличивает качество генерации

но интересно тут другое, коллеги подсказали, что такая идея уже была высказана почти два года назад; там правда было про то, что повторение улучшает качество эмбеддинга (картинка оттуда)

как пошутили у нас в чате "решили повторить статью, чтобы улучшить результат"

смешнее было бы, если бы свежая статья не ссылалась на более старую, но тут коллег нельзя упрекнуть; на самом деле это даже удивительно - на ICLR тысячи статей, еще десятки тысяч на других конференциях и сотни тысяч - на архиве; но они нашли статью с похожей идеей (а может быть и стартовали с нее, как более вероятный вариант); если бы не стартовали - вряд ли бы чисто статически смогли найти и сослаться

P.S. Ване и Тимуру спасибо

@valuableai

летом обещали, а сейчас наконец дошли руки, военное министерство США заключило контракты с двумя бигтехами: Google и xAI

контракты эти на предоставление доступа к LLM на платформе GenAI.mil; у многих крупных организаций внутри есть аналоги - единая точка доступа к разным провайдерам LLM; анонсировано, что модели будут работать с Impact Level 5 - это аналог нашего грифа "для служебного пользования" (т.е. ни с чем секретным LLM работать не будут); но лиха беда начало, как говорится

интересно, что обещали еще контракты OpenAI и Anthropic, но про них новостей не было; стесняются?

@valuableai

с берегов туманного Альбиона пришло две новости:

с одной стороны, ИИ-суммаризация приводит к тому, что создатели рецептов теряют в рекламном трафике

но с другой стороны исследование коллег из Кэмбриджа показывает, что конспектирование (то есть та же суммаризация с помощью естесственного интеллекта) полезно при обучении

то есть учим детей навыку суммаризации, а потом машина с этим навыком отбирает у них работу; оставлю вас с этой мыслью

@valuableai

всем привет, итоговый выпуск капитанского мостика за 2025 год, мы снова вдвоем с Димой Колодезевым

ИИ-саммари:
В этом выпуске обсуждаются ключевые события года, включая рост цен на технологии памяти, скорость изменений в индустрии, дефляцию технологий и трансформацию маркетинга. Также рассматриваются новые навыки, необходимые в программировании, и важность образования в технологической сфере России. В этом разговоре обсуждаются ключевые проблемы и перспективы агрономии, сравнение технологий в агропромышленности и IT, влияние цензуры на информационное поле в разных странах, культурный код и его влияние на бизнес, а также потенциал Японии в области искусственного интеллекта и хрупкость новой экономики. В этом разговоре обсуждаются ключевые темы, такие как хрупкость современного мира, влияние технологий на общество, ограничения реального мира, пузырь в индустрии технологий и роль Китая в гонке роботов.

ссылки:
ODS VK Video

ODS YouTube

мой дзен

@valuableai

интересные новости приходят с той стороны глобуса: в Огайо депутат местного парламента предложил закрепить в законе, что любой ИИ является неразумной сущностью ("nonsantient entity", даю ссылку на Wall Street Journal, т.к. сам законопроект у меня ни из-под одного прокси не открылся)

это интересно обсудить, т.к. с одной стороны сейчас много людей, которые пытаются найти в LLM признаки разума - тут достаточно вспомнить тестировщика из Google, который 3,5 года назад их "нашел"; я считаю, что никакого разума там, конечно, не было и нет, но утверждать, что он не появится в процессе разработки, особенно условиях усилий большого количества людей по созданию т.н. сверхсильного ИИ (ASI), я бы не стал

это все ставит важный вопрос - а что такое этот самый разум? по каким признакам мы отличим его наличие? на этот вопрос много людей пытается ответить; я бы здесь хотел вспомнить книгу "Ложная слепота" (Blindsight) - там вопрос определения разума ставится, но остается без ответа

@valuableai

я долго думал, как поздравить всех с наступающим Новым Годом, а потом мне на глаза попалась эта милая история: некий энтузиаст сделал самую крошечную языковую модель - вместе с кодом для обработки ввода-вывода она занимает всего 40 килобайт

на самом деле все еще интереснее, эта языковая модель - это программа для CP/M для процессора Z80 с 64 кБ памяти; в языковой модели используется хэширование для входных токенов - в его случае триграмм, это обеспечивает устойчивость к опечаткам; модель сквантована в 2 бита (-2, -1, 0 и 1), но на инференсе используется 16-битные целые вычисления, на которые рассчитан Z80

в качестве архитектуры там используются 3 полносвязных слоя и ReLU для активаций; при этом 128 токенов длинна входа и еще 128 - контекст; причем с этой радостью можно поиграть в загадки (отсюда взялся слон на заглавной картинке)

эта история учит нас, что даже в чем-то большом нужно видеть малое, а в малом - большое
с наступающим Новым Годом!

@valuableai