как отчеканил Псой Короленко, "культура - это палимпсест"; для ИИ это работает точно также, только гораздо быстрее; на 1 картинке предполагаемый источник несуществующего термина корчеватель "vegetative electron microscopy", который уже появился минимум в 22 научных статьях, - ошибка OCR; альтернативно это может быть ошибка перевода с фарси (2 картинка)
вышеприведенная история - это реализация "самопожирания ИИ" (AI autophagy), такой цветистый термин придумали авторы статьи в Nature (даю ссылку на архив, т.к. в Nature пейволл); смысл термина в том, что уже сейчас большу́ю, а в недалеком будущем и бо́льшую, часть содержимого интернета составляют генерации от различных LLM; технически с этим ничего сделать нельзя, можно только административно через создание правил обучения LLM
тут я скептичен: (1) ввести такие правила сложно, не говоря о том, что проконтролировать их выполнение, а (2) пока это приносит пользу для решения реальной задачи, запретить автофагию невозможно
P.S. источник истории про нео-корчеватель
вышеприведенная история - это реализация "самопожирания ИИ" (AI autophagy), такой цветистый термин придумали авторы статьи в Nature (даю ссылку на архив, т.к. в Nature пейволл); смысл термина в том, что уже сейчас большу́ю, а в недалеком будущем и бо́льшую, часть содержимого интернета составляют генерации от различных LLM; технически с этим ничего сделать нельзя, можно только административно через создание правил обучения LLM
тут я скептичен: (1) ввести такие правила сложно, не говоря о том, что проконтролировать их выполнение, а (2) пока это приносит пользу для решения реальной задачи, запретить автофагию невозможно
P.S. источник истории про нео-корчеватель
🔥6❤2😁1🤔1🤯1🏆1
в продолжение разговора об агентах, Дима Колодезев (его канал) предложил очень простой формальный подход к этому вопросу: нужно прямо взять определение из гражданского кодекса
я уже говорил недавно, что юридический документ - это инструкция; вот это вполне хороший пример, здесь четко понятно, что агент - это тот, кто действует в твоих интересах по твоему поручению, за что получает вознаграждение; в кодексе подразумевается, что это - физическое или юридическое лицо, но нужно просто прописать, что это может быть ИИ, и все
@valuableai
Часть 52 Агентирование
Статья 1005 Агентский договор
1. По агентскому договору одна сторона (агент) обязуется за вознаграждение совершать по поручению другой стороны (принципала) юридические и иные действия от своего имени, но за счет принципала либо от имени и за счет принципала.
По сделке, совершенной агентом с третьим лицом от своего имени и за счет принципала, приобретает права и становится обязанным агент, хотя бы принципал и был назван в сделке или вступил с третьим лицом в непосредственные отношения по исполнению сделки.
По сделке, совершенной агентом с третьим лицом от имени и за счет принципала, права и обязанности возникают непосредственно у принципала.
2. В случаях, когда в агентском договоре, заключенном в письменной форме, предусмотрены общие полномочия агента на совершение сделок от имени принципала, последний в отношениях с третьими лицами не вправе ссылаться на отсутствие у агента надлежащих полномочий, если не докажет, что третье лицо знало или должно было знать об ограничении полномочий агента.
я уже говорил недавно, что юридический документ - это инструкция; вот это вполне хороший пример, здесь четко понятно, что агент - это тот, кто действует в твоих интересах по твоему поручению, за что получает вознаграждение; в кодексе подразумевается, что это - физическое или юридическое лицо, но нужно просто прописать, что это может быть ИИ, и все
@valuableai
Telegram
Valuable AI / Валентин Малых
новое видео - это мое выступление на панельной дискуссии, организованной ТеДо и посвященной ИИ-агентам
я выступил в моей любимой роли "Баба Яга против", в данном случае против хайпа, окружающего ИИ-агентов, в частности потому, что даже нормального определения…
я выступил в моей любимой роли "Баба Яга против", в данном случае против хайпа, окружающего ИИ-агентов, в частности потому, что даже нормального определения…
👍10❤1👎1
ночью вышел Qwen 3, c чем я всех и поздравляю; и без меня разберут метрики на разнообразных бенчмарках, но мой коллега обратил внимание на интересный аспект: как поменялась архитектура Qwen 3 по сравнению с Qwen 2.5 (первая и вторая картинки соотв.); количество слоев во всех вариантах осталось тем же (кроме самой маленькой модельки), но везде увеличилось количество голов внимания
универсальная теорема аппроксимации наносит ответный удар? напомню формулировку на всякий случай:
(вот тут неплохое изложение теории)
универсальная теорема аппроксимации наносит ответный удар? напомню формулировку на всякий случай:
искусственная нейронная сеть с достаточным количеством нейронов в слое может приблизить любую непрерывную функцию
(вот тут неплохое изложение теории)
👍12
мой товарищ прислал мне видео выступления (сорри, только ютуб), самая важная мысль приведена на скриншоте из видео (первая картинка); данный гражданин призывает к тому, чтобы добиваться стабильности в достижимости результата
интересно, что похожую вещь исследовали в недавней работе от Мета*, результаты из которой на второй картинке: в зависимости от того, что мы меряем, разные методы оказываются эффективнее - либо некую среднюю эффективность обычный policy gradient, либо мы хотим, чтобы большинство решений были правильными и тогда лучше работает модификация policy gradient
сама идея на мой взгляд очень правильная, она применима к чему угодно в ML, например, мы с коллегами такой же принцип применяли к дистилляции BERT; да и моя диссертация также посвящена именно устойчивости к шуму
* запрещена на территории РФ
интересно, что похожую вещь исследовали в недавней работе от Мета*, результаты из которой на второй картинке: в зависимости от того, что мы меряем, разные методы оказываются эффективнее - либо некую среднюю эффективность обычный policy gradient, либо мы хотим, чтобы большинство решений были правильными и тогда лучше работает модификация policy gradient
сама идея на мой взгляд очень правильная, она применима к чему угодно в ML, например, мы с коллегами такой же принцип применяли к дистилляции BERT; да и моя диссертация также посвящена именно устойчивости к шуму
* запрещена на территории РФ
👍9
коллеги из университета Циньхуа выпустили работу под названием Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model? (А точно ли обучение с подкреплением расширяет мыслительные возможности моделей?)
в ней они приходят к выводу, что нет, базовая модель остается лучше на длинной дистанции; я высказывал такого рода сомнение еще про Qwen, но тут уже полноценное подтверждение; отдельно хочу выразить восхищение визуальным оформлением результатов, очень доходчиво
в ней они приходят к выводу, что нет, базовая модель остается лучше на длинной дистанции; я высказывал такого рода сомнение еще про Qwen, но тут уже полноценное подтверждение; отдельно хочу выразить восхищение визуальным оформлением результатов, очень доходчиво
👍10🔥3🆒2
интересные времена настают:
OpenAI хочет купить Chrome, если Google заставят его продать; Perplexity хочет, Yahoo тоже хочет его купить; последнее вообще будет эпическая история, т.к. Google в свое время фактически съел бизнес Yahoo
а тут еще пришла новость, что Cursor отказывается продаться OpenAI
интересные времена, что сказать
OpenAI хочет купить Chrome, если Google заставят его продать; Perplexity хочет, Yahoo тоже хочет его купить; последнее вообще будет эпическая история, т.к. Google в свое время фактически съел бизнес Yahoo
а тут еще пришла новость, что Cursor отказывается продаться OpenAI
интересные времена, что сказать
👍4👏1🤯1🆒1
пока все заняты майскими праздниками, юмористическое видео (не по моей вине), тут опять ученый изнасиловал журналиста, но хотя бы в таком виде пробрался в новосибирские телевизоры
Дзен | Видео
Новостной сюжет новосибирского телеканала ОТС 18.04.2025 | Valuable AI / Валентин Малых | Дзен
Видео автора «Valuable AI / Валентин Малых» в Дзене 🎦: Новостной сюжет новосибирского телеканала ОТС 18.04.2025
😁18🔥8🤯3👍2
первая картинка, конечно, шуточная, но в каждой шутке есть доля шутки; это я к чему? к тому, что проблема доминирования английского в IT объективно существует
само собой, сейчас, с изобретением LLM, написание промтов стало "программированием на естественном языке", немного по-другому, но в ту же сторону - вайб-кодинг; и это снижает остроту обозначенной проблемы
но я считаю, что обычные языки программирования с нами еще надолго; и вот недавно один паренек придумал язык вэнъян (文言), полноценный ЯП, основанный на классических китайских иероглифах; понятно, что это - поделка типа знаменитого языка whitespace, но с другой стороны укладывается в стремление создать замкнутую китайскую экосистему; вторая картинка - это множество Мандельброта, описанное на языке вэнъян
само собой, сейчас, с изобретением LLM, написание промтов стало "программированием на естественном языке", немного по-другому, но в ту же сторону - вайб-кодинг; и это снижает остроту обозначенной проблемы
но я считаю, что обычные языки программирования с нами еще надолго; и вот недавно один паренек придумал язык вэнъян (文言), полноценный ЯП, основанный на классических китайских иероглифах; понятно, что это - поделка типа знаменитого языка whitespace, но с другой стороны укладывается в стремление создать замкнутую китайскую экосистему; вторая картинка - это множество Мандельброта, описанное на языке вэнъян
👍10
говорят, что это рекомендации Стэнфорда для студентов при обучении программированию; мне лично совершенно неочевидно, почему спросить LLM на естественном языке лучше, чем использовать автодополнение от той же LLM; а что вы думаете?
@valuableai
@valuableai
Microsoft применила генерацию видео для создания рекламы, о чем объявила постфактум; (в отличие от Instagram*, от которого люди знатно кринжанули) вот это - реально новый шаг в применении генеративных моделей, когда мы уже просто не замечаем этого; будущее - уже сегодня
* соцсеть запрещена на территории РФ
* соцсеть запрещена на территории РФ
👍4❤1
в Science вышла статья посвященная исследованию развития мозга у птиц и млекопитающих; там авторы приходят к выводу, что в мозге птиц независимо развились структуры, аналогичные по функционалу с нашей новой корой; это интересно потому, что мозг, к примеру, вороны всего 10 грамм, а мозг шимпанзе - 300 грамм (взял отсюда), а в интеллектуальных задачах, например, в использовании инструментов вороны не уступают шимпанзе; это в свою очередь означает, что мозг вороны устроен гораздо более эффективно
прошу прощения на набившее оскомину сравнение мозга и LLM, тут, как мне кажется, можно провести аналогию, что текущие большие языковые модели - очень большие, но мы все больше и больше убеждаемся, что они в них можно заложить еще очень много без увеличения из размера, т.к. за последние три года рост фактически остановился: PaLM - 540B - апрель 2022 года, DeepSeek-R1 - 671B - январь 2025 года
прошу прощения на набившее оскомину сравнение мозга и LLM, тут, как мне кажется, можно провести аналогию, что текущие большие языковые модели - очень большие, но мы все больше и больше убеждаемся, что они в них можно заложить еще очень много без увеличения из размера, т.к. за последние три года рост фактически остановился: PaLM - 540B - апрель 2022 года, DeepSeek-R1 - 671B - январь 2025 года
👍9💯1
поздравляю всех с Днем Победы в Великой Отечественной войне!
цифровая вычислительная техника не успела внести вклад в исход войны, а вот аналоговая вполне успела; на картинке прибор управления артиллерийским зенитным огнем ПУАЗО-3; между прочим, уже электрический
к созданию таких приборов приложило руку немало ученых, которые потом стали отцами искусственного интеллекта в СССР: академик Лебедев, член-корр. Преснухин, гораздо менее известный профессор Гутенмахер, и многие другие
на мой взгляд важно помнить и подвиг солдат на фронте, и подвиг тружеников в тылу, в том числе ученых
еще раз с Днем Победы!
цифровая вычислительная техника не успела внести вклад в исход войны, а вот аналоговая вполне успела; на картинке прибор управления артиллерийским зенитным огнем ПУАЗО-3; между прочим, уже электрический
к созданию таких приборов приложило руку немало ученых, которые потом стали отцами искусственного интеллекта в СССР: академик Лебедев, член-корр. Преснухин, гораздо менее известный профессор Гутенмахер, и многие другие
на мой взгляд важно помнить и подвиг солдат на фронте, и подвиг тружеников в тылу, в том числе ученых
еще раз с Днем Победы!
❤49🔥16❤🔥6👎2🤡2🤮1
вот дошли руки выложить видео выступления на митапе Контура "Как писать код без программистов, но с трасформерами?"; и нет, вайб-кодинг тогда еще не придумали
Дзен | Видео
Как писать код без программистов, но с трансформерами? | Valuable AI | Дзен
Видео автора «Valuable AI» в Дзене 🎦: выступление на митапе DS4SE от Контура 08.11.2023
🔥9👍4❤1