Valuable AI / Валентин Малых
1.88K subscribers
448 photos
55 videos
2 files
439 links
личный канал про ИИ
Download Telegram
мой товарищ прислал совершенно прекрасное (спасибо, Женя!): в конце 1970-х Дейсктра (автор того самого алгоритма его имени) написал просто чудесный текст, который я бы назвал одой вайб-кодингу и который я взял на себя смелость литературно перевести; цитата для затравки:

Только одно утешает меня: я подозреваю, что машины, программируемые на наших родных языках — будь то голландский, английский, американский, французский, немецкий или суахили — так же чертовски сложно создавать, как и использовать.


ссылка на мой перевод, ссылка на оригинал

P.S. если вы вдруг не знаете, кто такой Дейкстра, неплохая биографическая статья

@valuableai
🔥156👍2🤔2
коллеги из Huawei выпустили свежую PanGu Ultra; я стоял рядом, когда делали предыдущую версию этой модели, поэтому с интересом слежу за работой коллег

отчет на удивление короткий, про архитектуру сказали просто, что "почти как в Llama 3"; они представили нормированный на глубину LayerNorm (первая картинка); представили оптимизацию под названием NPU Fusion Attention (вторая картинка); и сделали оптимизацию для параллельного исполнения MC2 (merged compute and communication, третья картинка)

последняя картинка - это результаты, где PanGu c 135 миллиардами параметров бьет DeepSeek R1 с 671 миллиардом; что еще важно отметить заявляется, что все от начала до конца сделано на Ascend (для сравнения - DeepSeek заявляли только инференс); т.е. гегемония Nvidia уже точно ушла в прошлое

в общем, поздравления коллегам, релиз получился отличный, единственная ложка дёгтя - веса не выложили, но по Китаю еще не вечер, если вы понимаете, о чем я

@valuableai
👍14🔥6
AINL начинается уже послезавтра! У нас в этом году очень интересные приглашенные спикеры: Наталья Валетниновна Лукашевич и Сергей Марков; полная программа тут

мы сделали программу, которая начинается в 11 до Новосибирскому времени, то есть в 7 утра по Москве, чтобы максимальное количество людей могло поучаствовать онлайн; для участия нужна регистрация
🔥7
опубликовали в корпоративном блоге обзор на нашу статью (в конце прошлого года я писал, что ее приняли на ECIR, а сейчас коллеги уже представили ее, так что пришло время рассказать); для удобства цитирования:

@inproceedings{sorokin2025iterative,
title={Iterative Self-training for Code Generation via Reinforced Re-ranking},
author={Sorokin, Nikita and Sedykh, Ivan and Malykh, Valentin},
booktitle={European Conference on Information Retrieval},
pages={229--236},
year={2025},
organization={Springer}
}
🔥18👍3
газета Коммерсант нагнетает по поводу обезличивания данных, а на мой взгляд новость весьма позитивная, т.к. в том числе в моей практике передача данных, содержащих персональные - это такая головная боль (так сказать, нижней части головы), что проще вообще не связываться; сейчас же предложен какой-то регламент, т.е. если кто-то будет требовать более жесткие меры по обезличиванию, можно отбиться

что, собственно, предлагают:
регулятор утвердил следующие методы обезличивания персональных данных: метод введения идентификаторов — замена части сведений идентификаторами с созданием «таблицы соответствия исходным данным», изменение состава или семантики данных, в том числе путем удаления части сведений; метод декомпозиции — разбиение массива персональных данных на несколько частей и раздельное их хранение; также метод перестановки отдельных записей, групп записей в массиве персональных данных и метод преобразования — агрегация данных через их обобщение, например по качественным значениям.


там есть еще пункт про то, что это делает ПО от Минцифры - это вообще отлично, значит ответственность за обезличивание несет Минцифры
👍2💯1
лет 6 назад большой фурор произвела новость, что в Эстонии хотят внедрить ИИ-судью для рассмотрения простых дел; настолько большой, что всего через 3 года министерство юстиции Эстонии выпустило официальное опровержение; может быть, у нас дело пойдет дальше, т.к. суды первой инстанции объективно перегружены
😁12💯3👍1😭1
🎥 на днях выложили текстовый обзор нашей статьи "Iterative Self-training for Code Generation via Reinforced Re-ranking", а тут и видео подъехало
🔥8👍4
до меня долетела ссылка на эссе, где вайб-кодинг сравнивается с васянским гаражным тюнингом, типа народная энергия приведет к невиданному расцвету креатива; на мой взгляд основная аудитория вайб-кодинга - это не условные люди из народа, но и не программисты, т.к. на них (на меня, например) сильно работает эффект зловещей долины - ты знаешь, что ты имел в виду, а эта штука пишет что-то вроде на тему, но все-таки сильно не туда, и тебя бесит за ней потом править

основная аудитория вайб-кодинга - это менеджеры и аналитики, то есть те люди, которые не должны писать код, а должны его заказывать

в пятницу мне товарищ рассказал грустную историю, что его ПМ с помощью какого-то ИИ-ассистента (кажется, ChatGPT) "накодил" фичу и передал ему со словами "надо вывести в прод"; мой товарищ потратил приличное время, чтобы разобраться в этом поделии и в итоге все его переписал; так что когда мне говорят, что ИИ-ассистенты лишат людей работы, я говорю, что наоборот, работы у программистов станет только больше
👍24😁12💯71
This media is not supported in your browser
VIEW IN TELEGRAM
пришла новость, что OpenAI стали добавлять водяные знаки в вывод своих моделей; удивительно, что только сейчас, но в целом в текущем виде - это защита от дурака

что я имею в виду: это защита от совсем ленивых студентов, которые не обрабатывают текст, выданный ChatGPT, и выдают его за свой; а также защита от тех, кто собирает генерации ChatGPT и учит свои модели без предобработки

вообще, хорошим водяным знаком является вопрос "кто тебя сделал?"; например, DeepSeek для обучения русскому языку явно использовал YandexGPT; хотя кажется, что этот водяной знак удалить не сложнее, чем спецсимволы из новости выше, но тут нужно понимать смысл текста, что для большого объема может быть дорого, да и в целом не надежно
😁101👍1🤯1🏆1
CVPR отзывает решение о принятии статей от коллег из России (как университетов, так и компаний):
Hello,
I am writing in regards to your article "XXX" IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Your article was issued a conditional acceptance, subject to a confidential review process. We must inform you that during review, we learned that publication of your article is not legally authorized. As such, the prior acceptance issued is hereby withdrawn, effective immediately.
Thank you for your understanding in this matter.

Regards,
Patrick


я сам попадал в такую ситуацию, но надеялся, что истерия осталась в прошлом

дополнительно могу сказать, что на COLING этого года из 13 известных мне поданных от российских коллег статей была принята ровно одна, в которой кроме коллег из России было с десяток иностранных соавторов; но COLING официально ничего не заявлял, так что это можно списать на статистический выброс
😢14🫡5🤬4💩4
пришла новость, что в ОАЭ будут предлагать изменения в законодательство с помощью ИИ; как раз на прошлой неделе обсуждали новость, что в России будут использовать ИИ в судопроизводстве

вообще, если задуматься, любой юридический документ - это (позитивный или негативный) промт, т.е. пошаговая инструкция, что можно и нельзя делать; с этой точки зрения использовать для написания законов ИИ вполне логичный шаг; другой вопрос, что законодательство должно быть логически непротиворечивым, а современные модели не могут эффективно работать большими массивами документов; но в реальной жизни люди при работе с документами тоже допускают ошибки, причем их настолько много, что про это пишут книги и научные статьи
🔥72
в этом году я веду две секции на ДатаФесте: NLP и AI for Software Engineering, подавайтесь, кто хотел выступить; будут площадки в Москве, Питере, Новосибирске и Алматы; форма подачи: https://ods.ai/tasks/speakers_df2025
🔥12👍2
как отчеканил Псой Короленко, "культура - это палимпсест"; для ИИ это работает точно также, только гораздо быстрее; на 1 картинке предполагаемый источник несуществующего термина корчеватель "vegetative electron microscopy", который уже появился минимум в 22 научных статьях, - ошибка OCR; альтернативно это может быть ошибка перевода с фарси (2 картинка)

вышеприведенная история - это реализация "самопожирания ИИ" (AI autophagy), такой цветистый термин придумали авторы статьи в Nature (даю ссылку на архив, т.к. в Nature пейволл); смысл термина в том, что уже сейчас большу́ю, а в недалеком будущем и бо́льшую, часть содержимого интернета составляют генерации от различных LLM; технически с этим ничего сделать нельзя, можно только административно через создание правил обучения LLM

тут я скептичен: (1) ввести такие правила сложно, не говоря о том, что проконтролировать их выполнение, а (2) пока это приносит пользу для решения реальной задачи, запретить автофагию невозможно

P.S. источник истории про нео-корчеватель
🔥52😁1🤔1🤯1🏆1
не могу скрывать это от людей

кто придумал, не знаю, утащил из рабочего чата
😁34🔥6🤯1
в продолжение разговора об агентах, Дима Колодезев (его канал) предложил очень простой формальный подход к этому вопросу: нужно прямо взять определение из гражданского кодекса

Часть 52 Агентирование

Статья 1005 Агентский договор
1. По агентскому договору одна сторона (агент) обязуется за вознаграждение совершать по поручению другой стороны (принципала) юридические и иные действия от своего имени, но за счет принципала либо от имени и за счет принципала.

По сделке, совершенной агентом с третьим лицом от своего имени и за счет принципала, приобретает права и становится обязанным агент, хотя бы принципал и был назван в сделке или вступил с третьим лицом в непосредственные отношения по исполнению сделки.

По сделке, совершенной агентом с третьим лицом от имени и за счет принципала, права и обязанности возникают непосредственно у принципала.

2. В случаях, когда в агентском договоре, заключенном в письменной форме, предусмотрены общие полномочия агента на совершение сделок от имени принципала, последний в отношениях с третьими лицами не вправе ссылаться на отсутствие у агента надлежащих полномочий, если не докажет, что третье лицо знало или должно было знать об ограничении полномочий агента.


я уже говорил недавно, что юридический документ - это инструкция; вот это вполне хороший пример, здесь четко понятно, что агент - это тот, кто действует в твоих интересах по твоему поручению, за что получает вознаграждение; в кодексе подразумевается, что это - физическое или юридическое лицо, но нужно просто прописать, что это может быть ИИ, и все
👍101👎1
ночью вышел Qwen 3, c чем я всех и поздравляю; и без меня разберут метрики на разнообразных бенчмарках, но мой коллега обратил внимание на интересный аспект: как поменялась архитектура Qwen 3 по сравнению с Qwen 2.5 (первая и вторая картинки соотв.); количество слоев во всех вариантах осталось тем же (кроме самой маленькой модельки), но везде увеличилось количество голов внимания

универсальная теорема аппроксимации наносит ответный удар? напомню формулировку на всякий случай:
искусственная нейронная сеть с достаточным количеством нейронов в слое может приблизить любую непрерывную функцию

(вот тут неплохое изложение теории)
👍12