коллеги из AIRI и СколТеха (привет, Андрей!) выпустили очень интересный препринт; базовая идея из него показана на первой картинке, а на второй - прогнозируемый результат; если описывать это простыми словами, то дело в том, что при использовании т.н. самодистилляции - обучении модели на своих собственных выводах - получается "заострить" выдаваемое распределение, что позволяет получить до 20% прибавки на современных рассуждательных бенчмарках (AIME, MATH500)
насколько я понял, данная работа вдохновлена недавней работой TTRL (обсуждали месяц назад), только вместо генерирования псевдометок тут коллеги работают напрямую с логитами
насколько я понял, данная работа вдохновлена недавней работой TTRL (обсуждали месяц назад), только вместо генерирования псевдометок тут коллеги работают напрямую с логитами
🔥9❤2😱1
полностью согласен с CEO GitLab:
я сам писал про это месяц назад, правда, в контексте того, что станет больше работы для профессиональных программистов - надо будет переписывать за вайб-кодерами; однако, очевидно, что вайб-кодеры будут кратно превосходить по числу профессиональных программистов
ИИ-помощники для программирования, такие как GitLab Duo, приведут к увеличению числа сотрудников, поскольку теперь писать код можно без глубоких технических навыков
я сам писал про это месяц назад, правда, в контексте того, что станет больше работы для профессиональных программистов - надо будет переписывать за вайб-кодерами; однако, очевидно, что вайб-кодеры будут кратно превосходить по числу профессиональных программистов
dev.by
CEO GitLab: программисты не вымрут из-за ИИ — их станет даже больше
По словам генерального директора GitLab Уильяма Стейплса, программистам не грозит исчезновение — ИИ-помощники для программирования, такие как GitLab Duo, приведут к увеличению числа сотрудников, поскольку теперь писать код можно без глубоких технических навыков.
🔥10💯1
в тему вчерашнего поста, Андрей Карпаты (без дураков - один из самых интересных ИИ-визионеров) высказался на тему того, что теперь уже есть ПО 3.0 (7 лет назад он говорил про ПО 2.0 - машинное обучение, я разбирал это недавно), а теперь вот ПО 3.0
так он называет промт-инжиниринг, то есть написание запросов к LLM на естественном языке для выполнения какой-то работы; что интересно, больше года назад аналогичную мысль, только менее пафосно, высказывалодин китайский товарищ гендир Baidu; а если совсем по-честному, то это на мой взгляд реализация давнишней (аж 1984 года) идеи Кнута про "литературное программирование"; 40 лет назад мощностей не хватало, поэтому реализовано было довольно примитивно, зато сейчас это развернулось на всю мощь
так он называет промт-инжиниринг, то есть написание запросов к LLM на естественном языке для выполнения какой-то работы; что интересно, больше года назад аналогичную мысль, только менее пафосно, высказывал
👍19🔥2🤔1
New York Times пишет, что рекрутеры не справляются с потоком сгенерированных резюме и агентами, которые общаются с рекрутерами агентами рекрутеров
это уже было с художниками, уже было с опенсорсом; дивный новый мир наступает довольно быстро
это уже было с художниками, уже было с опенсорсом; дивный новый мир наступает довольно быстро
👍14😁9😱2💯1
Коллеги уже в пятый раз проводят научную конференцию при поддержке IEEE, посвященную проблемам качества программного кода: ICCQ. В этом году программный комитет возглавляет Александр Иванович Легалов, профессор ВШЭ. Все остальные члены ПК — ученые не из России, в том числе два ACM Fellow. До 10-го августа принимают доклады. Принятые статьи будут опубликованы в IEEE Xplore и индексированы в Scopus.
ICCQ.ru
ICCQ-2025: 5th International Conference on Code Quality
The 5th International Conference on Code Quality (ICCQ), held in Ekaterinburg, Russia on 13 December 2025, focused on static analysis, program verification, bug detection, and software maintenance.
👍6🔥3
вероятно, не все в курсе (как и я был в свое время), что существует отдельная наука по изучению Библии - библеистика (первая картинка для привлечения внимания), она не имеет ничего общего с теологией, это именно изучение текстов, как исторических памятников; ну а где тексты, там и NLP, само собой; (слава богу, LLM сюда еще не добрались)
вышла работа, посвященная определению авторства разных книг в Библии (утверждается, что в Ветхом Завете было как минимум три группы авторов); к задаче определения авторства применили довольно я бы сказал ветхозаветные методы NLP: лемматизация и потом мешок слов; дальше между получившимисямешками таблицами частот применяют метод сравнения, похожий на обычный t-критерий Стьюдента (вторая картинка); на основании построенной модели делают разные выводы для отдельных библейских текстов, за деталями отсылаю к оригинальной статье
P.S. в качестве бонуса могу порекомендовать книгу внезапно Пола Верховена (автора самого первого Робокопа и Шоу гёрлз, на минуточку) "Иисус из Назарета"
вышла работа, посвященная определению авторства разных книг в Библии (утверждается, что в Ветхом Завете было как минимум три группы авторов); к задаче определения авторства применили довольно я бы сказал ветхозаветные методы NLP: лемматизация и потом мешок слов; дальше между получившимися
P.S. в качестве бонуса могу порекомендовать книгу внезапно Пола Верховена (автора самого первого Робокопа и Шоу гёрлз, на минуточку) "Иисус из Назарета"
🔥12👍5😁1🤔1😱1🎉1
на прошлой неделе был небольшой скандал на тему секретного нового устройства от Apple - io, а именно стартап iyO подал в суд за кражу концепции; кто там прав, пусть суд разбирается, а для меня это повод поговорить про украденную концепцию, iyO One (первая картинка) - т.н. аудио-компьютер, т.е. все взаимодействие с ним происходит голосом (само собой без LLM там не обошлось); важно, что это - единственный способ ввода и вывода
тут сразу вспоминается нашумевший в прошлом году Rabbit R1 (вторая картинка) - там была наполовину похожая концепция - у него не было клавиатуры и тачскрина, но хотя бы экранчик для вывода был; к слову, концепция не взлетела - устройство R2 было уже обычным смартфоном; а сейчас контора вообще предлагает intern - это просто агент
предсказания - дело неблагодарное, но, думаю, закончится примерно тем же; завтра выложу свои рассуждения на эту тему
тут сразу вспоминается нашумевший в прошлом году Rabbit R1 (вторая картинка) - там была наполовину похожая концепция - у него не было клавиатуры и тачскрина, но хотя бы экранчик для вывода был; к слову, концепция не взлетела - устройство R2 было уже обычным смартфоном; а сейчас контора вообще предлагает intern - это просто агент
предсказания - дело неблагодарное, но, думаю, закончится примерно тем же; завтра выложу свои рассуждения на эту тему
🔥5❤3💯2
как обещал вчера, небольшая попытка натянуть сову на глобус; есть такая концепция обучения VARK, ее название образовано по первым буквам названий 4 психотипов: визуального, аудиального, читающе-пишущего и кинестетического; собственно, изначально (в 60-х) их было три, как показано на картинке к посту; там же указано распределение людей по этим типам (вот статья с похожими цифрами), хотя в последнее время консенсус сходится к тому, что это все не работает; тем не менее, можно косвенно оценить предпочтение способа получения информации по количеству людей, которые смотрят видео на YouTube - 2.7 млрд против 600 млн слушателей подкастов; так что ориентироваться на аудиалов - иметь сильно меньшую аудиторию
меньше всего повезло кинестетикам, для них компьютер еще не придумали; к слову, из кинестетиков выделяют иногда ольфакториков, для них уже японцы придумали запаховый дисплей; остается только вопрос со вводом
P.S. не могу не вспомнить Генри Каттнера "Рассказы о Геллегере", там былвкусовой алкогольный орган
меньше всего повезло кинестетикам, для них компьютер еще не придумали; к слову, из кинестетиков выделяют иногда ольфакториков, для них уже японцы придумали запаховый дисплей; остается только вопрос со вводом
P.S. не могу не вспомнить Генри Каттнера "Рассказы о Геллегере", там был
❤6🔥5
еще один видосик, теперь от Суцкевера, во время присвоения почетной докторской степени в университете Торонто, он выдал довольно пугающий прогноз, что мир изменится до неузнаваемости; в частности он говорит, что ИИ сможет выполнить любую работу, которую делает человек, и по его прикидкам это будет реальностью уже в течение 10 лет
я склонен согласиться с Ильей Ефимовичем, хотя сможет не значит будет; на мой взгляд тут будет такая же история, что и с роботами в 70-х годах: если кто не в курсе, то массовая роботизация началась по всему миру (в том числе у нас) в 70-е годы, но довольно быстро заглохла, т.к. оказалось, что человек-рабочий (например, в Китае) дешевле; здесь будет примерно то же самое - да, теоретически ИИ сможет, например, проконсультировать вас, как устранить засор в кухонной раковине, но скорее всего проще и дешевле будет все равно вызвать сантехника; то есть да, наша жизнь поменяется, но не в том плане, что вообще не нужно будетумирать ничего делать
я склонен согласиться с Ильей Ефимовичем, хотя сможет не значит будет; на мой взгляд тут будет такая же история, что и с роботами в 70-х годах: если кто не в курсе, то массовая роботизация началась по всему миру (в том числе у нас) в 70-е годы, но довольно быстро заглохла, т.к. оказалось, что человек-рабочий (например, в Китае) дешевле; здесь будет примерно то же самое - да, теоретически ИИ сможет, например, проконсультировать вас, как устранить засор в кухонной раковине, но скорее всего проще и дешевле будет все равно вызвать сантехника; то есть да, наша жизнь поменяется, но не в том плане, что вообще не нужно будет
💯19👍8😁3🔥2❤1
Microsoft представил языковую модель Mu; это кодировщик-декодировщик (что само по себе интересно, T5 как-то утратила актуальность) размером, как большой BERT - 330 млн параметров, в наше время это ни о чем; они оптимизировали ее для процессоров Intel, AMD и Qualcomm (последнее - для своих планшетов Surface); применение у нее стандартное - QA (первая картинка), но еще и Function Calling (они это называют агент для настроек, вторая картинка); по качеству она несколько хуже Phi 3B (третья картинка), интересно еще, что они помнят про свой кодовый бенчмарк CodeXGLUE, на нем давно никто не замерялся
@valuableai
@valuableai
🔥5❤2👍1
к вопросу об опенсорсе и закрытости AI-экосистем; на мой взгляд все развивается закономерно в эту сторону
сама статья кстати интересная, посвящена тому, как эффективно считать матричные умножения в 4-битных матрицах
@valuableai
сама статья кстати интересная, посвящена тому, как эффективно считать матричные умножения в 4-битных матрицах
@valuableai
💯2
сегодня хочу вам представить первый выпуск подкаста "Капитанский мостик", он посвящен важным новостям прошедшей недели; делаем его я и Дмитрий Колодезев; видео тут:
VK Video
YouTube
присылайте новости для обсуждения в канал "Дата-капитаны" в mattermost (авторизуйтесь через ODS.ai)
@valuableai
VK Video
YouTube
присылайте новости для обсуждения в канал "Дата-капитаны" в mattermost (авторизуйтесь через ODS.ai)
@valuableai
🔥21👍7❤3
как сейчас принято говорить, пу-пу-пу; подозреваю, что масштаб проблемы в разы больший; хотя рассчитано на самых ленивых ревьюверов, но я уже говорил, это труд неблагодарный, так что многие стремятся его спихнуть на LLM
@valuableai
@valuableai
😁18