Data Secrets
Вахид Каземи – PhD, сотрудник OpenAI и бывший сотрудник Apple и Google: По моему мнению мы уже достигли AGI, с o1 это очевидно. Возможно, мы еще не добрались до «лучше, чем любой человек в любой задаче», но то, что у нас есть, это уже «лучше, чем большинство…
Зацените уровень пасхалок: в офисе Anthropic хранится йодаргирит, химическая формула которого – AgI 🧐
Информацией, кстати, поделился один из разработчиков стартапа в ответ на тот самый «мы уже достигли AGI» твит ресерчера OpenAI. «Мы тоже уже достигли AgI и держим его за стеклом» – иронично написал он.
Информацией, кстати, поделился один из разработчиков стартапа в ответ на тот самый «мы уже достигли AGI» твит ресерчера OpenAI. «Мы тоже уже достигли AgI и держим его за стеклом» – иронично написал он.
Please open Telegram to view this post
VIEW IN TELEGRAM
😁111🔥16🤯11🕊6❤1
4 день стримов OpenAI из 12: сегодня показали интерпретатор кода и еще несколько очень кайфовых фич для Canvas
Теперь код можно запускать прямо внутри бота с помощью кнопки Run. При этом GPT видит все трейсы интерпретатора и может писать комментарии прямо в них. Можно даже рисовать графики, и работает это достаточно быстро! Просто идеально для дебаггинга и рефакторинга.
Кроме того, теперь Canvas будет доступен для всех, а еще его можно будет встроить в собственные GPTs: делается это очень просто через настройки конфигураций.
Напоминаем, что Canvas – это отдельное окно рядом с чатом. Инструмент предназначен для задач, где нужно много править или пересматривать один и тот же проект (код или работа с текстом). Он, в отличие от чата, лучше запоминает контекст + работает над конкретными разделами или даже строками (подробнее в этом нашем посте).
В дополнение ко всему, для комментирования текста и кода теперь использовать инструмент будет еще удобнее: бот выделяет кусочки прямо в ваших запросах и записывает комментарии справа от них (похоже на умные заметки в стиле Google Docs).
Ссылка на стрим
Теперь код можно запускать прямо внутри бота с помощью кнопки Run. При этом GPT видит все трейсы интерпретатора и может писать комментарии прямо в них. Можно даже рисовать графики, и работает это достаточно быстро! Просто идеально для дебаггинга и рефакторинга.
Кроме того, теперь Canvas будет доступен для всех, а еще его можно будет встроить в собственные GPTs: делается это очень просто через настройки конфигураций.
Напоминаем, что Canvas – это отдельное окно рядом с чатом. Инструмент предназначен для задач, где нужно много править или пересматривать один и тот же проект (код или работа с текстом). Он, в отличие от чата, лучше запоминает контекст + работает над конкретными разделами или даже строками (подробнее в этом нашем посте).
В дополнение ко всему, для комментирования текста и кода теперь использовать инструмент будет еще удобнее: бот выделяет кусочки прямо в ваших запросах и записывает комментарии справа от них (похоже на умные заметки в стиле Google Docs).
Ссылка на стрим
❤38👍15⚡5
Media is too big
VIEW IN TELEGRAM
Помните Model Context Protocol от Anthropic?
Это открытый протокол, который позволяет интегрировать любую LLM в любой источник данных. С помощью MCP клиенты (то есть LLM или другие ИИ-инструменты) могут подсоединяться к любому совместимому серверу (то есть приложению или другому источнику данных). Побробности – в этом нашем посте.
Так вот, MCP вызвал настолько широкий и позитивный отклик а сообществе, что стартап даже решил провести хакатон именно на основе этой технологии. Он прошел на выходных: всего за 3 часа участникам нужно было выдать какую-то интересную идею применения MCP и воплотить ее. Вот победители:
– Приз зрительских симпатий: Santa Claude – сервис для автоматического серчинга новогодних подарков и их заказа с amazon.
– Productivity award: Clauduct Manager – ИИ-продакт, который создает, сортирует и пишет таски и тикеты в Linear.
– Code award: Claude Voyager – соединение клода с окружением, в котором он может полностью автономно управлять проектом.
Все эти проекты кажутся привычными. Но их смысл в том, что это НЕ кастомные решения по интеграции модельки в сервис, а реализованные всего за пару часов идеи применения готового протокола, и это очень круто. Если хотите попробовать поиграть с MCP сами, то наверху мы прикрепили краткий видео-гайд из Твиттера с объяснением того, как это сделать
Это открытый протокол, который позволяет интегрировать любую LLM в любой источник данных. С помощью MCP клиенты (то есть LLM или другие ИИ-инструменты) могут подсоединяться к любому совместимому серверу (то есть приложению или другому источнику данных). Побробности – в этом нашем посте.
Так вот, MCP вызвал настолько широкий и позитивный отклик а сообществе, что стартап даже решил провести хакатон именно на основе этой технологии. Он прошел на выходных: всего за 3 часа участникам нужно было выдать какую-то интересную идею применения MCP и воплотить ее. Вот победители:
– Приз зрительских симпатий: Santa Claude – сервис для автоматического серчинга новогодних подарков и их заказа с amazon.
– Productivity award: Clauduct Manager – ИИ-продакт, который создает, сортирует и пишет таски и тикеты в Linear.
– Code award: Claude Voyager – соединение клода с окружением, в котором он может полностью автономно управлять проектом.
Все эти проекты кажутся привычными. Но их смысл в том, что это НЕ кастомные решения по интеграции модельки в сервис, а реализованные всего за пару часов идеи применения готового протокола, и это очень круто. Если хотите попробовать поиграть с MCP сами, то наверху мы прикрепили краткий видео-гайд из Твиттера с объяснением того, как это сделать
👍42🔥13❤11
Data Secrets
На бенчмарке MERA опубликовали модель, которую обходит только GPT-4о На ключевом русскоязычном ИИ-бенчмарке MERA второе место теперь занимает новая модель, которая обходит все русскоязычные модели в мире и уступает только GPT-4о. Вместо названия модели неизвестные…
Тайна елочки на бечмарке раскрыта: это новые мощные модели от Т-Технологий, куда входит Т-Банк
В релиз вошли две языковые модели – новая T-Pro на 32B параметров и обновленная T-Lite на 7В. Обе стали SOTA русского языка среди открытых моделей на индустриальных бенчмарках (MERA, ruMMLU, Ru Arena Hard, MT Bench и AlpacaEval).
Под капотом обеих моделей Qwen-2.5, который дообучали с помощью Continual Pretraining. Это чтобы модель прокачалась на русском, но не забыла свои базовые навыки и не просела на метриках, как это часто бывает. К тому же, такой подход на 80-90% сокращает косты.
Интересно, что это именно узконаправленные открытые модели. То есть, в отличие от универсального ChatGPT, они специализируются на решении конкретных задач. Соответственно, у них отдельно прокачан уровень доменных знаний и умение выполнять практические задачи бизнеса. Получается, теперь все могут абсолютно бесплатно брать T-Pro и T-Lite и идти прикручивать их к своим голосовым помощникам, агентам поддержки и пр. Б – буст!
Веса уже лежат на HuggingFace
В релиз вошли две языковые модели – новая T-Pro на 32B параметров и обновленная T-Lite на 7В. Обе стали SOTA русского языка среди открытых моделей на индустриальных бенчмарках (MERA, ruMMLU, Ru Arena Hard, MT Bench и AlpacaEval).
Под капотом обеих моделей Qwen-2.5, который дообучали с помощью Continual Pretraining. Это чтобы модель прокачалась на русском, но не забыла свои базовые навыки и не просела на метриках, как это часто бывает. К тому же, такой подход на 80-90% сокращает косты.
Интересно, что это именно узконаправленные открытые модели. То есть, в отличие от универсального ChatGPT, они специализируются на решении конкретных задач. Соответственно, у них отдельно прокачан уровень доменных знаний и умение выполнять практические задачи бизнеса. Получается, теперь все могут абсолютно бесплатно брать T-Pro и T-Lite и идти прикручивать их к своим голосовым помощникам, агентам поддержки и пр. Б – буст!
Веса уже лежат на HuggingFace
🎄64👍28☃7❤🔥5😐2🤝2👀1🤪1
В Meta показали метод Coconut, который позволяет моделям строить цепочки ризонинга не на ествественном языке, а в латентном пространстве
Забавное название Coconut – это сокращение от Chain of Continuous Thought. В целом, это та же цепочка мыслей, просто не на естественном языке, а внутри скрытого слоя. Конкретнее: в CoT для ризонинга шаг за шагом в инпут модели добавляются сами токены аутпута один за одним, а в работе Meta вместо токенов используются недекодированные эмбеддинги с последнего слоя.
Это немного похоже на недавнюю работу Microsoft (разбор мы делали здесь), за исключением того, что там рассматривались агентские системы, а тут модель вместо других экземпляров общается как бы сама с собой.
Результаты получились неоднозначные: например, на GSM8k Coconut выбил 34,1%, когда как ванильный CoT достиг 42,9%. Но вот на бенчмарке логических рассуждений ProntoQA разрыв был на 1пп уже в пользу Coconut, а на ProsQA метод показал себя лучше СoT аж на 20пп! Ну и плюсом ко всему Coconut, естественно, быстрее.
Статья полностью тут
Забавное название Coconut – это сокращение от Chain of Continuous Thought. В целом, это та же цепочка мыслей, просто не на естественном языке, а внутри скрытого слоя. Конкретнее: в CoT для ризонинга шаг за шагом в инпут модели добавляются сами токены аутпута один за одним, а в работе Meta вместо токенов используются недекодированные эмбеддинги с последнего слоя.
Это немного похоже на недавнюю работу Microsoft (разбор мы делали здесь), за исключением того, что там рассматривались агентские системы, а тут модель вместо других экземпляров общается как бы сама с собой.
Результаты получились неоднозначные: например, на GSM8k Coconut выбил 34,1%, когда как ванильный CoT достиг 42,9%. Но вот на бенчмарке логических рассуждений ProntoQA разрыв был на 1пп уже в пользу Coconut, а на ProsQA метод показал себя лучше СoT аж на 20пп! Ну и плюсом ко всему Coconut, естественно, быстрее.
Статья полностью тут
👍34🔥13❤9😁3
Best Paper Awards – вообще очень престижная награда, тем более на NeurIPS, которая считается лучшей ML-конференцией в мире. Вот кто получил награду в этот раз:
Вы, кстати, удивитесь, но один из авторов этой статьи – тот самый стажер, который два месяца вставлял палки в колеса соседней команды, загружая порченные Pickle-файлы, полные вредоносного кода, удаляя чекпоинты, специально добавляя баги в корпоративный форк PyTorch и тд. Бывает же.
Немного раньше, в конце ноября, также объявляли победителей премии Test of Time Paper Awards NeurIPS 2024. Эта награда выдается старым статьям, которые прошли испытание временем. В прошлом году награду получил word2vec (пост), а в этом году она досталась GAN'у (Ян Гудфеллоу и Йошуа Бенджио) и Sequence to Sequence Learning (Илья Суцкевер).
Please open Telegram to view this post
VIEW IN TELEGRAM
👍36🔥10❤4
Siri теперь будет использовать модели OpenAI (прямо так и пишется, working with chatgpt). А еще на айфонах в Apple Intelligence будет доступно дополнительное расширение ChatGPT. Например, в Visual Intelligence в камере тоже будет непосредственный доступ к GPT-4o, можно будет показывать модельке видео в реальном времени.
Для маков тоже добавили расширение ChatGPT в настройках. Можно будет использовать writing tools почти в любом приложении, анализировать документы прямо внутри finder с ChatGPT и задавать по ним вопросы.
Неужели теперь от Siri будет толк?
Please open Telegram to view this post
VIEW IN TELEGRAM
👀55🔥19❤11👍5
Media is too big
VIEW IN TELEGRAM
Google наконец-то докрутили свою Gemini до вау-эффекта. Что там интересного:
⚪️ Новая экспериментальная модель Gemini 2.0 Flash. Работает быстрее своего предшественника Flash 1.5 и соображает лучше по большинству бенчмарков. Доступна всем уже сейчас. Также докручены агентные способности: понимание файлов, например.
⚪️ Realtime мультимодальный API. На вход принимает текст, голос и даже видео в онлайне! То есть с ней можно разговаривать и одновременно показывать экран устройства или мир вокруг с камеры. Задержка почти незаметна, отвечать тоже может голосом. При этом в любом режиме инпута доступны инструменты (поиск в интернете, интерпретатор кода). Тоже доступно бесплатно. Картинки на выход тоже может, но пока без редактирования.
⚪️ Функция Deep Research (вот она доступна только для Advanced юзеров). Это углубленный поиск в интернете на заданную тему. Перед тем, как идти в поиск, моделька составляет план и показывает его вам для правок. Потом идет и рыщет по ссылкам, находит новые источники, проверяет детали и через несколько минут выкатывает вам большой отчет. Ну супер же!
Google снова в гонке, получается🎉
Google снова в гонке, получается
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥108👍26❤7😁2🎉1
Тем временем соцсети уже переполнены кейсами применения нового Realtime API Gemini. А если хотите попробовать сами локально (напоминаем, это бесплатно) – то мы принесли вам код
1. Скачивайте файл отсюда
2. Запускаете pip install pyaudio websockets
3. Добавляете в строку GEMINI_API_KEY={TOKEN} свой токен
4. Вы великолепны и можете болтать с Gemini по видеосвязи
1. Скачивайте файл отсюда
2. Запускаете pip install pyaudio websockets
3. Добавляете в строку GEMINI_API_KEY={TOKEN} свой токен
4. Вы великолепны и можете болтать с Gemini по видеосвязи
🔥72👍17❤5🎉3🤔1🤪1
Что-то на шикарном: посмотрите, какие видео генерит Kandinsky 4.0 Video
Релиз представили буквально сегодня на конференции AI Journey. Нейросеть научилась делать очень качественные ролики с плавными переходами и сочной картинкой. Причем по любому описанию или стартовому кадру.
Реалистичность тоже оказалась на уровне. В публичный доступ выложат совсем скоро, в 2025 году, так что ждем и тестируем.
Релиз представили буквально сегодня на конференции AI Journey. Нейросеть научилась делать очень качественные ролики с плавными переходами и сочной картинкой. Причем по любому описанию или стартовому кадру.
Реалистичность тоже оказалась на уровне. В публичный доступ выложат совсем скоро, в 2025 году, так что ждем и тестируем.
🔥73😁28👍14🤨11🗿8❤4💅4🤪1
Четверо ученых-основателей ML и Дженсен Хуанг выиграли премию VinFuture Grand Prize
Это очень престижный денежный приз, который каждый год вручают за заслуги в науке и технологиях. В этом году впервые награждали за заслуги в ML, и наградили сразу пятерых: Дженсена Хуанга, отцов-основателей Йошуа Бенджио, Яна Лекуна и Джеффри Хинтона и легендарную Фей-Фей Ли.
Мльщики забрали в этом году, кажется, все возможные награды
Это очень престижный денежный приз, который каждый год вручают за заслуги в науке и технологиях. В этом году впервые награждали за заслуги в ML, и наградили сразу пятерых: Дженсена Хуанга, отцов-основателей Йошуа Бенджио, Яна Лекуна и Джеффри Хинтона и легендарную Фей-Фей Ли.
Мльщики забрали в этом году, кажется, все возможные награды
❤82🎉20🏆12😁5
Сегодня экватор адвент-календаря от OpenAI: показали Advanced Voice Mode
Модель наконец-то работает с видео и демонстрацией экрана в реальном времени. Работает довольно быстро и хорошо запоминает все, что ей показают. Получается "бесплатный" идеальный инструктор в любом деле. Доступ начнут выдаваться уже сегодня, поддержка русского языка также присутствует.
Также в войсмод добавили голос Санты, заряжаемся новогодним настроением
Модель наконец-то работает с видео и демонстрацией экрана в реальном времени. Работает довольно быстро и хорошо запоминает все, что ей показают. Получается "бесплатный" идеальный инструктор в любом деле. Доступ начнут выдаваться уже сегодня, поддержка русского языка также присутствует.
Также в войсмод добавили голос Санты, заряжаемся новогодним настроением
1☃54❤15👍10🎄7🗿2
Microsoft анонсировали Phi-4!
Это следующая версия всеми любимой малышки Phi-3 теперь имеет 14В параметров и работает наравне с GPT-4o mini и совсем недавно выпущенной Llama-3.3-70B. На AMC 10/12 она достигает 91,8% – это даже больше, чем у Gemini Pro 1.5.
В тех.отчете компания объявляет, что в основном таким перформансом модель обязана качественным синтетическим и органическим данным на претрейне и продвинутым методам постобучения. Говорят, добавили в DPO pivotal token search (PTS). Это что-то вроде метода, завязанного на супер-токенах в ризонинге, статью о котором мы недавно подробно разбирали.
Потрогать пока нельзя, на HF обещают завести только на следующей неделе. Пока читаем техрепорт и блогпост
Это следующая версия всеми любимой малышки Phi-3 теперь имеет 14В параметров и работает наравне с GPT-4o mini и совсем недавно выпущенной Llama-3.3-70B. На AMC 10/12 она достигает 91,8% – это даже больше, чем у Gemini Pro 1.5.
В тех.отчете компания объявляет, что в основном таким перформансом модель обязана качественным синтетическим и органическим данным на претрейне и продвинутым методам постобучения. Говорят, добавили в DPO pivotal token search (PTS). Это что-то вроде метода, завязанного на супер-токенах в ризонинге, статью о котором мы недавно подробно разбирали.
Потрогать пока нельзя, на HF обещают завести только на следующей неделе. Пока читаем техрепорт и блогпост
👍46🔥13☃9❤4😎3😁2
Известный ученый Энди Конвинский объявил, что подарит миллион долларов тем, кто пройдет 90% обновленного SWE-bench со своей моделькой
Энди Конвинский – сооснователь Databricks, Perplexity и Laude Ventures, а также крупный инвестор. Вчера он запустил на Kaggle соревнование, в котором написал:
Что тут интересного?
– Во-первых, то, что во избежании лика данных задачи для теста будут собираться уже после окончания приема сабмитов (поэтому и написано new version). В оригинале SWE-bench – это полностью открытый датасет GitHub issues, под который можно легко переобучиться. А тут тест полностью скрыт.
– Во-вторых, появляется ограничение по компьюту: моделька сможет считать только 24 часа на 4XL4 (а это совсем-совсем немного памяти).
Так что 90% звучит действительно очень сложно. Не зря предлагают миллион. При этом соревнование будет длиться всего три месяца. Посмотрим, что из этого выйдет.
www.kaggle.com/competitions/konwinski-prize/overview
Энди Конвинский – сооснователь Databricks, Perplexity и Laude Ventures, а также крупный инвестор. Вчера он запустил на Kaggle соревнование, в котором написал:
I'm Andy, and I’m giving $1M to the first team that exceeds 90% on a new version of the SWE-bench benchmark containing GitHub issues we collect after we freeze submissions. I want to see what a contamination-free leaderboard looks like. Your challenge is to build an AI that crushes this yet-to-be-collected set of SWE-bench issues.
Что тут интересного?
– Во-первых, то, что во избежании лика данных задачи для теста будут собираться уже после окончания приема сабмитов (поэтому и написано new version). В оригинале SWE-bench – это полностью открытый датасет GitHub issues, под который можно легко переобучиться. А тут тест полностью скрыт.
– Во-вторых, появляется ограничение по компьюту: моделька сможет считать только 24 часа на 4XL4 (а это совсем-совсем немного памяти).
Так что 90% звучит действительно очень сложно. Не зря предлагают миллион. При этом соревнование будет длиться всего три месяца. Посмотрим, что из этого выйдет.
www.kaggle.com/competitions/konwinski-prize/overview
👍51❤14🤯7🔥2👾1