эйай ньюз
Veo - конкурент Sora от Google Понимает промпты в виде текста, видео и картинок, генерит в 1080p. Модель доступна через вайтлист на labs.google, заявки уже принимаются. @ai_newz
А вот примеры генерации с помощью Veo.
Говорят, что могут сгенерит до 60 секунд в 1080p. Но почему-то все примеры в твиттере, кроме одного, по 8 сек.
Собака, кстати, вообще не очень-то черипикнутая вышла.
Это все также Latent Diffusion на Трансформере, как и Сора.
> Больше примеров тут
> Подробности
@ai_newz
Говорят, что могут сгенерит до 60 секунд в 1080p. Но почему-то все примеры в твиттере, кроме одного, по 8 сек.
Собака, кстати, вообще не очень-то черипикнутая вышла.
Это все также Latent Diffusion на Трансформере, как и Сора.
> Больше примеров тут
> Подробности
@ai_newz
Gems - аналог GPTs для Gemini.
- Подписчики Gemini Advanced скоро смогут создавать Gems - персонализированные версии Gemini (потому что одного Gemini вам явно мало).
- Вы cможете создать любой Gem. Например, партнер по тренажерному залу, су-шеф или партнер по программированию.
- Их легко настроить с помощью промпта. Просто опишите, чего вы хотите от своего Джема и как он должен отвечать (например, "будь моим беговым тренером, давай мне ежедневный план и будь позитивным и мотивирующим")
- Gemini возьмет эти инструкции и однимкликом улучшит их, чтобы создать Gem, который соответствует вашему запросу.
Как всегда, не релизят сразу, Джемы будут доступны только через несколько месяцев.
@ai_newz
- Подписчики Gemini Advanced скоро смогут создавать Gems - персонализированные версии Gemini (потому что одного Gemini вам явно мало).
- Вы cможете создать любой Gem. Например, партнер по тренажерному залу, су-шеф или партнер по программированию.
- Их легко настроить с помощью промпта. Просто опишите, чего вы хотите от своего Джема и как он должен отвечать (например, "будь моим беговым тренером, давай мне ежедневный план и будь позитивным и мотивирующим")
- Gemini возьмет эти инструкции и однимкликом улучшит их, чтобы создать Gem, который соответствует вашему запросу.
Как всегда, не релизят сразу, Джемы будут доступны только через несколько месяцев.
@ai_newz
Опенсорс: Gemma 2 и Visual LLM PaliGemma 3B
Gemma 2 релизнут в опенсорс уже в следующем месяце.
К существующим 2B и 7B (на самом деле 8B) размерам добавится ещё 27B моделька.
Ещё прямо сейчас релизнули визуальную LLM PaliGemma на 3B, веса уже тут.
>> Подробности
@ai_newz
Gemma 2 релизнут в опенсорс уже в следующем месяце.
К существующим 2B и 7B (на самом деле 8B) размерам добавится ещё 27B моделька.
Ещё прямо сейчас релизнули визуальную LLM PaliGemma на 3B, веса уже тут.
>> Подробности
@ai_newz
Media is too big
VIEW IN TELEGRAM
Тут, кажется, все пропустили Music Ai Sandbox. Первая music2music моделька! Это уже полноценный инструмент со своим интерфейсом, который дорабатывает готовые сэмплы, а еще делает style transfer и вариации. Короче, диванным-продюсерам наконец-то есть с чем поэкспериментировать. Хотя, если честно, я действительно вижу, как настоящие музыканты могли бы ее использовать в своем workflow (см пример на видео, как hip-hop исполнители ее используют для создания сэмплов).
Гугл об этом инструменте писал еще в Ноябре 2023 года (модель Lyria). Его только переименовали в Music Ai Sandbox теперь, и, наверное, доработали. Но сейчас, как и тогда, инструмент доступен только узкому кругу музыкантов. 😢
Еще примеры работы тут.
@ai_newz
Гугл об этом инструменте писал еще в Ноябре 2023 года (модель Lyria). Его только переименовали в Music Ai Sandbox теперь, и, наверное, доработали. Но сейчас, как и тогда, инструмент доступен только узкому кругу музыкантов. 😢
Еще примеры работы тут.
@ai_newz
Провел гугл свою презентацию Google I/O
Смотреть стало скучно спустя 0 секунд, начиная с речи ни о чем от Сундара Пичалька. Фото из зрительского зала прикрепляю.
Показали свою новую Сору, а еще поржали сами над собой, посчитав, что сказали "AI" 121 раз. Ну, были, конечно, и крутые штуки вроде Gemini 1.5 Pro с 1-2 млн токенов контекста, которую открыли для премиум подписчиков.
Почти все презентованное будет доступно... когда-то...
В целом, это был рассказ о том, как Google видит свое будущее в AI или AI будущее в себе. Gemini запихнули ну куда только можно, о чем директор каждого отдела с большой гордостью отчитался. Такое ощущение, что у них там устроили конкурс, кто больше придумает юзкейсов и интеграций в интерфейсы своих приложух. Ну а в итоге, все говорили об одном и том же.
Акции GOOGL немножко приподнялись в моменте, думаю в этом и была цель — закинуть удочку на будущее для инвесторов.
При всем при этом вот что я думаю:
Gemini со всеми этими приколюхами может стать go-to нейронкой для обывателей, так как он торчит из всех щелей, бесплатный и бесшовно встраивается в существующие привычки пользователей. Я говорю о том, что в Chrome ты так и так зайдешь, а вот сайт OpenAI не каждый обыватель специально откроет.
Краткое содержание всей презы: https://t.me/ai_newz/2712
@ai_newz
Смотреть стало скучно спустя 0 секунд, начиная с речи ни о чем от Сундара Пичалька. Фото из зрительского зала прикрепляю.
Показали свою новую Сору, а еще поржали сами над собой, посчитав, что сказали "AI" 121 раз. Ну, были, конечно, и крутые штуки вроде Gemini 1.5 Pro с 1-2 млн токенов контекста, которую открыли для премиум подписчиков.
Почти все презентованное будет доступно... когда-то...
В целом, это был рассказ о том, как Google видит свое будущее в AI или AI будущее в себе. Gemini запихнули ну куда только можно, о чем директор каждого отдела с большой гордостью отчитался. Такое ощущение, что у них там устроили конкурс, кто больше придумает юзкейсов и интеграций в интерфейсы своих приложух. Ну а в итоге, все говорили об одном и том же.
Акции GOOGL немножко приподнялись в моменте, думаю в этом и была цель — закинуть удочку на будущее для инвесторов.
При всем при этом вот что я думаю:
Gemini со всеми этими приколюхами может стать go-to нейронкой для обывателей, так как он торчит из всех щелей, бесплатный и бесшовно встраивается в существующие привычки пользователей. Я говорю о том, что в Chrome ты так и так зайдешь, а вот сайт OpenAI не каждый обыватель специально откроет.
Краткое содержание всей презы: https://t.me/ai_newz/2712
@ai_newz
Gemini Nano встроят в следующую версию Chrome
Кроме того, что зарелизили мультимодальную супер-легковесную Gemini Nano, предназначенную бегать на Edge девайсах, ее теперь еще и встраивают в Chrome!
Запускаться будет прямо на девайсе (!), что даст очень хороший автокомплит всюду в браузере. Но главное - разработчикам сайтов дадут доступ к модельке, в том числе через специальные упрощенные API (пока обещают перевод, суммирование текста, транскрибирование аудио). Сайтам теперь не нужно будет платить за дорогие облачные LLM, всё будет на клиенте.
Кажется, это может стать киллер-фичей для Хрома.
Работать это всё пока будет через WebGPU, но вроде обещают в будущем запускать модельку на NPU. Как и всё на Google I/O, эта фича ещё в превью. Но релиз будет уже в Chrome 126, который выходит 5 июня.
Теперь Хром ещё больше полюбит оперативку
Блогпост
Податься на превью можно тут
@ai_newz
Кроме того, что зарелизили мультимодальную супер-легковесную Gemini Nano, предназначенную бегать на Edge девайсах, ее теперь еще и встраивают в Chrome!
Запускаться будет прямо на девайсе (!), что даст очень хороший автокомплит всюду в браузере. Но главное - разработчикам сайтов дадут доступ к модельке, в том числе через специальные упрощенные API (пока обещают перевод, суммирование текста, транскрибирование аудио). Сайтам теперь не нужно будет платить за дорогие облачные LLM, всё будет на клиенте.
Кажется, это может стать киллер-фичей для Хрома.
Работать это всё пока будет через WebGPU, но вроде обещают в будущем запускать модельку на NPU. Как и всё на Google I/O, эта фича ещё в превью. Но релиз будет уже в Chrome 126, который выходит 5 июня.
Теперь Хром ещё больше полюбит оперативку
Блогпост
Податься на превью можно тут
@ai_newz
Для всех, кто пропустил. Я собрал для вас саммари всего самого интересного, что было на Google I/O вчера, со ссылками на посты:
1️⃣ Gemini 1.5 Pro https://t.me/ai_newz/2698
2️⃣ Gemini 1.5 Flash https://t.me/ai_newz/2699
3️⃣ Imagen 3 новая text2image модель https://t.me/ai_newz/2700
4️⃣ Модель для генерации видо - Veo https://t.me/ai_newz/2703
5️⃣ Gems - кастомные версии Gemini https://t.me/ai_newz/2707
6️⃣ Gemini Nano - мультимодальная легковесная LLM для Android https://blog.google/products/android/google-ai-android-update-io-2024/
7️⃣ Gemini Nano встраивают в Chrome - будет бегать прямо на клиенте https://t.me/ai_newz/2711
8️⃣ Опенсорс Gemma 2 и PaliGemma (Vision-Language Model) https://t.me/ai_newz/2708
9️⃣ Новое железо: Trillium TPU + Arm-based Axion CPU https://t.me/ai_newz/2702
1️⃣ 0️⃣ Music AI Sandbox - music2music модель и тулза для музыкантов https://t.me/ai_newz/2709
И в заключение – мое мнение обо всей этой движухе (осторожно, пост-ирония).
Пишите в комментах, если я что-то забыл.
@ai_newz
И в заключение – мое мнение обо всей этой движухе (осторожно, пост-ирония).
Пишите в комментах, если я что-то забыл.
@ai_newz
Please open Telegram to view this post
VIEW IN TELEGRAM
Telegram
эйай ньюз
Выкатили улучшенную Gemini 1.5 Pro.
- Она теперь доступна в Gemini Advanced (примиумная подписка) и для разработчиков.
- В Gemini 1.5 Pro (доступна в чате gemini.google.com) теперь длина контекста 1 млн токенов! Это прvерно 1.5k страниц тектса и больше…
- Она теперь доступна в Gemini Advanced (примиумная подписка) и для разработчиков.
- В Gemini 1.5 Pro (доступна в чате gemini.google.com) теперь длина контекста 1 млн токенов! Это прvерно 1.5k страниц тектса и больше…
ThunderKittens - GPUs Go Brrr
Ребята из Стенфорда сделали фреймворк, упрощающий взаимодействие с тензорными ядрами. И показали его мощь на FlashAttention в сотне строк, который работает быстрее оригинального FlashAttention 2!
Почему так быстро?🥵
➖ Для ThunderKittens придумали новые абстракции поверх тензорных ядер, что дало удобный доступ к ~95% мощности H100
➖ На полную задействуется новый ускоритель доступа к памяти (TMA)
➖ Подобрав незадокументированные лейауты памяти, вышло задействовать новые асинхронные инструкции для работы с тензорными ядрами
➖ FlashAttention-1 оптимизировал доступ к HBM. FlashAttention-2 – использование тензорных ядер на A100. А тут пошли ещё дальше: начали оптимизировать доступ к разделяемой памяти (shared memory)
➖ Всё это полили соусом из мелких улучшений
FlashAttention – всего лишь первая демка фреймворка, и другие кернелы на нём уже активно пишутся. А тем временем этот проект благословил Tri Dao – мега крутой мужик, автор FlashAttention.
Если хотите, чтобы я рассказал как работает FlashAttention - ставьте 🦄
Блогпост
Гитхаб
@ai_newz
Ребята из Стенфорда сделали фреймворк, упрощающий взаимодействие с тензорными ядрами. И показали его мощь на FlashAttention в сотне строк, который работает быстрее оригинального FlashAttention 2!
Почему так быстро?
FlashAttention – всего лишь первая демка фреймворка, и другие кернелы на нём уже активно пишутся. А тем временем этот проект благословил Tri Dao – мега крутой мужик, автор FlashAttention.
Если хотите, чтобы я рассказал как работает FlashAttention - ставьте 🦄
Блогпост
Гитхаб
@ai_newz
Please open Telegram to view this post
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
🔥CAT3D: Create Anything in 3D with Multi-View Diffusion Models
Ухх! Кажется, диффузия все-таки доехала до полноценного 3D. Джон Барон из Гугла, монстр Нерфов (писал о нем тут), постарался.
На вход одна или несколько фоток -> на выходе 3D сцена в виде NeRF. Заметьте, как хорошо он генерит объекты даже сзади, где не было фоток на входе.
Кода нет, и не думаю, что будет.
Сайт проекта
Статья
@ai_newz
Ухх! Кажется, диффузия все-таки доехала до полноценного 3D. Джон Барон из Гугла, монстр Нерфов (писал о нем тут), постарался.
На вход одна или несколько фоток -> на выходе 3D сцена в виде NeRF. Заметьте, как хорошо он генерит объекты даже сзади, где не было фоток на входе.
Кода нет, и не думаю, что будет.
Сайт проекта
Статья
@ai_newz
This media is not supported in your browser
VIEW IN TELEGRAM
CAT3D: Как это работает?
1. Имея любое количество исходных изображений и набор целевых новых ракурсов, диффузия генерирует согласованные новые виды сцены.
2. Эти сгенерированные виды затем используются в качестве входных данных для тренирвоки NeRF.
3. В результате получается 3D-представление, которое можно рендерить с любого ракурса в реальном времени.
В качестве диффузии, тут взяли Latent Diffusion и сперва натренили ее генерить 2d картинки в 512x512 по тексту. Все внутри Гугла, они не использовали публичные Stable Diffusion. А затем дотюнили модель на генерацию сразу серии консистентных видов по нескольких входным фото. Консистентность здесь - это ключ к хорошему результату.
Весь процесс, включая генерацию новых видов и 3D-реконструкцию, занимает всего около минуты. Это значительно быстрее существующих методов создания 3D по одному изображению или небольшому набору ракурсов.
@ai_newz
1. Имея любое количество исходных изображений и набор целевых новых ракурсов, диффузия генерирует согласованные новые виды сцены.
2. Эти сгенерированные виды затем используются в качестве входных данных для тренирвоки NeRF.
3. В результате получается 3D-представление, которое можно рендерить с любого ракурса в реальном времени.
В качестве диффузии, тут взяли Latent Diffusion и сперва натренили ее генерить 2d картинки в 512x512 по тексту. Все внутри Гугла, они не использовали публичные Stable Diffusion. А затем дотюнили модель на генерацию сразу серии консистентных видов по нескольких входным фото. Консистентность здесь - это ключ к хорошему результату.
Весь процесс, включая генерацию новых видов и 3D-реконструкцию, занимает всего около минуты. Это значительно быстрее существующих методов создания 3D по одному изображению или небольшому набору ракурсов.
@ai_newz
Не знаю почему, но как-то по ощущениям ЛЛМ-ки народ меньше запускает локально, как, например, тот же стэйбл диффьюжн. Хотя я за локальные ллм очень топлю – не люблю свои данные в клауд опенаи отправлять. То ли проблема в том, что нормальных открытых моделей до недавнего не было, то ли в том, что модельки эти просят 40 GB VRAM.
Но ведь у нас теперь есть LLAMA 3 8B! Мне удалось запустить квантизированную версию на ноуте с GTX 1650 Ti c 4 GB VRAM без особой нагрузки. (Оно и неудивительно, ведь Ламу и на мобиле уже запускают.)
Короче, вот вам гайд, как за пару тыков поставить эту кударявую лошадку себе на домашний компьютер:
1) Заходим на сайт LM Studio , качаем под свою систему сетап.
2) В поиске находим QuantFactory/Meta-Llama-3-8B-Instruct-GGUF, берем версию под себя. Там несколько квантизаций с разным уровнем сжатия. Ну или выбираем любую другую модель.
3) Заходим в окно чата, подгружаем модель и радуемся.
После того как освоились с этим, можно и поизвращаться)
Вот вам еще моя копипаста - небольшая подборка постов, про локальнные LLM:
- LLaMa с text-retrieval плагином: тык-1, тык-2
- LLama-7B на на макбуке: тык
- LLaMa-30B на макбуке (4-bit + mmap): тык
- llama2.c или Карпатый запускает LLaMa-2-7B на рисоварке: тык; а вот реализация на часах: тык
- Falcon 180B дома на маке M2 Ultra: тык
LM Studio
#туториал
@ai_newz
lmstudio.ai
👾 LM Studio - Discover and run LLMs locally
Find, download, and experiment with LLMs on your locally on your laptop
Нейродайджест за неделю (#18)
1. Презентации и релизы
- OpenAI показали GPT-4o (omni). Новая модель GPT-4o понимает звук, видео, может петь и теперь с приложением для MacOS. Новый токенизатор снижает расходы в 3.5 раза для русского языка.
- Прикольный юзкейс GPT-4o. GPT-4o можно использовать как переводчик в поездках по Азии, Google Translate тут не соперник.
- Google I/O. Моё мнение о презентации. Скукота, но гулг все-равно на коне.
- Саммари Google I/O. Ссылки на все новинки, представленные на Google I/O, включая Gemini 1.5 Pro, Imagen 3 и новые аппаратные разработки.
- Смешные токены в новом токенизаторе GPT-4o. Туда попали спам и что еще похуже, в дайджест писать не буду)
2. Гайды
- Курс по квантизации. Эндрю Ын и Hugging Face дропнули курс по квантизации. Учимся сжимать модели до 2 бит без значительных потерь в качестве.
- Как запустить LLM на ноутбуке. Пошаговый гайд по запуску LLAMA 3 8B на стареньком ноуте.
3. Разработки
- ThunderKittens - GPUs Go Brrr. Стенфорд представил фреймворк упрощающий взаимодействие с тензорными ядрами. Тестили на FlashAttention и случайно обогнали его вторую версию.
- CAT3D: Create Anything in 3D. Моделька для генерации 3D сцен из фотографий. Процесс на Latent Diffusion занимает около минуты. Здесь же о том, как оно работает.
> Читать дайджест #17
#дайджест
@ai_newz
1. Презентации и релизы
- OpenAI показали GPT-4o (omni). Новая модель GPT-4o понимает звук, видео, может петь и теперь с приложением для MacOS. Новый токенизатор снижает расходы в 3.5 раза для русского языка.
- Прикольный юзкейс GPT-4o. GPT-4o можно использовать как переводчик в поездках по Азии, Google Translate тут не соперник.
- Google I/O. Моё мнение о презентации. Скукота, но гулг все-равно на коне.
- Саммари Google I/O. Ссылки на все новинки, представленные на Google I/O, включая Gemini 1.5 Pro, Imagen 3 и новые аппаратные разработки.
- Смешные токены в новом токенизаторе GPT-4o. Туда попали спам и что еще похуже, в дайджест писать не буду)
2. Гайды
- Курс по квантизации. Эндрю Ын и Hugging Face дропнули курс по квантизации. Учимся сжимать модели до 2 бит без значительных потерь в качестве.
- Как запустить LLM на ноутбуке. Пошаговый гайд по запуску LLAMA 3 8B на стареньком ноуте.
3. Разработки
- ThunderKittens - GPUs Go Brrr. Стенфорд представил фреймворк упрощающий взаимодействие с тензорными ядрами. Тестили на FlashAttention и случайно обогнали его вторую версию.
- CAT3D: Create Anything in 3D. Моделька для генерации 3D сцен из фотографий. Процесс на Latent Diffusion занимает около минуты. Здесь же о том, как оно работает.
> Читать дайджест #17
#дайджест
@ai_newz
KV-cache для больших промптов в Gemini
Гигантский контекст Gemini 1.5 в 2 миллиона токенов имеет уйму применений, но цена и скорость таких огромных промптов оставляет желать лучшего. Даже со всеми современными оптимизациями, на обработку запроса, использующего все 2m контекста, нужны десятки секунд и несколько долларов ($1.4 Flash/$14 Pro), даже если нужно всего несколько предложений аутпута. Инпут токены хоть и дешевле, но с таким размером контекста их обычно в разы больше чем аутпут токенов.
Google обещает решить эту проблему новой фичей, context caching, которая разрешает переиспользование KV кэшей для больших промптов. Если кэшировать промпты, то задержка обработки запросов уменьшается в десятки раз, а инпут токены становятся в два раза дешевле. Хранение кэша будет платным, с почасовой оплатой, но даже с ней это стаёт выгоднее начиная с трёх запросов к промпту в час.
Кстати, если вы ещё не пробовали Gemini 1.5 - обязательно попробуйте (щедрые лимиты, но нужен VPN), возможность закинуть всю кодбазу в контекст и задавать о ней вопросы ощущается магической.
Неплохо было бы иметь такую фичу в API GPT-4o и Claude.
@ai_newz
Гигантский контекст Gemini 1.5 в 2 миллиона токенов имеет уйму применений, но цена и скорость таких огромных промптов оставляет желать лучшего. Даже со всеми современными оптимизациями, на обработку запроса, использующего все 2m контекста, нужны десятки секунд и несколько долларов ($1.4 Flash/$14 Pro), даже если нужно всего несколько предложений аутпута. Инпут токены хоть и дешевле, но с таким размером контекста их обычно в разы больше чем аутпут токенов.
Google обещает решить эту проблему новой фичей, context caching, которая разрешает переиспользование KV кэшей для больших промптов. Если кэшировать промпты, то задержка обработки запросов уменьшается в десятки раз, а инпут токены становятся в два раза дешевле. Хранение кэша будет платным, с почасовой оплатой, но даже с ней это стаёт выгоднее начиная с трёх запросов к промпту в час.
Кстати, если вы ещё не пробовали Gemini 1.5 - обязательно попробуйте (щедрые лимиты, но нужен VPN), возможность закинуть всю кодбазу в контекст и задавать о ней вопросы ощущается магической.
Неплохо было бы иметь такую фичу в API GPT-4o и Claude.
@ai_newz
Наткнулся на часовой гайд по созданию RAG архитектуры на открытых LLM-ках. Все супер подробно. Можно брать и повторять каждый его шаг. Видео сделано специально для новичков максимально подробным, так что если вы когда-либо хотели скормить всю свою или личную (или вдруг корпоративную) базу, то вот самое время.
RAG или Retrieval-Augmented Generation — это способ рассказать нейронке о ваших данных. Причем они могут быть не слишком хорошо отсортированы, так как часть, названная Retrieval, по сути, поисковик. Так можно без дополнительного дорогого тюнинга дополнить базу знаний LLM своими файлами, что позволяет использовать такую ллм в роли например консультанта продавца или техподдержки.
Сам видос тут. Если интересно еще узнать про RAG, то можно ещё послушать интервью с моей знакомой, инженером из Cohere, которая пилит RAG для моделей Command-R+ – я писал об этом пост. И вот ещё в придачу пост на хабре про RAG.
#ликбез
@ai_newz
RAG или Retrieval-Augmented Generation — это способ рассказать нейронке о ваших данных. Причем они могут быть не слишком хорошо отсортированы, так как часть, названная Retrieval, по сути, поисковик. Так можно без дополнительного дорогого тюнинга дополнить базу знаний LLM своими файлами, что позволяет использовать такую ллм в роли например консультанта продавца или техподдержки.
Сам видос тут. Если интересно еще узнать про RAG, то можно ещё послушать интервью с моей знакомой, инженером из Cohere, которая пилит RAG для моделей Command-R+ – я писал об этом пост. И вот ещё в придачу пост на хабре про RAG.
#ликбез
@ai_newz
YouTube
Building a RAG application using open-source models (Asking questions from a PDF using Llama2)
GitHub Repository: https://github.com/svpino/llm
I teach a live, interactive program that'll help you build production-ready machine learning systems from the ground up. Check it out at https://www.ml.school.
Twitter/X: https://www.twitter.com/svpino
I teach a live, interactive program that'll help you build production-ready machine learning systems from the ground up. Check it out at https://www.ml.school.
Twitter/X: https://www.twitter.com/svpino
Что-то на OpenAI в последнее время посыпалась череда скандалов
Введу вас в курс дела:
↪️ Нашёлся (и сразу покинул компанию) Илья Суцкевер, с ним ушёл Ян Лейке, из-за этого тиму супералайнмента, которую возглавляли эти двое, расформировали. Ситуация предсказуемая, ведь именно Илья возглавлял прошлогодний переворот в OpenAI. Похоже на новый раскол а-ля Anthropic, интересно сколько сотрудников уйдёт за ними.
↪️ Вскрылась история с NDA, которые давали подписать сотрудникам OpenAI на выходе, а вместе с ними пожизненный запрет критиковать OpenAI. У неподписавших отбирали пакет акций заработанный за время работы, обычно речь шла о миллионах долларов. После публикации статьи Сэм пошёл в твиттер рассказывать что "не знал" об этой ситуации и пообещал всё исправить. Звучит сомнительно, но я, лично, не знаю какой вариант тут лучше: что он врёт или что он действительно не знал.
↪️ Вчера между Скарлетт Йоханссон и OpenAI разгорается конфликт: её пытались два раза нанять как голос ChatGPT, она оба раза отказала. После чего она услышала голос Sky, который звучал подозрительно похоже на её (путали как и обычные пользователи, так и близкие Йоханссон). Произошедшее "шокировало и разозлило" актрису, которая начала требовать объяснений у компании и параллельно готовить иск. Sky, после таких мувов, вчера всё таки убрали из ChatGPT "из уважения к ней", при этом сказав, что не хотели делать голос настолько похожим. Но от иска их это, видимо, уже не спасёт. Добавляет огоньку в ситуацию то, что Сэм активно проводил параллели между GPT-4o и фильмом Her, где у Йоханссон роль ИИ, в которую влюбляется протагонист. В прошлом Йоханссон успешно засудила Disney, так что у OpenAI есть неплохие шансы проиграть.
↪️ Да, ещё к этому всему Сэм Альтман на днях начал ругать эстетику Google I/O, приправив это комментарием о том "как ему всё равно на конкурентов" (наверное из-за этого последние полтора года они ставили свой анонс перед каждым крупным анонсом гугла).
Просто удивительные истории👀
Что вы думаете, господа, про это?
@ai_newz
Введу вас в курс дела:
Просто удивительные истории
Что вы думаете, господа, про это?
@ai_newz
Please open Telegram to view this post
VIEW IN TELEGRAM
У Юргена вышла интересная статейка про ускорение диффузии с помощью кеширования результатов Cross-Attention слоев, где он процитировал нашу статью Cache Me if You Can.
Теперь официально - меня процитировал сам мегачад Шмидхубер💪
@ai_newz
Теперь официально - меня процитировал сам мегачад Шмидхубер
@ai_newz
Please open Telegram to view this post
VIEW IN TELEGRAM
TL;DR: На большие AI модели будет наложено очень много ограничений. Возможно, это задушит многих, кто тренирует большие LLM в США (пока только в Калифорнии), а также облачных провайдеров, предоставляющих GPU.
Сенат Калифорнии принял законопроект SB-1047, сильно ограничивающий тренинг домашних моделей. Они хотят заставить разработчиков получать разрешение (как на строительство дома) на трейн моделей, плюс фактически сделать опенсорсинг моделей лучше GPT-4 нелегальным. Надеюсь этот бред не сумеет пройти через врата ассамблеи и губернатора. Против законопроекта выступает AI Alliance, в который входят такие компании как Meta, IBM, Intel и AMD, так что шансы есть.
Я его прочитал, вот краткое содержание законопроекта:
➖Создаётся специальный отдел по надзору за продвинутым ИИ, который должен сертифицировать модели и которому должны отчитываться разработчики
➖Создаётся публичный кластер, CalCompute для исследования "безопасного деплоймента больших моделей"
➖Устанавливается контроль за моделями натренированным на 1e26 FLOP (чуть больше оценочного компьюта LLaMa 3 405B - по оценке Карпатого там 4e25 FLOP) или аналогичным к ним по мощности (аналогичность устанавливается на непонятных "стандартных бенчмарках")
➖Разработчики модели, попадающей под критерии, должны иметь возможность отключить все инстансы модели по требованию регулятора
➖Разработчики моделей, которые могут попасть под ограничения, должны отчитываться и получать добро от регулятора перед началом трейнинга
➖Разработчики моделей, которые подпадают под ограничения, ответственны не только за опасные действия самих моделей, но и за действия любых их файнтюнов (!)
➖Операторов компьют кластеров мощностью в 10^20 FLOPS или больше обязуют репортить когда кто-то тренирует ллмки и заниматься енфорсментом закона
➖Разработчики моделей, которые могут попасть под ограничение, обязаны ввести меры кибербезопасности которые защищают веса от утечки
➖Возможны исключения, которые может делать регулятор, но для них нужно доказать безопасность модели и её всех возможных файнтюнов
Судя по тексту, авторы законопроекта плохо понимают, как работают LLM. В текущем виде он фактически запрещает калифорнийским стартапам и другим небольшим организациям проводить большие трейнинг раны (если лицензию на постройку дома можно получать годами, то что уж говорить о лицензии на трейнинг ран).
Опенсорсу тоже будет несладко – из-за расплывчатости определений, потенциально, регулятор может наложить ограничения на любую модель, даже не 1e26 FLOP класса. Из-за этого, а также из-за сложности получения исключения, публиковать новые опенсорс модели может стать просто невозможно.
Закону ещё нужно пройти сквозь ассамблею штата (нижнюю палату парламента), так что тут ещё возможны поправки. Подписчики канала из Калифорнии могут высказать мнение о законопроекте своему представителю.
Вспоминаю ситуацию с криптографией в 90-х, надеюсь в этот раз отбиться от таких жёстких регуляций тоже выйдет.
Хотя, в Европе отбиться пока не вышло. В Европе в прошлом году предложили похожий драконовский закон – European AI Act (я о нем писал в декабре), и вчера его окончательно принял Европарламент. Он уже вступит в силу в 2025 году. Ох, как щемить будут нашу область
@ai_newz
Please open Telegram to view this post
VIEW IN TELEGRAM
эйай ньюз
Что-то на OpenAI в последнее время посыпалась череда скандалов Введу вас в курс дела: ↪️ Нашёлся (и сразу покинул компанию) Илья Суцкевер, с ним ушёл Ян Лейке, из-за этого тиму супералайнмента, которую возглавляли эти двое, расформировали. Ситуация предсказуемая…
Please open Telegram to view this post
VIEW IN TELEGRAM
Мистраль новую 7B модель выкатили: Mistral-7B-v0.3
Что нового, по сравнению с v0.2:
- Расширеный словарь токенизатора с 32000 to 32768
- Поддержка вызова функий
- Apache 2.0 лицензия
А результатов бенчмарков нет. Видимо этот релиз больше про добавление возможности Function Calling, нежели улучшения общего перфоманса.
Base
Instruct
@ai_newz
Что нового, по сравнению с v0.2:
- Расширеный словарь токенизатора с 32000 to 32768
- Поддержка вызова функий
- Apache 2.0 лицензия
А результатов бенчмарков нет. Видимо этот релиз больше про добавление возможности Function Calling, нежели улучшения общего перфоманса.
Base
Instruct
@ai_newz
Я с очередным гайдом — про Llama3
Вот шикарный гитхаб, на котором можно самому, словно Лего, собрать Llama 3. Причём там всё максимально пошагово и весь необходимый код прилагается, так что реально такое собрать даже если совсем не разбираешься. А если интересна теория, то можно спросить у нового чат GPT или Gemini.
За основу берутся веса лламы с официального сайта, ну а потом вся вот эта дребедень: трансформеры, эмбединги, матрицы, токенайзеры — всё ручками. Так что, как известно, лучший способ что-то понять — построить самостоятельно.
Ну а вишенка на торте — всё очень мило показывает аниме персонаж.
Делитесь потом результатами, если кто вдруг возьмётся.
Пора бы уже самому новые гайды какие-нибудь написать. Подкиньте идеи для гайдов и ликбезов в комментарии😉
Гайд на гитхабе
#туториал #ликбез
@ai_newz
Вот шикарный гитхаб, на котором можно самому, словно Лего, собрать Llama 3. Причём там всё максимально пошагово и весь необходимый код прилагается, так что реально такое собрать даже если совсем не разбираешься. А если интересна теория, то можно спросить у нового чат GPT или Gemini.
За основу берутся веса лламы с официального сайта, ну а потом вся вот эта дребедень: трансформеры, эмбединги, матрицы, токенайзеры — всё ручками. Так что, как известно, лучший способ что-то понять — построить самостоятельно.
Делитесь потом результатами, если кто вдруг возьмётся.
Пора бы уже самому новые гайды какие-нибудь написать. Подкиньте идеи для гайдов и ликбезов в комментарии😉
Гайд на гитхабе
#туториал #ликбез
@ai_newz
This media is not supported in your browser
VIEW IN TELEGRAM
Мы наблюдаем невероятные гонки на ChatBot Arena в этом году. На графике показано, как менялся коэффициент Эло моделей от разных компаний. Коэффициент Эло - это метод для оценки рейтинга индивидуальных игроков, он изначально был использован в Шахматах, и его же применяют на Чатбот Арене.
Интересно, что из традиционных Биг-Техов в топах рейтинга есть только Google и Мета. Никакими Майкрософтами, Эплами и прочими нетфликсами тут не пахнет – хотя каждый из них вытается обучать свои модели.
Хоть недавняя преза у Гугла и была скучновата, нельзя отрицать, что они довольно быстро выбились в топ. И сейчас Gemini 1.5 Pro занимает второе место после GPT-4! А это прям классный результат, учитывая как сильно Гугл отставал все это время.
Еще в этом месяце появился довольно сильный игрок из Китая - 01.ai со своей Yi-Large-preview (ее в open-source нет). Но об этой модели я напишу позже.
@ai_newz
Интересно, что из традиционных Биг-Техов в топах рейтинга есть только Google и Мета. Никакими Майкрософтами, Эплами и прочими нетфликсами тут не пахнет – хотя каждый из них вытается обучать свои модели.
Хоть недавняя преза у Гугла и была скучновата, нельзя отрицать, что они довольно быстро выбились в топ. И сейчас Gemini 1.5 Pro занимает второе место после GPT-4! А это прям классный результат, учитывая как сильно Гугл отставал все это время.
Еще в этом месяце появился довольно сильный игрок из Китая - 01.ai со своей Yi-Large-preview (ее в open-source нет). Но об этой модели я напишу позже.
@ai_newz