GPT, который помнит все
OpenAI включает функцию AI всегда с тобой (она официально никак не называется).
Работать это будет так: все наше общение в разных чатах будет каким-то образом суммаризироваться и сохранятся (возможно, что то типа одного global thread, но для системного промпта).
По задумке OpenAI, GPT станет намного более персонализированным и полезным (alignment with persona’s preferences).
X
OpenAI включает функцию AI всегда с тобой (она официально никак не называется).
Работать это будет так: все наше общение в разных чатах будет каким-то образом суммаризироваться и сохранятся (возможно, что то типа одного global thread, но для системного промпта).
По задумке OpenAI, GPT станет намного более персонализированным и полезным (alignment with persona’s preferences).
X
Mixtral 8x7B оптимизировали для работы на слабых GPU
Mixtral 8x7B — это большая языковая модель (LLM) с открытыми весами, производительность которой выше, чем у GPT-3.5. Mixtral 8x7B представляет собой собрание экспертов (Mixture of Experts (MoE)).
Такие модели архитектурно отличаются от традиционных LLM. Вместо отправки каждого токена в dense layer, модель использует набор экспертов (слои со специализацией) и роутер, который направляет токены к наиболее подходящему эксперту.
Здесь очень подходит аналогия с консалтинговой компанией, в которой работают консультанты разной специализации.
Если традиционные модели, например Llama2, взаимодействуют со всей информацией одновременно, то экспертные модели эффективно распределяют задачи среди своих экспертов, что позитивно сказывается на их производительности.
Все бы хорошо, но чтобы запустить Mixtral 8x7B нужно много гигабайт оперативной памяти на GPU, что зачастую недоступнопростым смертным обычным юзерам.
Ребята из МФТИ оптимизировали прожорливую Mixtral 8x7B для работы на небольших (consumer grade) GPU.
Исходная модель была квантована в режиме смешанной точности, используя полуквадратичное квантование (HQQ). Также была разработана специальная стратегия разгрузки ресурсов.
Авторы изучили, как экспертная модель использует своих экспертов между токенами, и выявили некоторые закономерности:
1) Модель повторно использует определенных экспертов для последовательных токенов
2) Скрытые состояния ранних уровней уже предвидят, какие эксперты будут использоваться на последующих уровнях.
В результате был разработан метод разгрузки для MoE моделей, который использует эти шаблоны:
1) Используется кэш LRU для уменьшения обмена данными между графическим процессором и оперативной памятью, что увеличивает производительность
2) Метод заранее предсказывает, какие эксперты будут нужны и формирует очередность их загрузки на основе требуемых вычислений
🪄 Блог
🐈⬛ Код
🐙 GitHub
📖 Статья
🕸 Сайт
Mixtral 8x7B — это большая языковая модель (LLM) с открытыми весами, производительность которой выше, чем у GPT-3.5. Mixtral 8x7B представляет собой собрание экспертов (Mixture of Experts (MoE)).
Такие модели архитектурно отличаются от традиционных LLM. Вместо отправки каждого токена в dense layer, модель использует набор экспертов (слои со специализацией) и роутер, который направляет токены к наиболее подходящему эксперту.
Здесь очень подходит аналогия с консалтинговой компанией, в которой работают консультанты разной специализации.
Если традиционные модели, например Llama2, взаимодействуют со всей информацией одновременно, то экспертные модели эффективно распределяют задачи среди своих экспертов, что позитивно сказывается на их производительности.
Все бы хорошо, но чтобы запустить Mixtral 8x7B нужно много гигабайт оперативной памяти на GPU, что зачастую недоступно
Ребята из МФТИ оптимизировали прожорливую Mixtral 8x7B для работы на небольших (consumer grade) GPU.
Исходная модель была квантована в режиме смешанной точности, используя полуквадратичное квантование (HQQ). Также была разработана специальная стратегия разгрузки ресурсов.
Авторы изучили, как экспертная модель использует своих экспертов между токенами, и выявили некоторые закономерности:
1) Модель повторно использует определенных экспертов для последовательных токенов
2) Скрытые состояния ранних уровней уже предвидят, какие эксперты будут использоваться на последующих уровнях.
В результате был разработан метод разгрузки для MoE моделей, который использует эти шаблоны:
1) Используется кэш LRU для уменьшения обмена данными между графическим процессором и оперативной памятью, что увеличивает производительность
2) Метод заранее предсказывает, какие эксперты будут нужны и формирует очередность их загрузки на основе требуемых вычислений
🪄 Блог
🐈⬛ Код
🐙 GitHub
📖 Статья
🕸 Сайт
Онлайн с Microsoft for AI
Сегодня буду вести +- онлайн с конференции Microsoft AI Tour. Расскажу вам все свеженькие подробности, чем там занимается самая дорогая компания мира
Сегодня буду вести +- онлайн с конференции Microsoft AI Tour. Расскажу вам все свеженькие подробности, чем там занимается самая дорогая компания мира
🚀 Keynote: Следующее поколения ИИ для разработчиков
На докладе был продемонстрирован ряд новых интересных инструментов для работы с искусственным интеллектом и облачными вычислениями, что подчеркивает стремление компании интегрировать искусственный интеллект в свои основные сервисы.
- Microsoft Cloud и Copilot Stack: Интеграция искусственного интеллекта в каждое облачное решение, преобразующее работу разработчиков с Azure, которая теперь предлагает платформу для приложений, данных и искусственного интеллекта.
- Copilot для Microsoft 365: Использование больших языковых моделей (LLM) OpenAI и Microsoft Graph, обеспечивающих улучшенный пользовательский опыт.
- Security Copilot: Предлагает специализированные знания для обеспечения безопасности организации.
- Microsoft Copilot Studio: No/low code решение без кода с тысячами готовых плагинов, упрощающее создание новых приложений Copilot.
- GitHub Copilot: Теперь более мощный, с такими возможностями, как объяснение кода в Visual Studio Code и быстрое исправление ошибок.
- Синергия данных и ИИ: Признавая важность данных, Microsoft подчеркнула успех ChatGPT, работающего на базе Azure Cosmos DB, и представила Microsoft Fabric для расширенной аналитики данных.
- Инновационные функции: Векторный поиск в Azure AI Search и полный доступ к лучшим моделям OpenAI.
- Партнерство с NVidia: Продвижение NeMO для расширения возможностей ИИ.
- Chat Studio: Интуитивно понятная платформа для создания и настройки решений для чатов с легкой интеграцией поиска Azure AI и озер данных.
- PromptFlow: Визуальный интерфейс для создания цепочек промптов, Python и RAG, развертываемый как Azure endpoint.
- Azure Content Safety: Внедрение фильтров контента и настраиваемых параметров допустимости для более безопасного контента.
Выводы
Акцент Microsoft на простоте использования, безопасности и надежной аналитике данных указывает на значительный сдвиг в сторону ИИ-ориентированных решений, упрощающих сложные задачи и стимулирующих инновации среди разработчиков.
На докладе был продемонстрирован ряд новых интересных инструментов для работы с искусственным интеллектом и облачными вычислениями, что подчеркивает стремление компании интегрировать искусственный интеллект в свои основные сервисы.
- Microsoft Cloud и Copilot Stack: Интеграция искусственного интеллекта в каждое облачное решение, преобразующее работу разработчиков с Azure, которая теперь предлагает платформу для приложений, данных и искусственного интеллекта.
- Copilot для Microsoft 365: Использование больших языковых моделей (LLM) OpenAI и Microsoft Graph, обеспечивающих улучшенный пользовательский опыт.
- Security Copilot: Предлагает специализированные знания для обеспечения безопасности организации.
- Microsoft Copilot Studio: No/low code решение без кода с тысячами готовых плагинов, упрощающее создание новых приложений Copilot.
- GitHub Copilot: Теперь более мощный, с такими возможностями, как объяснение кода в Visual Studio Code и быстрое исправление ошибок.
- Синергия данных и ИИ: Признавая важность данных, Microsoft подчеркнула успех ChatGPT, работающего на базе Azure Cosmos DB, и представила Microsoft Fabric для расширенной аналитики данных.
- Инновационные функции: Векторный поиск в Azure AI Search и полный доступ к лучшим моделям OpenAI.
- Партнерство с NVidia: Продвижение NeMO для расширения возможностей ИИ.
- Chat Studio: Интуитивно понятная платформа для создания и настройки решений для чатов с легкой интеграцией поиска Azure AI и озер данных.
- PromptFlow: Визуальный интерфейс для создания цепочек промптов, Python и RAG, развертываемый как Azure endpoint.
- Azure Content Safety: Внедрение фильтров контента и настраиваемых параметров допустимости для более безопасного контента.
Выводы
Акцент Microsoft на простоте использования, безопасности и надежной аналитике данных указывает на значительный сдвиг в сторону ИИ-ориентированных решений, упрощающих сложные задачи и стимулирующих инновации среди разработчиков.
🌐 Break-Out Session Insights: Векторный поиск и передовые технологии поиска для приложений ИИ
Потенциал и проблемы векторного поиска в приложениях генеративного ИИ.
На второй сессии мы погрузились в запутанный мир векторного поиска и передовых методов извлечения информации для приложений генеративного ИИ, обсудив возможности и ограничения, присущие современным большим языковым моделям (LLM).
- Ограничения LLM: устаревшие знания и отсутствие доступа к внутренним данным (например компании)
- Инкорпорирование знаний о домене:
Обсуждались такие стратегии, как промптинг, файнтюнинг (навыки и знания навсегда) и RAG (временные навыки и знания)
- Стоимость файнтюнинга: По общему мнению сотрудников Microsoft, файнтюнинг - это дорого, обратил внимание, что многие не знают об экономически эффективных методах, таких как LoRA.
- Retrieval Augmented Generation (RAG): Этот подход предполагает преобразование вопроса пользователя в оптимальный поисковый запрос для поиска документов, а затем ответ от LLM с цитатами.
- Robust Retrieval: Акцент на важности надежного поиска данных с использованием векторных методов семантического сходства.
- Векторные базы данных и эмбеддинги: Обсуждение того, как разные модели дают разные вкрапления, причем эмбединги OpenAI отличаются тем, что кодируют как буквы, так и семантику. (“Dog” ~ “god”)
- Возможности для бизнеса: Потенциал для встраивания источников знаний и предложения поиска по сходству в качестве услуги (Vector Search as a Service)
Azure AI Search
Возможности включают автоматическое индексирование из баз данных Azure, комплексный векторный поиск и мульти-язычные текстовые эмбединги.
- Стратегии векторного поиска: Такие методы, как приближенный поиск ближайших соседей (ANN) и исчерпывающий поиск KNN, были отмечены за их эффективность в различных сценариях.
- Гибридный поиск: Сочетание точного поиска текста с векторным поиском для повышения релевантности.
- Чанкинг и векторизация: Azure работает над предложением "Chunking as a Service, которая предполагает разбиение длинного текста на более короткие фрагменты для более целенаправленного анализа содержимого.
- Azure AI SDK и приложения: SDK облегчает векторный поиск в различных приложениях, включая рекомендательные системы.
Выводы
Сессия подчеркнула быструю эволюцию методов поиска в ИИ и подчеркнула важность векторного поиска и RAG для улучшения приложений генеративного ИИ.
Дальнейшее развитие Microsoft в этой области, особенно с помощью Azure AI и возможностей векторного поиска, свидетельствует о твердом намерении развивать технологии ИИ для более точного, релевантного и эффективного поиска и обработки данных.
Потенциал и проблемы векторного поиска в приложениях генеративного ИИ.
На второй сессии мы погрузились в запутанный мир векторного поиска и передовых методов извлечения информации для приложений генеративного ИИ, обсудив возможности и ограничения, присущие современным большим языковым моделям (LLM).
- Ограничения LLM: устаревшие знания и отсутствие доступа к внутренним данным (например компании)
- Инкорпорирование знаний о домене:
Обсуждались такие стратегии, как промптинг, файнтюнинг (навыки и знания навсегда) и RAG (временные навыки и знания)
- Стоимость файнтюнинга: По общему мнению сотрудников Microsoft, файнтюнинг - это дорого, обратил внимание, что многие не знают об экономически эффективных методах, таких как LoRA.
- Retrieval Augmented Generation (RAG): Этот подход предполагает преобразование вопроса пользователя в оптимальный поисковый запрос для поиска документов, а затем ответ от LLM с цитатами.
- Robust Retrieval: Акцент на важности надежного поиска данных с использованием векторных методов семантического сходства.
- Векторные базы данных и эмбеддинги: Обсуждение того, как разные модели дают разные вкрапления, причем эмбединги OpenAI отличаются тем, что кодируют как буквы, так и семантику. (“Dog” ~ “god”)
- Возможности для бизнеса: Потенциал для встраивания источников знаний и предложения поиска по сходству в качестве услуги (Vector Search as a Service)
Azure AI Search
Возможности включают автоматическое индексирование из баз данных Azure, комплексный векторный поиск и мульти-язычные текстовые эмбединги.
- Стратегии векторного поиска: Такие методы, как приближенный поиск ближайших соседей (ANN) и исчерпывающий поиск KNN, были отмечены за их эффективность в различных сценариях.
- Гибридный поиск: Сочетание точного поиска текста с векторным поиском для повышения релевантности.
- Чанкинг и векторизация: Azure работает над предложением "Chunking as a Service, которая предполагает разбиение длинного текста на более короткие фрагменты для более целенаправленного анализа содержимого.
- Azure AI SDK и приложения: SDK облегчает векторный поиск в различных приложениях, включая рекомендательные системы.
Выводы
Сессия подчеркнула быструю эволюцию методов поиска в ИИ и подчеркнула важность векторного поиска и RAG для улучшения приложений генеративного ИИ.
Дальнейшее развитие Microsoft в этой области, особенно с помощью Azure AI и возможностей векторного поиска, свидетельствует о твердом намерении развивать технологии ИИ для более точного, релевантного и эффективного поиска и обработки данных.
AI Для Всех
🌐 Break-Out Session Insights: Векторный поиск и передовые технологии поиска для приложений ИИ Потенциал и проблемы векторного поиска в приложениях генеративного ИИ. На второй сессии мы погрузились в запутанный мир векторного поиска и передовых методов извлечения…
Ценники на Azure
У Microsoft прям таки мега супер дорогой Semantic Reranking! Определенно возможность для маленького стартапчика (покидайте какие уже такое делают).
Semantic reranking - это процесс, используемый в области обработки естественного языка и информационного поиска, где первоначальные результаты запроса переупорядочиваются на основе их семантического содержания. Цель этого процесса - улучшить релевантность и точность результатов, предоставляемых поисковой системой или другим алгоритмом обработки языка.
В типичном сценарии использования, система сначала генерирует список потенциальных ответов или документов на основе некоторых начальных критериев (например, ключевых слов). Затем эти результаты анализируются более глубоко с точки зрения их семантического содержания - то есть понимания и интерпретации естественного языка, в контексте которого они были созданы. Этот анализ может включать в себя оценку релевантности текста к запросу, понимание намерений пользователя, учет контекста и смысловых связей между словами.
После семантического анализа результаты могут быть переупорядочены так, чтобы наиболее релевантные и полезные ответы были представлены первыми. Это повышает вероятность того, что пользователь найдет наиболее удовлетворительный ответ на свой запрос в начале списка результатов.
Semantic reranking широко используется в современных поисковых системах, системах рекомендаций, чат-ботах и других приложениях, где важно точно понимать и отвечать на запросы на естественном языке.
У Microsoft прям таки мега супер дорогой Semantic Reranking! Определенно возможность для маленького стартапчика (покидайте какие уже такое делают).
Semantic reranking - это процесс, используемый в области обработки естественного языка и информационного поиска, где первоначальные результаты запроса переупорядочиваются на основе их семантического содержания. Цель этого процесса - улучшить релевантность и точность результатов, предоставляемых поисковой системой или другим алгоритмом обработки языка.
В типичном сценарии использования, система сначала генерирует список потенциальных ответов или документов на основе некоторых начальных критериев (например, ключевых слов). Затем эти результаты анализируются более глубоко с точки зрения их семантического содержания - то есть понимания и интерпретации естественного языка, в контексте которого они были созданы. Этот анализ может включать в себя оценку релевантности текста к запросу, понимание намерений пользователя, учет контекста и смысловых связей между словами.
После семантического анализа результаты могут быть переупорядочены так, чтобы наиболее релевантные и полезные ответы были представлены первыми. Это повышает вероятность того, что пользователь найдет наиболее удовлетворительный ответ на свой запрос в начале списка результатов.
Semantic reranking широко используется в современных поисковых системах, системах рекомендаций, чат-ботах и других приложениях, где важно точно понимать и отвечать на запросы на естественном языке.
AI Для Всех
Ценники на Azure У Microsoft прям таки мега супер дорогой Semantic Reranking! Определенно возможность для маленького стартапчика (покидайте какие уже такое делают). Semantic reranking - это процесс, используемый в области обработки естественного языка и…
От самого Azure пока ощущение так себе. Пришел на воркшоп, там была пошаговая инструкция как запустить PromptFlow. Мы потратили 1.5 часа, никто из 40 человек и не справился с тем что бы дойти собственно до самого PromptFlow. Бесконечная настройка и подключение чего-то куда-то.
Так что если вы можете хостить AI приложения и предоставлять их как сервис - все у вас будет хорошо (давай я настрою облако за тебя)
Так что если вы можете хостить AI приложения и предоставлять их как сервис - все у вас будет хорошо (давай я настрою облако за тебя)
This media is not supported in your browser
VIEW IN TELEGRAM
InseRF: Генеративная вставка объектов в нейронные 3D-сцены посредством текста
Google представила InseRF - метод добавление объектов в NeRF сцены. InseRF умеет органично встраивать новые объекты в существующие сцена, не требуя явной 3D-информации, которая была ограничением для существующих методов. Для добавления объекта всего лишь нужно выделить область в сцене рамкой и подать промпт.
Это достигается следующим образом:
- Генерируется 2D-изображение желаемого объекта с помощью диффузных моделей на основе текстового описания;
- Это изображения реконструируется в 3D с помощью NeRF в указанном рамкой месте;
- С помощью монокулярной оценки глубины определяется трехмерное размещение объекта в сцене;
- NeRF объекта и сцены объединяются в одну сцену так, чтобы объект был привязан к желаемым 3D координатам.
Конечно, этот метод не идеален. На примерах видно, что новые объекты никак не взаимодействуют с освещением: не отбрасывают тени и не имеют отражений. Подозреваю, что прозрачные объекты не будут таковыми.
📜 Пейпер | 🎦 Примеры
Google представила InseRF - метод добавление объектов в NeRF сцены. InseRF умеет органично встраивать новые объекты в существующие сцена, не требуя явной 3D-информации, которая была ограничением для существующих методов. Для добавления объекта всего лишь нужно выделить область в сцене рамкой и подать промпт.
Это достигается следующим образом:
- Генерируется 2D-изображение желаемого объекта с помощью диффузных моделей на основе текстового описания;
- Это изображения реконструируется в 3D с помощью NeRF в указанном рамкой месте;
- С помощью монокулярной оценки глубины определяется трехмерное размещение объекта в сцене;
- NeRF объекта и сцены объединяются в одну сцену так, чтобы объект был привязан к желаемым 3D координатам.
Конечно, этот метод не идеален. На примерах видно, что новые объекты никак не взаимодействуют с освещением: не отбрасывают тени и не имеют отражений. Подозреваю, что прозрачные объекты не будут таковыми.
📜 Пейпер | 🎦 Примеры
Что обсуждают самые активные стартапы (в Хакерской AI тусовке) в Долине?
Провел несколько дней в AGI House (наверное самый эпицентр e/acc на планете), и спешу поделиться инсайтами.
1. CEO Cresta:
- Важно решать существующие проблемы клиентов, а не придумывать новые.
- Очень важно найти правильно сооснователя.
- Строить продукты на базе ИИ очень легко
- Стратегию разработки продукта можно определить через сегментацию рынка
2. Том (Chai Research):
- Blending is all you need
- Chaiverse.com - маркетплейс для LLM
- Демография Chai App: 60% женщин 14-25 лет.
- Пользователи предпочитают вовлеченность фактичности.
3. Матан (Pika):
- Платформа "idea2video".
- Уникальные функции: расширение холста и модификация изображения.
4. Алекс Волков (Weights and Biases):
- WandB - видеоняня для вашего BabyAGI
- Указал, что лучшие специалисты по файнтюнингу используют W&B.
- Упомянул легкость интеграции W&B с Together Ai.
5. Три Дао (Together Ai):
- Разработчик FlashAttention.
- Представил модель Mamba для линейного временного моделирования с выборочными состояниями).
- Обсудил важность глубоких последовательных моделей в современном глубоком обучении.
- Рассмотрел архитектуру SSM - модель с выборочным состоянием.
6. Харрисон (LangChain):
- Работает над агентами.
- Описал 5 уровней агентов:
- Уровень 1: Сама LLM.
- Уровень 2: Цепочка RAG; запрос -> извлечение -> запрос -> LLM -> ответ.
- Уровень 3: Агент; выбор источников для поиска ответа.
- Уровень 4: Использование gpt-researcher для генерации задач и запросов.
- Уровень 5: Агент Рефлексии/Автоматизации.
Вот такие вот инсайты из Долины🚀
Провел несколько дней в AGI House (наверное самый эпицентр e/acc на планете), и спешу поделиться инсайтами.
1. CEO Cresta:
- Важно решать существующие проблемы клиентов, а не придумывать новые.
- Очень важно найти правильно сооснователя.
- Строить продукты на базе ИИ очень легко
- Стратегию разработки продукта можно определить через сегментацию рынка
2. Том (Chai Research):
- Blending is all you need
- Chaiverse.com - маркетплейс для LLM
- Демография Chai App: 60% женщин 14-25 лет.
- Пользователи предпочитают вовлеченность фактичности.
3. Матан (Pika):
- Платформа "idea2video".
- Уникальные функции: расширение холста и модификация изображения.
4. Алекс Волков (Weights and Biases):
- WandB - видеоняня для вашего BabyAGI
- Указал, что лучшие специалисты по файнтюнингу используют W&B.
- Упомянул легкость интеграции W&B с Together Ai.
5. Три Дао (Together Ai):
- Разработчик FlashAttention.
- Представил модель Mamba для линейного временного моделирования с выборочными состояниями).
- Обсудил важность глубоких последовательных моделей в современном глубоком обучении.
- Рассмотрел архитектуру SSM - модель с выборочным состоянием.
6. Харрисон (LangChain):
- Работает над агентами.
- Описал 5 уровней агентов:
- Уровень 1: Сама LLM.
- Уровень 2: Цепочка RAG; запрос -> извлечение -> запрос -> LLM -> ответ.
- Уровень 3: Агент; выбор источников для поиска ответа.
- Уровень 4: Использование gpt-researcher для генерации задач и запросов.
- Уровень 5: Агент Рефлексии/Автоматизации.
Вот такие вот инсайты из Долины
Please open Telegram to view this post
VIEW IN TELEGRAM
Каналы по искусственному интеллекту переезжают в Сан-Франциско!
Рад видеть Влада из канала DL in NLP в рядах жителей Сан-Франциско. Влад (в красном) будет делать роботов в стартапчике на стадии Series A.
Предлагаю всем подписаться на его канал, что бы читать самый свежак про гуманоидных роботов и их мозги!
@dlinnlp
Рад видеть Влада из канала DL in NLP в рядах жителей Сан-Франциско. Влад (в красном) будет делать роботов в стартапчике на стадии Series A.
Предлагаю всем подписаться на его канал, что бы читать самый свежак про гуманоидных роботов и их мозги!
@dlinnlp
Ideas Landscape
В субботу участвовал в хакатоне по применениям RAG (способ заземления языковых моделей в данных). И вот что мы нахакатонили:
- На вход описание пользовательской идеи
- делаем эмбеддинг этой идеи в латентное пространство
- находим N соседних идей (в качестве базы используем краткое описание существующих компаний на chrunchbase)
- полученные N ближайших идей (их эмбединги) прогоняем через TSNE
- получаем 3D облако точек
- на этом облаке точек определяем кластеры с помощью DBScan
- из каждого кластера делаем сэмплинг описаний компаний
- отдаем описания в LLM, что бы она кластер как-то назвала
- на выходе возвращаем пользователю, где он находится в латентном пространстве идей и какие идея рядом
Хакатн мы не выиграли, но получили упоминание от одного из жюри.
Мне кажется будет прикольно сделать что-то такое для VR, что бы погружаться полностью в латентное пространство идей и двигать все туда-сюда руками.
Если вы умеете в VR и хотите попробовать со мной доделать эту штуку до настоящей демки - пишите :)
В субботу участвовал в хакатоне по применениям RAG (способ заземления языковых моделей в данных). И вот что мы нахакатонили:
- На вход описание пользовательской идеи
- делаем эмбеддинг этой идеи в латентное пространство
- находим N соседних идей (в качестве базы используем краткое описание существующих компаний на chrunchbase)
- полученные N ближайших идей (их эмбединги) прогоняем через TSNE
- получаем 3D облако точек
- на этом облаке точек определяем кластеры с помощью DBScan
- из каждого кластера делаем сэмплинг описаний компаний
- отдаем описания в LLM, что бы она кластер как-то назвала
- на выходе возвращаем пользователю, где он находится в латентном пространстве идей и какие идея рядом
Хакатн мы не выиграли, но получили упоминание от одного из жюри.
Мне кажется будет прикольно сделать что-то такое для VR, что бы погружаться полностью в латентное пространство идей и двигать все туда-сюда руками.
Если вы умеете в VR и хотите попробовать со мной доделать эту штуку до настоящей демки - пишите :)
Please open Telegram to view this post
VIEW IN TELEGRAM
RAG на больших данных: экономически эффективные эмбединги от Anyscale & Pinecone
Anyscale и Pinecone представили ~дешевое решение для RAG-приложений, снижающее затраты на эмбеддинги на 90%.
Создание эмбеддингов - первый шаг в приложениях Retrieval-Augmented Generation (RAG). Если пользоваться OpenAI - то на эмбеддинг 1B токенов уйдём примерно $60к. Anyscale и Pinecone значительно снижают эти затраты (ну и не только они, есть еще together.ai embeddings)
Pinecone - это бессерверная векторная база данных (есть и другие, расскажите кто чем пользуется). А Anyscale собственно предлагают модель для эмбеддингов.
Скорость достигается путем параллелизации через Ray. Но все равно, даже при всей экономической выгоде от такого решения, 1B токенов обойдется в $6к. А хотелось бы $6.
Как думаете, через сколько месяцев будет $600?
Anyscale x Pinecone
Anyscale и Pinecone представили ~дешевое решение для RAG-приложений, снижающее затраты на эмбеддинги на 90%.
Создание эмбеддингов - первый шаг в приложениях Retrieval-Augmented Generation (RAG). Если пользоваться OpenAI - то на эмбеддинг 1B токенов уйдём примерно $60к. Anyscale и Pinecone значительно снижают эти затраты (ну и не только они, есть еще together.ai embeddings)
Pinecone - это бессерверная векторная база данных (есть и другие, расскажите кто чем пользуется). А Anyscale собственно предлагают модель для эмбеддингов.
Скорость достигается путем параллелизации через Ray. Но все равно, даже при всей экономической выгоде от такого решения, 1B токенов обойдется в $6к. А хотелось бы $6.
Как думаете, через сколько месяцев будет $600?
Anyscale x Pinecone
AlphaGeometry от DeepMind - прекрасно, как свидание поэта с математикой, и триумфально, как олимпийское золото
DeepMind представил умопомрачительную AlphaGeometry - это сочетание языковой модели и символического двигателя дедукции. Один компонент быстро генерирует интуитивные идеи, а другой - принимает рациональные решения. В официальном пресс релизе такой подход сравнили с “думай медленно... решай быстро”, где AI сочетает творчество и логику {кто читал Канемана, расскажите}
В чем прорыв:
🌌 AlphaGeometry демонстрирует способность решать геометрические задачи на уровне золотых медалистов Международной математической олимпиады.
🌌 Система успешно решила 25 из 30 задач олимпиады, используя комбинацию статистических предположений, типичных для языковых моделей, и символического рассуждения - буквально, рисуя окружности и отрезки.
🌌 Вместо обычного естественного языка команда разработала собственный язык для геометрических доказательств со строгим синтаксисом, аналогичным языку программирования, что позволяет программно проверять ответы. По сути, он говорит на “геометрическом”, и удивительно, но его можно понять!
🌌 AlphaGeometry обучалась на 100 миллионах сгенерированных и отфильтрованный доказательств, что обеспечило надежность результатов и позволило избежать потенциальных проблем, связанных с обучением на данных из интернета.
Самое интересное тут - нейросимволический подход. Языковая модель генерирует интуитивные идеи и предложения, а символический двигатель обрабатывает эти предложения, используя формальную логику и четкие правила для проверки выводов.
Take home message:
Эта система не просто даёт ответ на геометрические задачи - она переопределяет подход к решению задач с помощью AI далеко за пределами математики.
Т.е. AI может идти дальше распознавания образов и статистически выводов, а начать активно применять логическое мышление для открытия новых знаний. Ещё один шаг к AGI
♾ Статья в Nature
📐 Github repo
DeepMind представил умопомрачительную AlphaGeometry - это сочетание языковой модели и символического двигателя дедукции. Один компонент быстро генерирует интуитивные идеи, а другой - принимает рациональные решения. В официальном пресс релизе такой подход сравнили с “думай медленно... решай быстро”, где AI сочетает творчество и логику {кто читал Канемана, расскажите}
В чем прорыв:
Самое интересное тут - нейросимволический подход. Языковая модель генерирует интуитивные идеи и предложения, а символический двигатель обрабатывает эти предложения, используя формальную логику и четкие правила для проверки выводов.
Take home message:
Эта система не просто даёт ответ на геометрические задачи - она переопределяет подход к решению задач с помощью AI далеко за пределами математики.
Т.е. AI может идти дальше распознавания образов и статистически выводов, а начать активно применять логическое мышление для открытия новых знаний. Ещё один шаг к AGI
♾ Статья в Nature
📐 Github repo
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM