Аналитический отчет Стенфордского университета про ИИ за 24 год Довольно увесистый труд на 500+ страниц, разбит на 9 глав.
1. Тренды в исследованиях.
2. Обзор технических характеристик и улучшений в LLM
3. Тенденции Responsible AI - конфиденциальность и безопасность
4. Экономические тенденции
5. ИИ в науке и медицине
6. ИИ в образовании
7. ИИ в политике и государстве
8. Сообщества разработчиков, кто и как развивает ИИ
9. Общественное мнение

Любопытный факт, на сайте авторов и во всех публикациях про этот отчет приводятся цитаты только из первой главы, возможно дальше никто еще не дочитал :)
#llm #AI #RAG #ИИ

Сегодня по миру разлетается новость, что производитель AI чипов SambaNova выпустил инференс LLM моделей со скоростью отдачи 1000 токенов в секунду.
Проверила, действительно работает очень быстро, есть готовые тестовые запросы, но я сделала свой на русском, попросила написать скрипт обхода графа по ширине. Одно огорчает, непонятно, как скоро эти технологии станут доступными для покупки
#llm #AI #RAG #ИИ

⚡️ Исследователи из Стэнфорда разработали SleepFM - новую мультимодальную базовую модель для анализа сна!
модель применяется для классификации стадий сна и обнаружения нарушения дыхания. Для обучения в Стэнфордской клинике сна был собран обширный набор данных мультимодальных записей сна в период с 1999 по 2020 год с более чем 14 000 участников, что в общей сложности составляет более 100 000 часов данных.
#llm #AI #ИИ

Решила немного погрузиться в тему нейроморфного или спайкового ИИ. Он приближен к естественному и работает на принципах нейронов живых существ.
Пока еще технологии будущего, т.к. требуют нейроморфные чипы, но уже сейчас известно о том, какие характеристики и преимущества мы получим при их использовании. Нашла видео с очень подробным и простым объяснением:
На изображении пример архитектуры. Вместо привычных слоев - колонны, каждая из которых отвечает за какие-то определенные характеристики сети, кстати переобучать можно буквально каждый нейрон в отдельности.

Энергопотребление в 1000 раз ниже, чем сейчас
Отклик в разы быстрее, до 2 миллисекунд. Это настолько быстро, что камера со встроенным нейроморфным чипом умеет считать песчинки, падающие в песочных часах.

Видеокамеры на нейроморфных чипах(такие уже выпускаются, если у вас есть лишние $5000) снимают не кадры, как мы привыкли, а каждый пиксель по отдельности и асинхронно

Вышла мультимодальная версия модели Матрешка (М3), полностью оправдывает свое название, потому что использует эмбеддинги переменной длины, как бы вкладывая один в другой.
M3 представляет визуальный контент как вложенные наборы визуальных токенов, которые собирают информацию с различной степенью детализации. Этот новый подход позволяет явно контролировать визуальную детализацию во время вывода, позволяя регулировать количество токенов в зависимости от ожидаемой сложности или простоты контента.
Например, изображение с большим количеством деталей может быть представлено большим количеством токенов, тогда как более простые изображения могут использовать меньшее количество токенов.
В частности, в модели используются эмбеддинги длиной в 1, 9, 36, 144 и 576 токенов, причем каждый уровень обеспечивает все более точное представление визуального контента.
Это первая модель с подобным подходом
#llm #AI #RAG #ИИ

Готовый проект с агентами-исследователями. Схема достаточно стандартная- несколько ролей и возможность задавать вопросы конкретному агенту, навыки онлайн поиска... но что впечатлило - это 12 200 звезд на гитхабе. Столько человек не могут ошибаться 🙂

Скрин с демо. Может работать локально с любыми сетями. Бесплатно скачиваем и бесплатно пользуемся🙂
#llm #AI #RAG #ИИ

Делюсь интересной точкой зрения на перспективы развития автономных мультиагентов. Это не просто агенты, которые умеют делать конкретную задачу, как в openai, а группы думающих ботов, которые без участия человека имитируют групповую деятельность или трудятся в одиночку. У них был год на взлет, но тот, так и не состоялся. Причина в их достаточно медленной сходимости к результату, они склонны дублировать действия и выбирать неоптимальные шаги.
Но действительно ли мы видим закат, казавшейся перспективной технологии?
Лично я верю в их будущее, просто для него сняты еще не все технологические барьеры, и когда все окончательно наиграются и устанут от онлайн-консультантов с RAG, рынок захочет чего-то по-настоящему интеллектуального
#llm #AI #RAG #ИИ

Пока вы спали, китайцы выпустили новую модель Qwen2.
В ней:
- Предварительно обученные и настроенные с помощью инструкций модели 5 размеров, включая Qwen2-0.5B, Qwen2-1.5B, Qwen2-7B, Qwen2-57B-A14B и Qwen2-72B ;
- Прошла обучение работе с данными еще на 27 языках, помимо английского и китайского, русский тоже присутствует;
- Качество приближено к GPT4;
- Значительно улучшена производительность в программировании и математике;
- Расширенная длина контекста поддерживает до 128 000 токенов с помощью Qwen2-7B-Instruct и Qwen2-72B-Instruct.
Есть лицензия Apache 2.0 кроме 72B
источник
huggingface
#llm #AI #ИИ #QWEN2

Husky-v1 open source агент, предназначенный для решения сложных многоходовых задач - код, финансы, математика, таблицы и базы знаний

https://github.com/agent-husky/Husky-v1
#llm #ai #husky

А знаете ли вы, что помимо машинного обучения существует еще и машинное оТучение???

Да, да, именно так, Machine unlearning - это область искусственного интеллекта, которая фокусируется на эффективном устранении влияния конкретных обучающих данных из обученной модели. К таким относятся данные юридического характера, конфиденциальности и безопасности, вредная, неверная или устаревшая информация.

На недавнем конкурсе, организованном NeurIPS, исследователи представили несколько инновационных алгоритмов отучения. Система оценки, разработанная исследователями, измеряла качество забывания, полезность модели и эффективность вычислений. Например, несмотря на радикальный подход, метод «Себастьяна», который сократил 99% весов модели, показал замечательные результаты.
Источник

сижу, общаюсь с OpenInterpreter - локальный помощник, который умеет выполнять задачи прямо на компьютере. Больше заточен под mac но у меня для работы используется мощный комп с ubuntu, поэтому пробуем на нем. Для начала он предложил перейти на бесплатную модель, которая еще только учится. Ок, с gpt4o любой может быть умным, пробуем неизвестную модельку. ни ключ. ни впн кстати не просил