Machine-Learning-Tokyo: интерактивные инструменты для ML и математики

Репозиторий Machine-Learning-Tokyo представляет обширную коллекцию интерактивных инструментов для визуализации и понимания ML, DL и математики.
Включает средства для изучения трансформеров (Transformer Explainer, exBERT, BertViz), CNN, GAN, эмбеддингов и других ключевых концепций.
Предоставляет платформы для анализа NLP моделей (LIT), исследования поведения ML систем (What-If Tool) и изучения метрик разнообразия в поиске.
Содержит визуализации для математики, вероятностей и байесовского вывода.

Теперь даже школьник сможет понять, как работает нейросеть!

#MachineLearningTokyo #InteractiveTools #DataVisualization
-------
@tsingular

Форж для Флекса.

В переводе с клингонского, обновился клиент Stable Diffusion от создателя Фокуса и теперь он поддерживает Flux.
Причем не просто поддерживает, в еще и оптимизирует память. Господин Жанг умял Флекс в новый формат NP.4, которые быстрее и точнее FP8!
Короче, это теперь можно запускать на ваших чахлых машинах.
Более того, автор перебрал Форжа по косточкам, и теперь он снова синхронизирован с А1111 1.10 и снова работает быстрее.
Багов много, например, сейчас надо запускать Фордж с выключенными диффьюзерс. Но там комиты идкт каждые полчаса.

Но наконец-то!
https://github.com/lllyasviel/stable-diffusion-webui-forge/discussions/981

@cgevent

Neo4j - GraphRAG для генеративного ИИ

Neo4j представила инструментарий GraphRAG для разработки приложений генеративного ИИ.

Ключевые компоненты:
• LLM Knowledge Graph Builder: формирует структурированный граф из неструктурированных данных.
• NeoConverse: генерирует и выполняет Cypher-запросы на основе пользовательских вопросов.
• Интеграции с LangChain, LlamaIndex, Haystack и облачными сервисами Google, AWS, Azure.

Экосистема позволяет улучшить качество ответов и прозрачность в GenAI-приложениях.

Доступны обучающие ресурсы, включая курс по графам знаний от Deeplearning AI.

Интересный готовый инструмент по построению графовых баз знаний для LLM.
Под капотом векторный кросс-поиск по связям и автогенерация cypher запросов (аналог SQL для графов)

#Neo4j #GraphRAG #KnowledgeGraphs
-------
@tsingular

SQLite получает мощное расширение для векторного поиска

sqlite-vec - новое расширение SQLite для векторного поиска, написанное на C без зависимостей.
Работает на всех платформах, включая браузеры через WebAssembly.
Использует виртуальные таблицы для хранения векторов, позволяя применять стандартные SQL-запросы.
Оптимизировано для быстрого поиска в наборах до сотен тысяч векторов.
Совместимо с расширениями sqlite-lembed и sqlite-rembed для генерации эмбеддингов.
Планируется добавление ANN-индексов для работы с большими объёмами данных.

Теперь и SQLite может в векторы.
Graph осталось добавить и будет шикарно.
Ждем sqlite-graph.

#SQLite #VectorSearch #Embeddings
-------
@tsingular

Калифорния и NVIDIA объявили о сотрудничестве в сфере ИИ

Губернатор Гэвин Ньюсом и основатель NVIDIA Дженсен Хуанг подписали соглашение о сотрудничестве в области искусственного интеллекта.
Инициатива нацелена на расширение доступа к инструментам и ресурсам ИИ для студентов, преподавателей и работников, с особым фокусом на общественные колледжи.
NVIDIA предоставит учебные программы, сертификации, оборудование и ПО, а также организует лаборатории и семинары по ИИ.
Проект призван стимулировать инновации, экономический рост и создание рабочих мест в Калифорнии.
Планируется сотрудничество с Калифорнийским университетом и привлечение других технологических компаний к подобным партнерствам.

Каждому студенту по видеокарте! :)

#California #NVIDIA #AIeducation
-------
@tsingular

На сайте ФСТЭК появился проект Требований о защите информации, не составляющей государственную тайну, содержащейся в государственных информационных системах, иных информационных системах государственных органов, государственных унитарных предприятий, государственных учреждений.

В п.49 - раздел по безопасность использования искусственного интеллекта.

"Так же не допускается использование в информационных системах сильного искусственного интеллекта".
победили AGI заранее.

49.4 - про противодействие prompt-injection. неплох.
49.5 - автобан при признаках попыток взлома - тоже зачёт.
49.8 г - про направление запросов к внешним сервисам - спорно. как будто не знали куда разместить. тянет на отдельный подпункт

#ФСТЭК #закон
———
@tsingular

HybridRAG - эффективнее GraphRAR & VectorRAG в отдельности

Технология сочетает преимущества VectorRAG и GraphRAG, обеспечивая более точное извлечение информации из неструктурированных текстов.

Например, тесты на транскриптах звонков компаний Nifty 50 показало превосходство HybridRAG по достоверности (0.96) и релевантности ответов (0.96).

https://arxiv.org/abs/2408.04948

#HybridRAG #FinancialAnalysis #KnowledgeGraphs
-------
@tsingular

Тем временем в мире SQL произошло сразу две революции:

Чуваки из Electric упаковали PostgreSQL сервер (один из главных движков баз данных в мире) в js-библиотеку pglite размером 3 (!) мегабайта.

На основе pglite уже запилил лютую имбищу — браузерную базу данных, которую можно натренировать на своих csv/excel файлах. Тестим тут.

On-device or edge AI and RAG
PGlite has full support for pgvector, enabling a local or edge retrieval augmented generation (RAG) workflow.

а вот это вообще бомба, т.е. вот этот вот pglite в 3 мега, умеет еще и в векторы!
Получается не выходя из кода можно в памяти RAGи для ИИ жонглировать буквально на любой кофеварке!

sqlite-vec queries:
- 1 million 128-dimensional vectors in just 17ms
- 500,000 with 960-dimensional vectors in 41ms

sqlite-vec supports:
💾 Matryoshka embedding slicing
💡 Binary quantization reduces storage by 32x with minimal accuracy loss
🤏🏻 L2, cosine and Hamming distance calculations
🧮 Retrieval against Python List and NP Arrays
🛠 SDKs for Python, Javascript, Go, Rust, Wasm and more
🧠 local direct embedding with “sqlite-lembed” for gguf models and Llama.cpp
☁️ remote embedding with “sqlite-rembed” for OpenAI compatible APIs


#RAG #vector #pglite
———
@tsingular

MIT создал базу данных рисков ИИ: от дискриминации до электронной боли

Группа FutureTech из MIT CSAIL разработала AI Risk Repository - публичную базу данных, содержащую более 700 потенциальных угроз, связанных с продвинутыми ИИ-системами.
Наиболее распространенные риски: безопасность и надежность (76%), предвзятость и дискриминация (63%), нарушение конфиденциальности (61%).
Интересно, что 90% рисков выявляются после публичного запуска моделей, что указывает на необходимость постоянного мониторинга.
Уникальные риски включают создание ИИ, способного чувствовать боль или испытывать подобие "смерти".

Репозиторий не ранжирует угрозы по степени опасности, сохраняя нейтральность, и остается открытым для дополнений.

Забираем себе копию таблицы и внимательно изучаем.

#MIT #AIRisks #FutureTech
-------
@tsingular

MMRole: Новый фреймворк для мультимодальных ролевых агентов ИИ

MMRole - система для разработки и оценки мультимодальных ролевых агентов (RPA - Role-Playing Agents не путать с Robotic Process Automation).

Фреймворк включает набор данных и метод оценки по 8 метрикам.

MMRole-Data содержит профили 85 персонажей, 11K изображений и 14К+ диалогов на их основе.

MMRole-Agent, создан дообучением QWen-VL-Chat.

GitHub: https://github.com/yanqidai/mmrole
Paper: https://arxiv.org/abs/2408.04203v1

#MMRole #RPA #multimodal
-------
@tsingular

MetaGPT: фреймворк мультиагентных систем

MetaGPT - новый фреймворк для создания ИИ-компаний по разработке ПО.
Ключевые особенности:
• Мультиагентная архитектура с ролями и действиями
• Программирование на естественном языке
• Поддержка различных языковых моделей - облачные и локальные, - OpenAI, ollama т.д.
• Data Interpreter для решения реальных задач
• Гибкая настройка агентов и их взаимодействий

Фреймворк позволяет легко создавать команды взаимодействующих агентов для решения сложных задач.

#MetaGPT #SoftwareDevelopment #MultiAgentSystems
-------
@tsingular

Роботы учатся самостоятельно по принципу «тренировка ведет к совершенству»

Инженеры MIT CSAIL и The AI Institute разработали алгоритм EES (Estimate, Extrapolate, and Situate), позволяющий роботам автономно улучшать свои навыки.
Механизм анализирует окружение, оценивает текущие способности и запускает тренировку если навыков недостаточно.
Тесты на роботе Spot от Boston Dynamics показали впечатляющие результаты: за 3 часа он научился размещать предметы на наклонной поверхности, а за 2 часа - убирать игрушки.
Традиционные методы потребовали бы более 10 часов для достижения аналогичных результатов.
Технология применима в различных сферах: на производстве, в сфере услуг, медицине и быту.
Следующий шаг - интеграция симуляторов для комбинирования виртуальных и реальных тренировок.

Ну вот, через годик эта "тренировка" будет занимать не часы, а секунды и получим сообразительных полноценных участников общества.

#robotics #machinelearning #automation
-------
@tsingular

Flux теперь в боте.

Добавил Flux генерацию картинок в бота @Cloud_GPT_bot.
теперь по 1 запросу вы получаете 3 варианта.
Dalle-3
Stability AI V3
Flux 1

Напоминаю, кстати, что есть еще сверхмощный Claude бот, который доступен тут @ant_claude_bot и умеет не только вести диалог, но и искать в интернете инфу на 30 страницах одновременно (уходит 2 минуты, вы вручную такое никогда не успеете - получается экономит время.) и делать выводы с помощью последней модели Sonnet 3.5:

@ant_claude_bot

и каждый подписчик этого канала получает дополнительный бонус на его использование.
так что делитесь с друзьями - пусть заходят в бота и подписываются на канал. :)

#image #bots
———
@tsingular

ИТ Пикник.

------
@tsingular

Procreate заявили, что никогда не будут использовать генеративный ИИ

Procreate заявляет о полном отказе от интеграции генеративного ИИ в свои продукты.
CEO компании, Джеймс Куда, резко раскритиковал данную технологию в видеообращении.
Его так же поддержали цифровые художники, обеспокоенные влиянием ИИ на творчество.

Clip Studio Paint отменила планы по внедрению ИИ после негативной реакции пользователей.

Adobe, напротив, активно интегрирует функции генеративного ИИ, что и вызывает критику части художников.

И треснул мир напополам. :)
Неолуддизм добирает сторонников.
Наверное, часть компаний поднимутся на лозунге "мы никогда не внедрим этот ваш ИИ".

#Procreate #неолуддизм
-------
@tsingular

HuggingFace представляет LeRobot: PyTorch-фреймворк для обучения роботов

Компания HuggingFace выпустила LeRobot - комплексный инструментарий для обучения роботов в реальном мире на базе PyTorch.
Проект нацелен на снижение входного барьера в робототехнику, предоставляя готовые модели, наборы данных и инструменты.
Фокус сделан на имитационном обучении и обучении с подкреплением.
LeRobot включает предобученные модели, демонстрационные датасеты и симуляционные среды.
Поддерживается работа с реальными роботами и интеграция с Hugging Face Hub для хранения моделей и данных.
Фреймворк предлагает инструменты визуализации, оценки и обучения моделей, а также интеграцию с Weights and Biases.

Очень крутой готовый фреймворк для DIY роботов. 🤖

#HuggingFace #LeRobot #robotics
-------
@tsingular