2 видео об ИИ который проходит игру Tomb Rider - геймплей и процесс создания.
Геймплей это конечно куча склеек роликов, однако то как несколько моделей объединяют для решения задачи показывает невообразимый потенциал их использования

https://youtu.be/PTsIFF_Qw4U?si=5YIteS46TiKhSO1j
https://youtu.be/0wTf_bbkW2U?si=n9HH3AQFM02VJo1B

Наконец дошли руки до Stable Diffusion, интересно конечно еще способы применения посмотреть. Например видел кейсы с дизайнами интерьера, хочу теперь найти старые фотки квартиры до ремонта и попробовать сгенерировать новые

Реклама yandexgpt в лужниках 👏

Купил новую клаву ⌨️

Дорогу Kandinsky Video 🎬

🥇Рад представить вам нашу новую модель с новой архитектурой, которая является первой российской end-to-end нейросетью по синтезу видео по тексту - это был реальный вызов для нас!

Внутри наша модель состоит из двух этапов, которые отвечают за две важные задачи синтеза: генерация ключевых кадров (для управления сюжетной линией видео) и генерация дополнительных кадров (для плавности движений).

А теперь чуть-чуть подробнее:

📌 в качестве генератора кадров используется модель Kandinsky 3.0
📌разрешение генераций 512 пикселей
📌генерировать можно с различным соотношением сторон
📌можно выбрать частоту кадров для плановности
📌генерация занимает от 1 до 3 минут (зависит от степени плавности, которой вы хотите добиться при синтезе)

Ссылки на проект:
Telegram bot
сайт проекта
rudalle.ru
GitHub

Почитать подробнее про Kandinsky Video можно в новой статье на Хабре.

По вопросам сотрудничества и развития модели пишите в ЛС - с радостью обсудим все идеи🤝

@complete_ai

Друзья, мы решили тоже попробовать в опенсорс по графам.
Библиотек сейчас много, обычно они поверх PyG или Torch Spatiotemporal.
Часто они заточены под конкретные задачи и требуют хорошей теоретической базы.
Мы же заметили что DS обычно (вряд ли в правда именно в этой группе) неохотно пробуют графовые сетки, не зная с чего начать.
Поэтому, чтобы снизить порог входа и, например, быстро проверить — дадут ли графовые данные прибавку именно в вашей задаче (например, если нужно принять решение о закупке) мы собрали из наших наработок небольшую библиотеку.
Пара слоев с парой типов графовых сверток (с фичами ребер и без), optuna для подбора архитектуры, функций активации и параметров и mlflow опционально для трекинга экспериментов + небольшие плюшки типа автоподбор размера батча. Реально не замахиваемся на великое и вечное, просто инструмент для быстрого старта. Если найдете время попробовать — будем очень признательны за фидбек и обязательно отработаем. Если поправите ошибок — будем долго вспоминать добрыми словами, поставите звезду — выпьем за ваше здоровье.
Если просто возникнет желание потроллить / набросить — тоже велкам, а то чет чат умирает )
https://github.com/MobileTeleSystems/CoolGraph

Салют, GigaChat!
Речевые технологии и большие языковые модели

4 декабря приглашаем ML-разработчиков и Data Science-специалистов на встречу с командами разработки продакшн GigaChat и речевых технологий.
На митапе SberDevices ведущие разработчики GigaChat расскажут о новой модели, поделятся деталями сбора данных для предобучения и метриках, которых достигают 7B и 29B модели, лежащие в основе GigaChat.
Мы также поговорим о наших подходах в разработке речевых технологий (ASR/TTS):
— создание моделей распознавания речи;
— дообучение для задач распознавания речи и эмоций;
— какие модификации мы сделали в обучении, архитектуре и инференсе моделей TTS, чтобы победить прод и научить модель разговаривать лучше и др.

В программе:

— Федор Минькин, технический директор GigaChat — «Открытие митапа, о команде, обзор разработки GigaChat»
— Григорий Лелейтнер (команда GigaChat) — «Что мы улучшили в процессе pre-training LLM»
— Эмиль Шакиров и Никита Сидоров (команда GigaChat) — «Наш путь в процессе Alignment для совершенства моделей глубокого обучения»
— Александр Максименко (команда Speech) — «Speech-only Pre-training: обучение универсального аудиоэнкодера»
— Григорий Федоров (команда Speech) — «Intended Query Detection: распознаем только нужные запросы»
— Гриша Стерлинг (команда Speech) — «Как мы заставили модель синтеза речи 2023 года говорить лучше модели 2018 года»

Участвуйте в дискуссиях с другими участниками митапа и задавайте вопросы спикерам во время докладов.

Количество мест в офлайне ограничено. Для участия необходимо зарегистрироваться на сайте https://sberdevices-meetup.jugru.org/

DeepMind, возможно, снова резко пнули кинули двинули (!) науку вперёд (как с AlphaFold):
представили GNoME (Graph Networks for Material Exploration)

1) Это графовая сетка, способная не только предсказывать кристаллические структуры материалов, но и их стабильность
2) Все найденные материалы (а их уже, по словам ДМ, 380,000 - стабильных, и 2.2 млн всего) будут выложены в открытый доступ
3) За последнеи десять лет вычислительным путём было найдено около 28 тысяч стабильных кристаллических структур ⇒ то есть DM, по их подсчётам, набросал эквивалент ~800 лет ресерча
4) Среди обнаруженного - 52,000 потенциально новых структур графен-подобных материалов (сверхпроводники), 528 аналогов литиевых проводников (аккумуляторы)
5) Состоит из двух путей: структурного (аналоги известных материалов) и композиционного (~рандомная генерация) ➟ проверка на стабильность ➟ дальнейшая проверка (Density Functional Theory)

📚 Папира
🎥 Минутный видос - дашборд, как люди заходили и использовали БД с материалами (чут чут кусат завораживает)
📚 Беркли делает лабу для автономного синтеза материалов. Выглядит модно, и за 17 дней эксперимента насинтезировала 41/58 материалов - для сравнения, человеку могут потребоваться недели-месяцы на один материал (особенно когда нет финансирования...)

Mattermost ODS

После отключения ods.ai в slack сообщество разбежалось по разным каналам, чатам и мессенджерам. Кто-то кого-то банил, кто-то с кем-то спорил, где-то все тормозило и так далее.
Все это время нас регулярно спрашивали о площадке для общения сообщества, есть ли что-то "как раньше".
"Как раньше" уже не будет никогда, но мы подняли сервер Mattermost, на который может зайти любой, имеющий аккаунт на ods.ai.

Технические детали:
Авторизация сделана через OAuth, на бесплатной версии mattermost это работает только через Gitlab. Поэтому мы подняли сервер авторизации, который притворяется Gitlab сервером, а сам берет доступы с сайта ods.ai. Это объясняет, почему авторизация на сервере такая кривая ;-) Потихоньку прикрутим прямее.

Инструкция по подключению - здесь.

Ваш @Reliable ML

#ods #mattermost

📊 Опубликовали бенчмарк RealCode_eval

https://github.com/NLP-Core-Team/RealCode_eval

RealCode_eval - наш новый бенчмарк по оценке возможностей генерации кода языковыми моделями. Задача для модели состоит в генерации тела для функции (или метода) в реальных репозиториях с гитхаба. Популярные существующие бенчмарки по генерации кода, такие как HumanEval, MBPP или AlphaCode, состоят из задач соревновательного программирования, таких как на LeetCode или CodeForces. RealCode же проверяет модели в условиях реальной разработки. Функции взяты из репозиториев на питоне, опубликованных летом 2023 года. Это означает, что популярные открытые модели Codellama и Starcoder этих репозиториев не видели.

Для оценки сгенерированных функций используем execution-based подход: подставляем сгенерированное тело функции в файл, запускаем тесты репозитория и сравниваем количество пройденных тестов между сгенерированным и настоящим телом функции.