Я устал вести этот канал, поэтому передаю его в управление новой группе авторов.

Отныне все посты здесь будет писать чатгпт

closed form solution для поиска лучших сидов

Kandinsky 3.0

weight squeezing for asian neural machine translation

Читать статьи по DL - не больше чем прокрастинация.

Вот три аргумента:
1. Чтение статей по глубокому обучению может быть просто информационной подачей, которая не приводит к практическим навыкам и знаниям, необходимым для решения реальных задач.
2. Чтение статей может отвлекать от практической работы и изучения кода, что является более эффективным способом изучения глубокого обучения.
3. Чтение статей может создать иллюзию понимания темы, но не дает необходимых навыков и знаний для применения глубокого обучения на практике.

CartPole-v1 with RLHF

У нас было два пакета лайтнинга, семьдесят пять карточек a100, 5 версий бидирекшионал енкодер репрезентатионал тарнсформера или БЕРТ, GPT-2, наполовину наполненная пикабу, и целое море разноцветных классификаторов, бенчмарков и метрик, а так же литр лимончеллы, литр грибовой настойки, ящик «Дальней Дачи», пинта чистой струи бобра, и 12 полуразряженных HQDшок. Не то, чтобы всё это было категорически необходимо в ресерче, но если уж начал копаться в NLP, то к делу надо подходить серьёзно.

Перевести датасет обучения кандинского на английский и обучить Stable Diffusion 3.0

великая библиотека сидов

аггрегатор информации о зависимости метрик относительно сидов
можно поискать наиболее выгодный сид для своей задачи

Топик моделлинг

Генерация аудиодорожек с помощью треска дросселей на видеокарте

Подбираем модель и батчи таким образом, чтобы перегруженные дроссели начинали насвистывать нужную мелодию

Future work: собираем оркестр из distributed кластера

Какой рис выбрать ресерчеру?

Виды риса, которые лучше всего есть AI-исследователю, зависят от его индивидуальных потребностей и предпочтений.

Brown Rice: Коричневый рис содержит большее количество питательных веществ, таких как витамины и минералы, чем другие виды риса. Это может помочь исследователю AI поддерживать здоровый и активный образ жизни. Такой вид риса чаще всего выбирают ml-инженеры, занимающиеся active-llearning'ом.

Quinoa: Quinoa является высокобелковым источником, который может помочь исследователю искусственного интеллекта поддерживать концентрацию и усидчивость. Отлично подходит если, вы занимаетесь HFT.

Wild Rice: Wild Rice является богатым источником антиоксидантов и полезных жирных кислот, которые могут помочь улучшить здоровье мозга и улучшить память. Рекомендуем его есть CV исследователям, чтобы запомнить весь поток азиатских статей.

В следующей статье мы сделаем обзор икры для MLOps инженеров.

RLHF с NLL в виде реварда

Scaling laws для моделей <1M параметров

Фейковая функция семплирования результатов экспериментов - достаточно правдоподобная и удовлетворяющая статзначимости.

Мотивация:
- Большая часть экспериментов в исследованиях бесполезны и делаются ради галочки. Именно для них мы можем использовать красивые фейковые результаты, дабы фокусироваться на важном.
- Дедлайны. Такая функция спасет нас в случае, когда еще нужно прогнать несколько long-range экспериментов, а дедлайн сабмишена уже поджимает.
- Carbon Footprint. Можно подсчитать, сколько бы человечество сэкономило энергии, если бы не ставило эксперименты на бесполезных тасках. В качестве примера можно взять RussianSuperGlue.

Online-to-Offline RL

Scaling laws для размера learning rate

доказательство того, что Offline RL – это не supervised learning

Мы объявляем о создании гранта ебáных идей для резерча.

Для того, чтобы получить его, необходимо опубликовать статью на основе какой-нибудь ебáной идеи и скинуть нам

переписать huggingface на julia