🐉 Открыт набор на Technical AI Safety курс по оценке LLM: подходы, бенчмарки и методология

Evals for AI Safety — это область, посвященная измерению качества, надежности и безопасности ИИ-систем. В условиях повсеместного внедрения языковых моделей в продакшн умение корректно оценивать их возможности и риски становится приоритетным навыком.

Как устроен курс:
🔘Анализ методологии evals на основе современных и классических статей в области
🔘Менторы из Apollo research, AI Lab SKOLKOVO, AIRI Institute, Яндекс и др
🔘Обучение в мини-группах, по 4-6 человек
🔘Формат: оффлайн в Москве или онлайн
🔘Ожидаемая нагрузка: 15 часов в неделю
🔘Стоимость: бесплатно, отбор на конкурсной основе

Цель курса:
Дать базу для начала карьеры в области оценки ИИ и понимание того, какую роль evals играет в AI Safety. Программа знакомит с основными концепциями evals, учит анализировать существующие бенчмарки, проектировать собственные оценки и разрабатывать дизайн экспериментов в области evals. Участники курса освоят Inspect AI (один из самых популярных фреймворков для оценки LLM).

Кого мы ждем:
🔘Студентов STEM-направлений, планирующих карьеру в области ИИ
🔘IT-специалистов, желающих освоить навык тестирования языковых моделей
🔘Продвинутых и начинающих специалистов в области ML, которые хотят углубиться в методологию оценки моделей

Подробнее: тут
Подать заявку на участие в курсе, а также на фасилитацию можно до 28 февраля: тут

Если вам интересно менторство, преподавание, сотрудничество с курсом или вы хотите задать вопрос, то напишите Юле

Киноклуб с дискуссией про AI Safety

📅 Когда: 19:00, 28 января
📍 Где: Москва, ЦДО «Моноид»
🎙️ Организатор: Самина Анна
🆓 Стоимость: бесплатно

О мероприятии:
Смотрим короткие видео про безопасность ИИ, обсуждаем идеи и делимся своими мыслями.

Атмосфера: пофилософствовать с попкорном в руках

Что смотрим:

🔘How to systematically approach truth - Bayes' rule
🔘The Parable of the Dagger
🔘Holy Grail of AI

Q: Я первый раз слышу про сейфети. Мне можно прийти?
A: Нужно. Именно на новичков этот формат и ориентирован.

📍Адрес: Ломоносовский проспект, 25к3, по вопросам прохода на территорию пишите @MonoidAdmin

• Понедельник 02.02 — Коворкинг 🖥️
• Вторник 03.02 — Коворкинг 🖥️
• Среда 04.02 — Киноклуб с дискуссией про AI Safety 🆓
• Четверг 05.02 — Коворкинг 🖥️
• Пятница 06.02 — Коворкинг 🖥️
• Суббота 07.02 — Коворкинг 🖥️
• Воскресенье 08.02 — Коворкинг 🖥️

🖥️ - Стоимость по тарифам коворкинга
🆓 - Вход бесплатный

🌍 Подробные описания мероприятий и тарифы доступны на сайте
📍 Адрес: Ломоносовский проспект, 25к3, по вопросам прохода на территорию пишите @MonoidAdmin

• Понедельник 09.02 — Коворкинг 🖥️
• Вторник 10.02 — Коворкинг 🖥️
• Среда 11.02 — Киноклуб с дискуссией про AI Safety 🆓
• Четверг 12.02 — Коворкинг 🖥️
• Пятница 13.02 — Коворкинг 🖥️
• Суббота 14.02 — Вечер настольных игр 🆓
• Воскресенье 15.02 — Вечер классической мафии 🆓

🖥️ - Стоимость по тарифам коворкинга
🆓 - Вход бесплатный

🌍 Подробные описания мероприятий и тарифы доступны на сайте
📍 Адрес: Ломоносовский проспект, 25к3, по вопросам прохода на территорию пишите @MonoidAdmin

Киноклуб с дискуссией про AI Safety

📅 Когда: 19:00, 11 февраля
📍 Где: Москва, ЦДО «Моноид»
🎙️ Организатор: Самина Анна
🆓 Стоимость: Бесплатно

О мероприятии:
Смотрим короткие видео про безопасность ИИ, обсуждаем идеи и делимся своими мыслями.

Атмосфера: пофилософствовать с попкорном в руках

Что смотрим:
🔘 The Power of Intelligence - An Essay By Eliezer Yudkowsky
🔘 Writing Doom – Award-Winning Short Film on Superintelligence (2024)
🔘 AI Sleeper Agents: How Anthropic Trains and Catches Them

Q: Я первый раз слышу про сейфети. Мне можно прийти?
A: Нужно. Именно на новичков этот формат и ориентирован.

📍 Адрес: Ломоносовский проспект, 25к3, по вопросам прохода на территорию пишите @MonoidAdmin

Вечер настольных игр

📅 Когда: 18:00, 14 февраля
📍 Где: Москва, ЦДО «Моноид»
🎙️ Организатор: Самина Анна
🆓 Стоимость: бесплатно

В эту субботу вас снова будет ждать вечер настольных игр!

На нем у вас будет возможность как сыграть в общие партии (планируются Трамвай смерти и слова-мины), так и собрать людей на что-то, что хотите провести вы.

У нас можно поиграть в:
🔘Валкарию
🔘Перудо
🔘Codenames
🔘Нечто
🔘Взрывных котят
🔘И множество других

Q: А если я новичок?
A: Не играли раньше? Не страшно. Здесь не нужно быть профи в настолках. Важно только прийти с желанием интересно провести вечер, а остальное приложится.

📍Адрес: Ломоносовский проспект, 25к3, по вопросам прохода на территорию пишите @MonoidAdmin

Вечер классической мафии

📅 Когда: 17:00, 15 февраля
📍 Где: Москва, ЦДО «Моноид»
🎙️ Организатор: Александр Гиричев
🆓 Стоимость: Бесплатно

На этих выходных в продолжение субботнего вечера настолок, воскресный вечер у нас будет посвящен классической мафии.

О формате:
Главное отличие классической мафии от обычной - отсутствие дополнительных персонажей, что убирает шум и дает больше пространства логике и добавляет аргументов в игру в которой, казалось бы, единственная доподлинно известная информация - проиграли ли мирные или еще нет.

Игровой стол (10 чел.) будет ориентирован на новичков

Одна партия длится около часа. Вся игровая сессия будет настроена на 3-4 партии.

📍 Адрес: Ломоносовский проспект, 25к3, по вопросам прохода на территорию пишите @MonoidAdmin

• Понедельник 16.02 — Коворкинг 🖥️
• Вторник 17.02 — Коворкинг 🖥️
• Среда 18.02 — Коворкинг 🖥️
• Четверг 19.02 — Киноклуб с дискуссией про AI Safety 🆓
• Пятница 20.02 — Коворкинг 🖥️
• Суббота 21.02 — Коворкинг 🖥️
• Воскресенье 22.02 — Коворкинг 🖥️

🖥️ - Стоимость по тарифам коворкинга
🆓 - Вход бесплатный

🌍 Подробные описания мероприятий и тарифы доступны на сайте
📍 Адрес: Ломоносовский проспект, 25к3, по вопросам прохода на территорию пишите @MonoidAdmin

Киноклуб с дискуссией про AI Safety

📅 Когда: 19:00, 19 февраля
📍 Где: Москва, ЦДО «Моноид»
🎙️ Организатор: Самина Анна
🆓 Стоимость: Бесплатно

О мероприятии:
Смотрим короткие видео про безопасность ИИ, обсуждаем идеи и делимся своими мыслями.

Атмосфера: пофилософствовать с попкорном в руках

Что смотрим:
🔘 Avoiding Negative Side Effects: Concrete Problems in AI Safety
🔘 How to Align AI: Put It in a Sandwich
🔘 Everything might change forever this century

Q: Я первый раз слышу про сейфети. Мне можно прийти?
A: Нужно. Именно на новичков этот формат и ориентирован.

📍 Адрес: Ломоносовский проспект, 25к3, по вопросам прохода на территорию пишите @MonoidAdmin

Вечер классической мафии

📅 Когда: 17:00, 22 февраля
📍 Где: Москва, ЦДО «Моноид»
🎙️ Организатор: Александр Гиричев
🆓 Стоимость: Бесплатно

Предыдущий игровой вечер прошел отлично, поэтому на этих выходных вас снова будет ждать классическая мафия!

Напомним формат:
Главное отличие классической мафии от обычной - отсутствие дополнительных персонажей, что убирает шум и дает больше пространства логике и добавляет аргументов в игру в которой, казалось бы, единственная доподлинно известная информация - проиграли ли мирные или еще нет.

Игровой стол (10 чел.) будет ориентирован на новичков

Одна партия длится около часа. Вся игровая сессия будет настроена на 3-4 партии.

📍 Адрес: Ломоносовский проспект, 25к3, по вопросам прохода на территорию пишите @MonoidAdmin

• Понедельник 23.02 — Коворкинг 🖥️
• Вторник 24.02 — Коворкинг 🖥️
• Среда 25.02 — Киноклуб с дискуссией про AI Safety 🆓
• Четверг 26.02 — Коворкинг 🖥️
• Пятница 27.02 — Коворкинг 🖥️
• Суббота 28.02 — Коворкинг 🖥️
• Воскресенье 01.03 — Коворкинг 🖥️

🖥️ - Стоимость по тарифам коворкинга
🆓 - Вход бесплатный

🌍 Подробные описания мероприятий и тарифы доступны на сайте
📍 Адрес: Ломоносовский проспект, 25к3, по вопросам прохода на территорию пишите @MonoidAdmin

Киноклуб с дискуссией про AI Safety

📅 Когда: 19:30, 25 февраля
📍 Где: Москва, ЦДО «Моноид»
🎙️ Организатор: Самина Анна
🆓 Стоимость: Бесплатно

О мероприятии:
Смотрим короткие видео про безопасность ИИ, обсуждаем идеи и делимся своими мыслями.

Атмосфера: пофилософствовать с попкорном в руках

Что смотрим:
🔘 AI Is A Massive Problem. Here's Why.

Q: Я первый раз слышу про сейфети. Мне можно прийти?
A: Нужно. Именно на новичков этот формат и ориентирован.

📍 Адрес: Ломоносовский проспект, 25к3, по вопросам прохода на территорию пишите @MonoidAdmin

• Понедельник 02.03 — Закрыто 🚫
• Вторник 03.03 — Коворкинг 🖥️
• Среда 04.03 — Коворкинг 🖥️
• Четверг 05.03 — Киноклуб с дискуссией про AI Safety 🆓
• Пятница 06.03 — Новости ML, AI и technical safety 🆓
• Суббота 07.03 — Закрыто 🚫
• Воскресенье 08.03 — Коворкинг 🖥️

🖥️ - Стоимость по тарифам коворкинга
🆓 - Вход бесплатный

🌍 Подробные описания мероприятий и тарифы доступны на сайте
📍 Адрес: Ломоносовский проспект, 25к3, по вопросам прохода на территорию пишите @MonoidAdmin

Новости ML, AI и technical safety

📅 Когда: 20:00, 6 марта
🎙️ Ведущий: Олег Лариков
📍 Где: Москва, ЦДО «Моноид»
💰 Стоимость: бесплатно

Это регулярные встречи дискуссионной группы по ML, AI и technical safety. Мы ищем статьи, которые что-то значат для области, чтобы их обсудить и попытаться понять и их смысл, и их роль.

На этой неделе читаем:

1️⃣ A Survey on Transfer Learning - старое (2010) общее исследование переносимости знаний в статистических моделях.
2️⃣ Assessing Domain-Level Susceptibility to Emergent Misalignment from Narrow Finetuning - исследование условий, при которых дообучение модели на узкой предметной области порождает эффекты emergent misalignment.

Чтобы поучаствовать во встрече, нужно: 
⭕️прочитать статьи,
⭕️прийти и обсудить прочитанное.

📍Адрес: Ломоносовский проспект, 25к3, по вопросам прохода на территорию пишите @MonoidAdmin

Киноклуб с дискуссией про AI Safety

📅 Когда: 19:00, 5 марта
📍 Где: Москва, ЦДО «Моноид»
🎙️ Организатор: Коноплицкий Влад
🆓 Стоимость: Бесплатно

О мероприятии:
Смотрим короткие видео про безопасность ИИ, обсуждаем идеи и делимся своими мыслями.

Атмосфера: пофилософствовать с попкорном в руках

Что смотрим:
🔘 10 Reasons to Ignore AI Safety
🔘 What a 100-year-old horse teaches us about AI

Q: Я первый раз слышу про сейфети. Мне можно прийти?
A: Нужно. Именно на новичков этот формат и ориентирован.

📍 Адрес: Ломоносовский проспект, 25к3, по вопросам прохода на территорию пишите @MonoidAdmin

🔘Понедельник 09.03: Коворкинг 🖥️
🔘Вторник 10.03: Коворкинг 🖥️
🔘Среда 11.03: Коворкинг 🖥️
🔘Четверг 12.03: Киноклуб с дискуссией про AI Safety 🆓
🔘Пятница 13.03:
⭕️Доклады участников проектного инкубатора 🆓
⭕️Новости ML, AI и technical safety 🆓
🔘Суббота 14.03: Коворкинг 🖥️
🔘Воскресенье 15.03:
⭕️День настольных игр 🆓
⭕️Доклады участников проектного инкубатора 🆓

🖥️ - Стоимость по тарифам коворкинга
🆓 - Вход бесплатный

🌍 Подробные описания мероприятий и тарифы доступны на сайте
📍 Адрес: Ломоносовский проспект, 25к3, по вопросам прохода на территорию пишите @MonoidAdmin

Новости ML, AI и technical safety

📅 Когда: 20:00, 13 марта
🎙️ Ведущий: Олег Лариков
📍 Где: Москва, ЦДО «Моноид»
💰 Стоимость: бесплатно

Это регулярные встречи дискуссионной группы по ML, AI и technical safety. Мы ищем статьи, которые что-то значат для области, чтобы их обсудить и попытаться понять и их смысл, и их роль.

На этой неделе читаем:

1️⃣ Categorizing Variants of Goodhart's Law - попытка более формального взгляда на многоликий закон Гудхарта, который мы поминали не раз и не два.
2️⃣ Intent Laundering: AI Safety Datasets Are Not What They Seem - чем мы меряем то, что называем "безопасность модели" и насколько это число отражает безопасность модели? Как выяснили авторы статьи, самый мягкий ответ на второй вопрос - "не очень хорошо".

Чтобы поучаствовать во встрече, нужно: 
⭕️прочитать статьи,
⭕️прийти и обсудить прочитанное.

📍Адрес: Ломоносовский проспект, 25к3, по вопросам прохода на территорию пишите @MonoidAdmin

Киноклуб с дискуссией про AI Safety

📅 Когда: 19:00, 12 марта
📍 Где: Москва, ЦДО «Моноид»
🎙️ Организатор: Самина Анна
💰 Стоимость: бесплатно

О мероприятии:
Смотрим короткие видео про безопасность ИИ, обсуждаем идеи и делимся своими мыслями.

Атмосфера: пофилософствовать с попкорном в руках

Что смотрим:

🔘The dumbest AI taught the smartest AI. Here’s how that went…
🔘The Strange Math That Predicts (Almost) Anything

Q: Я первый раз слышу про сейфети. Мне можно прийти?
A: Нужно. Именно на новичков этот формат и ориентирован.

📍Адрес: Ломоносовский проспект, 25к3, по вопросам прохода на территорию пишите @MonoidAdmin

День настольных игр

📅 Когда: 14:00, 15 марта
📍 Где: Москва, ЦДО «Моноид»
🎙️ Организатор: Самина Анна
🆓 Стоимость: бесплатно

Главное событие дня — партия «Квиз-мафии». Это необычный формат, который объединяет интеллектуальную викторину (квиз) и психологическую ролевую игру (мафию).

Участники случайным образом делятся на 2 группы: мафия и знатоки. Задача знатоков правильно отвечать на вопросы, задача мафии - путать знатоков. После каждого неверного ответа игру покидает 1 участник, которого выберет большинство. Мафия побеждает, если количество мафии и знатоков сравняется, знатоки – если команда ответит на все вопросы, либо если выгонят всю мафию.

К тому же, у нас всегда можно поиграть в:
🔘Перудо
🔘Codenames
🔘Нечто
🔘Слова-мины
🔘И множество других

Q: А если я новичок?
A: Не играли раньше? Не страшно. Здесь не нужно быть профи в настолках. Важно только прийти с желанием интересно провести вечер, а остальное приложится.

📍Адрес: Ломоносовский проспект, 25к3, по вопросам прохода на территорию пишите @MonoidAdmin