#современныезнания #benchmarks #llm #ai
Как понять какая LLM лучше и почему?
MMLU (аббревиатура от Measuring Massive Multitask Language Understanding) — это эталонный набор задач (бенчмарк), предназначенный для оценки способностей больших языковых моделей (LLM) по широкому кругу предметных областей.
Бенчмарк был разработан в 2020 году командой исследователей под руководством Дэна Хендрикса (Dan Hendrycks) из UC Berkeley и опубликован на конференции ICLR в 2021 году.
Цель MMLU — проверить, насколько модель усваивает разнообразные знания и умения, приобретённые на этапе предобучения.
MMLU-Pro, например, использует 12к вопросов вместо 4-ёх :D
• Источник: https://systems-analysis.ru/wiki/MMLU_benchmark
• GitHub: https://github.com/hendrycks/test
• Публикация: https://arxiv.org/abs/2009.03300
• Пост на kaggle как это может работать: https://huggingface.co/blog/open-llm-leaderboard-mmlu
• Пост на huggingfacce про open llm leaderboard: https://huggingface.co/blog/open-llm-leaderboard-mmlu
• И еще можно гуглить про MMLU-Pro: дашик вот https://artificialanalysis.ai/evaluations/mmlu-pro
Как понять какая LLM лучше и почему?
MMLU (аббревиатура от Measuring Massive Multitask Language Understanding) — это эталонный набор задач (бенчмарк), предназначенный для оценки способностей больших языковых моделей (LLM) по широкому кругу предметных областей.
Бенчмарк был разработан в 2020 году командой исследователей под руководством Дэна Хендрикса (Dan Hendrycks) из UC Berkeley и опубликован на конференции ICLR в 2021 году.
Цель MMLU — проверить, насколько модель усваивает разнообразные знания и умения, приобретённые на этапе предобучения.
MMLU-Pro, например, использует 12к вопросов вместо 4-ёх :D
• Источник: https://systems-analysis.ru/wiki/MMLU_benchmark
• GitHub: https://github.com/hendrycks/test
• Публикация: https://arxiv.org/abs/2009.03300
• Пост на kaggle как это может работать: https://huggingface.co/blog/open-llm-leaderboard-mmlu
• Пост на huggingfacce про open llm leaderboard: https://huggingface.co/blog/open-llm-leaderboard-mmlu
• И еще можно гуглить про MMLU-Pro: дашик вот https://artificialanalysis.ai/evaluations/mmlu-pro
❤1
#golang #programming #effectivego #youtube #learning
Нашел хороший видос-озвучка публикации Effective Go, быстренько позволит узнать основные приколдесы вокруг языка а-ля встроенного форматировщика, скобок, комментариев, нейминг
Подойдет для свитчеров с жаб, шарпов и жабаскриптов, и всяких питухонов
https://youtu.be/r1IQbWoM8os
• Русский перевод Effective Go – GitHub: https://github.com/0x0FACED/effective-go-ru
• Оригинал на английском: https://go.dev/doc/effective_go
Ещё я тут подумал, что было бы неплохо сделать плейлист на канале, куда буду складывать другие "полезные" видосики по IT, поэтому подпишись на youtube-канал, чтобы плейлист был под рукой)
Уже добавил туда десяток интересных роликов с других каналов) потом на https://courses.digitable.life/ опубликую тогда
Ссылка на плейлист
Нашел хороший видос-озвучка публикации Effective Go, быстренько позволит узнать основные приколдесы вокруг языка а-ля встроенного форматировщика, скобок, комментариев, нейминг
Подойдет для свитчеров с жаб, шарпов и жабаскриптов, и всяких питухонов
https://youtu.be/r1IQbWoM8os
• Русский перевод Effective Go – GitHub: https://github.com/0x0FACED/effective-go-ru
• Оригинал на английском: https://go.dev/doc/effective_go
Ещё я тут подумал, что было бы неплохо сделать плейлист на канале, куда буду складывать другие "полезные" видосики по IT, поэтому подпишись на youtube-канал, чтобы плейлист был под рукой)
Уже добавил туда десяток интересных роликов с других каналов) потом на https://courses.digitable.life/ опубликую тогда
Ссылка на плейлист
👍2❤1
Digitable: Channel
#дайджест #daily #reading #top5 #1010 • Введение в Yttri — Что это и почему это нужно? – шикарно, это knowledge base + AI assistant, потестим на одном из стримов • Тысячи потраченных часов на компьютерные игры: стоило ли это того – достаточно старенькая…
#стриманонс #friday #twitch
Сегодня на стриме возимся с изоляцией запуска Yttri, говорим про knowledge base systems и всякие приколы Zettelkasten
Twitch (уже запустил)
https://www.twitch.tv/marat_zimnurov
Сегодня на стриме возимся с изоляцией запуска Yttri, говорим про knowledge base systems и всякие приколы Zettelkasten
Twitch (уже запустил)
https://www.twitch.tv/marat_zimnurov
Twitch
Marat_Zimnurov - Twitch
Расписание стримов: среда / пятница: 22:30 — 01:30 | Lead Full-Stack Software Development Engineer | Musician | Writer | Speaker | Teacher
👍1🔥1
#дайджест #daily #reading #top10
• Научись говорить ртом
• securitylab: G7kL9#mQ2&xP4!w — если ваш пароль выглядит так, вас легко взломать
• Тысячи топ-менеджеров признали: ИИ не повлиял на производительность их компаний, несмотря на сотни миллиардов инвестиций
• 3dnews: Акции Raspberry Pi взлетели на 94 % за неделю после вирусного поста про «домашний ИИ»
• Вышел Cursor 2.5: маркетплейс плагинов и многоагентная архитектура
• VK наняла 400 Go-разработчиков на фоне роста инфраструктурных проектов
• P =? NP: самая дорогая задача в мире, которая может перевернуть всё (источник изображения)
• 3dnews: В Китае создали голографический 3D-принтер, печатающий модель целиком менее чем за секунду
• devbyio: «Люди просто хотят работать с 9 до 5»: инженер написал «честный пост» об ИИ на работе
• t-j: Мнение: сервисы для поиска работы больше не выполняют свои функции
• Научись говорить ртом
• securitylab: G7kL9#mQ2&xP4!w — если ваш пароль выглядит так, вас легко взломать
• Тысячи топ-менеджеров признали: ИИ не повлиял на производительность их компаний, несмотря на сотни миллиардов инвестиций
• 3dnews: Акции Raspberry Pi взлетели на 94 % за неделю после вирусного поста про «домашний ИИ»
• Вышел Cursor 2.5: маркетплейс плагинов и многоагентная архитектура
• VK наняла 400 Go-разработчиков на фоне роста инфраструктурных проектов
• P =? NP: самая дорогая задача в мире, которая может перевернуть всё (источник изображения)
• 3dnews: В Китае создали голографический 3D-принтер, печатающий модель целиком менее чем за секунду
• devbyio: «Люди просто хотят работать с 9 до 5»: инженер написал «честный пост» об ИИ на работе
• t-j: Мнение: сервисы для поиска работы больше не выполняют свои функции
🔥1
#стриминг #видосики #ai #voice #digitalclone #youtube
https://www.youtube.com/watch?v=ycOb3VetcmM
В этом видео я экспериментирую с клонированием голоса и пробую понять, можно ли:
— создать цифрового заместителя
— генерировать ответы HR-у моим голосом
— и вообще понять, где проходит граница этики
— привожу пример с моей переозвучкой World of Warcraft
Вопросы зрителю:
• может мне переозвучить всех геров доты их оригинальными голосами или аниме типа Врата Штейна?)
• нужно ли прикладывать исходник видео в телегу или YouTube-а достаточно?
• код с видео нужен? положу в закреп
Разбираем:
— концепцию цифровых портретов
— многовекторные модели и RAG
— Qwen3-TTS vs Coqui
— LoRA, Flash Attention и ускорение генерации
— что дешевле: кеш или загрузка модели в RAM
— практические ограничения и MVP
Это не туториал, а живой инженерный эксперимент со стрима —
с ошибками, мемами и странными результатами (Starcoder, привет).
🧠 Внутри:
• короткий vs длинный семпл для клонирования
• генерация текста под голос
• эксперимент с ответом HR
• размышления об этике
• идеи применения
📌 Видео сделано на основе стрима — без вырезания контекста и с объяснениями по ходу.
Если вы:
— хотите глубже понимать программирование
— чувствуете, что «код — это не всё»
— или просто интересно, как всё связано
Залетайте на стримы, подписывайтесь на канал и блог в телеграме
Где меня найти
▶ Twitch (стримы):
https://www.twitch.tv/marat_zimnurov
▶ Telegram — про программирование и дайджесты:
https://t.me/digitable_blog
▶ Пост про цветовую теорию, который упоминаю в видео:
https://t.me/digitable_blog/30
▶ Проекты и услуги:
https://digitable.ru/
▶ GitHub:
https://github.com/the-homeless-god
https://www.youtube.com/watch?v=ycOb3VetcmM
В этом видео я экспериментирую с клонированием голоса и пробую понять, можно ли:
— создать цифрового заместителя
— генерировать ответы HR-у моим голосом
— и вообще понять, где проходит граница этики
— привожу пример с моей переозвучкой World of Warcraft
Вопросы зрителю:
• может мне переозвучить всех геров доты их оригинальными голосами или аниме типа Врата Штейна?)
• нужно ли прикладывать исходник видео в телегу или YouTube-а достаточно?
• код с видео нужен? положу в закреп
Разбираем:
— концепцию цифровых портретов
— многовекторные модели и RAG
— Qwen3-TTS vs Coqui
— LoRA, Flash Attention и ускорение генерации
— что дешевле: кеш или загрузка модели в RAM
— практические ограничения и MVP
Это не туториал, а живой инженерный эксперимент со стрима —
с ошибками, мемами и странными результатами (Starcoder, привет).
🧠 Внутри:
• короткий vs длинный семпл для клонирования
• генерация текста под голос
• эксперимент с ответом HR
• размышления об этике
• идеи применения
📌 Видео сделано на основе стрима — без вырезания контекста и с объяснениями по ходу.
Если вы:
— хотите глубже понимать программирование
— чувствуете, что «код — это не всё»
— или просто интересно, как всё связано
Залетайте на стримы, подписывайтесь на канал и блог в телеграме
Где меня найти
▶ Twitch (стримы):
https://www.twitch.tv/marat_zimnurov
▶ Telegram — про программирование и дайджесты:
https://t.me/digitable_blog
▶ Пост про цветовую теорию, который упоминаю в видео:
https://t.me/digitable_blog/30
▶ Проекты и услуги:
https://digitable.ru/
▶ GitHub:
https://github.com/the-homeless-god
YouTube
Клонирование голоса, RAG и цифровые портреты — реальный эксперимент
В этом видео я экспериментирую с клонированием голоса и пробую понять, можно ли:
— создать цифрового заместителя
— генерировать ответы HR-у моим голосом
— и вообще понять, где проходит граница этики
— привожу пример с моей переозвучкой World of Warcraft…
— создать цифрового заместителя
— генерировать ответы HR-у моим голосом
— и вообще понять, где проходит граница этики
— привожу пример с моей переозвучкой World of Warcraft…
👍2
#стриминг #видосики #shorts #wow #voiceover #ai
https://youtube.com/shorts/JGpZcgIoDlk?feature=share
Как я World Of Warcraft переозвучивал на русский с помощью ИИ?
Это шорт с нарезки с недавнего стрима, где я рассказываю про опыт переозвучки World Of Warcraft Classic с помощью ИИ, 19784 квеста, неделя генераций и аддон готов, чекай и подписывайся на канал, где узнаешь больше про прогу)
- Подробный гайд и пост про переозвучку: https://habr.com/ru/articles/818513/
- Аддон на CurseForge: https://www.curseforge.com/wow/addons/voiceover-sounds-vanilla-russian
- Код на гитхабе и все аудиофайлы: https://github.com/the-homeless-god/wow-voiceover/releases/tag/v1.2.0
https://youtube.com/shorts/JGpZcgIoDlk?feature=share
Как я World Of Warcraft переозвучивал на русский с помощью ИИ?
Это шорт с нарезки с недавнего стрима, где я рассказываю про опыт переозвучки World Of Warcraft Classic с помощью ИИ, 19784 квеста, неделя генераций и аддон готов, чекай и подписывайся на канал, где узнаешь больше про прогу)
- Подробный гайд и пост про переозвучку: https://habr.com/ru/articles/818513/
- Аддон на CurseForge: https://www.curseforge.com/wow/addons/voiceover-sounds-vanilla-russian
- Код на гитхабе и все аудиофайлы: https://github.com/the-homeless-god/wow-voiceover/releases/tag/v1.2.0
YouTube
Как я World Of Warcraft переозвучивал на русский с помощью ИИ? #wow #voiceover #ai
Это шорт с нарезки с недавнего стрима, где я рассказываю про опыт переозвучки World Of Warcraft Classic с помощью ИИ, 19784 квеста, неделя генераций и аддон ...