Derp Learning
Поздравляю, на мухе можно запустить DOOM. UAC achieved internally Подробнее
Но сочувствующие добрые люди засунули муху в мир где она просто летает по лесу и ест фрукты
1❤66🤩11🤣8🤗3🤡1
This media is not supported in your browser
VIEW IN TELEGRAM
дополз до астры
imagegen -> triposplat -> blender
imagegen -> triposplat -> blender
😁43🤣14👍2❤1🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
GTA6 is based on WarpFusion :D
длсс5 сломался в режиме паузы и начал генерить старые добрые лупы из эпохи DiscoDiffusion
длсс5 сломался в режиме паузы и начал генерить старые добрые лупы из эпохи DiscoDiffusion
3🤣51❤30
https://t.me/lovedeathtransformers/11033
У нас было 135 040 токенов словаря, 1 536 измерений скрытого состояния, шестнадцать слоёв энкодера, двенадцать слоёв декодера, двенадцать голов внимания и четыре KV-головы. Ещё у нас было 512 экспертов, top-8 маршрутизация, SiLU, RMSNorm, RoPE с YaRN и целых 128 тысяч токенов контекста.
Не то чтобы всё это было категорически необходимо для инференса, но если уж начал собирать трансформер, становится трудно остановиться. Единственное, что меня беспокоило, — это 512 экспертов. Нет ничего более беспомощного, безответственного и испорченного, чем MoE, уходящий в полный роутинг. Я знал, что рано или поздно мы доберёмся и до него.
У нас было 135 040 токенов словаря, 1 536 измерений скрытого состояния, шестнадцать слоёв энкодера, двенадцать слоёв декодера, двенадцать голов внимания и четыре KV-головы. Ещё у нас было 512 экспертов, top-8 маршрутизация, SiLU, RMSNorm, RoPE с YaRN и целых 128 тысяч токенов контекста.
Не то чтобы всё это было категорически необходимо для инференса, но если уж начал собирать трансформер, становится трудно остановиться. Единственное, что меня беспокоило, — это 512 экспертов. Нет ничего более беспомощного, безответственного и испорченного, чем MoE, уходящий в полный роутинг. Я знал, что рано или поздно мы доберёмся и до него.
Telegram
Love. Death. Transformers.
вообще удивительно, sparsity 1:70, MoE t5, ul2 рецепт и метрики на уровне 4-8b qwen3.5(на русском) и это релизит яндекс
hf
hf
😁20
This media is not supported in your browser
VIEW IN TELEGRAM
Когда нашел баг в своем старом коде во время ревью чужого pr
🤣36
This media is not supported in your browser
VIEW IN TELEGRAM
AGI (Average German Intelligence) achieved internally
😁38❤4