https://t.me/lovedeathtransformers/11033

У нас было 135 040 токенов словаря, 1 536 измерений скрытого состояния, шестнадцать слоёв энкодера, двенадцать слоёв декодера, двенадцать голов внимания и четыре KV-головы. Ещё у нас было 512 экспертов, top-8 маршрутизация, SiLU, RMSNorm, RoPE с YaRN и целых 128 тысяч токенов контекста.

Не то чтобы всё это было категорически необходимо для инференса, но если уж начал собирать трансформер, становится трудно остановиться. Единственное, что меня беспокоило, — это 512 экспертов. Нет ничего более беспомощного, безответственного и испорченного, чем MoE, уходящий в полный роутинг. Я знал, что рано или поздно мы доберёмся и до него.

Когда нашел баг в своем старом коде во время ревью чужого pr

AGI (Average German Intelligence) achieved internally

Канал с мемами
Vs
Канал с мемами, США
Поридж мем.жпг

Спустя три года от скуки возродил @face2stickerbot

На выбор пара моделей, стилей, картинки тоже стилизует

Можно стикеры и в чатгпт делать конечно,но сохранять, подрезать в 512х512, делать маску и контур с текстом, паки делать, добавлять туда руками туполень 🫠

Баги и фичреквесты кидайте в комменты

Свежее от doopiidoo

Как всегда охуенно ❤️❤️❤️

Не забываем поставить таску на очистку истории браузера

Андрюха, у нас новый скан мозга, по астрам

Появилась новая жертва в нашем покедексе - рыбка Данио (zebrafish)

В отличие от мухи это позвоночное, зрение уже не фасеточное, больше коннектом.

Подробнее