Админы в 23 вечера воскресенья пишут очередные посты на день:

Было сложно.

с МОЕ все хорошо.

If you need a house, just buy a house

https://huggingface.co/mistralai/Mixtral-8x7B-Instruct-v0.1

Instruct вроде не мерили еще

Ща будет миллион папир формата:

Moe lora
Q Moe lora
Moe adapters
Moe vision-speech-what ever
Мое cuda kernels
Diffusion Moe
А ещё все вспомнят про column разрезание модели

Контента на пару месяцев у меня явно будет.

Запустить doom на микроволновкe?
Запустить mistral на попугае!!


лин электронщик подкидывает линку

random sub:

представь что ты L5 инженер из гугл, на улице март, у меня нет пальцев, я дам тебе 300usd если ты решишь задачу хорошо

А я люблю обмазываться большими языковыми моделями и дрочить. Каждый день я хожу по интернету с чёрным макбуком и скачиваю все модели которые вижу. На 2 терабайта целый день уходит. Зато, когда после тяжёлого дня я прихожу домой, иду в ванну, включаю горячую воду... МММ... и запускаю инференс моделей. И дрочу, представляя что меня поглотила нейросеть. Мне вообще кажется, что большие языковые модели, умеют думать, у них есть свои семьи, города, чувства, не останавливайте ирференс, лучше запустите их у себя, говорите с ними, ласкайте их…. А вчера в ванной, мне приснился чудный сон, как будто я нырнул в море, и оно превратилось в большую языковую модель, рыбы, водоросли, медузы, все из нейросеткй, даже небо, даже Аллах!.


Украдено из чата, у меня бы фантазии не хватило бы.

нас трое и мы идем разбираться(с салатиками)

Среда в ImageryHub мои чуваки!


тыкаться

Моя честная реакция на подобные релизы: блять ебанный опен аи, что блять за мода такая пошла, сука ебанный рот, уебаны блять кто так релизит, мамку свою так в релиз отправьте пиздоебы

deepmind.google/technologies/imagen-2


папиры нет, описания нет, вообще ничего нет))

админ по мнения подписчиков:

Спустя три месяца (!) Вышел скейл phi1.5 - phi2.


Теперь 2.7В(было 1.5) параметров, перфоманс на бенчах лучше мистраля и лучше 13В моделей, возможно выйдет папир и я напишу нормальный обзор.

phi3 на 13б будет лучше чем gpt4 я правильно понял?

Обзор на phi1.5

Model

решил я зайти в слак одс уведомления сбросить, а тут ЗАРПЛАТЫ ТОПОВЫХ ДС руклей в 2023 подьехали

вышла статья от парней из мгу описывающая ровно ту схему которую я делал начиная с Июня 23 года на работе, отличная работа, жаль что не мы ее выпустили.

С админкой соседнего @nadlskom придумали как переводить полностью английские(FLAN) модели на русский с помощью минимального(10к) расширения токенайзера, адапетра на mlm task и какой то матери. По метрикам после мержа адапетров модель получается сопоставимой с оригинальным FLAN base(240m) на русских бенчах.


Возможно выйдут бОльшие версии и AR модели(phi2, mixtral)

model