Forwarded from ЗАРАБОТАТЬ 💰 NO [SCAM]
Please open Telegram to view this post
VIEW IN TELEGRAM
не умеешь выражать эмоции? не привык говорить о своих чувствах? берёшь и пишешь:
Forwarded from адовая дроч [Герман Александрович, игнат ебанат, въеби обезьяну, Япосрав]
Forwarded from InsidE
то что они пошли путем создания огромного кристалла, уже в самом начале выглядело тупиковым, особенно, когда уже был райзен, который показал, что эффективные интерконнекты, вполне доступны и масштабируемы
огромный кристал например не дает возможности, близко к сабкластерам поставить lpddr5x (а hbm им не доступна, по многим причинам) со скоростями 7500+mhz и обеспечить эти кластеры многоканальными контроллерами памяти, имхо, было бы намного эффективнее
огромный кристал например не дает возможности, близко к сабкластерам поставить lpddr5x (а hbm им не доступна, по многим причинам) со скоростями 7500+mhz и обеспечить эти кластеры многоканальными контроллерами памяти, имхо, было бы намного эффективнее
Forwarded from plaksivaya_tryapka
#ai
Лучше один раз увидеть чем сто раз услышать:
Результаты модели Falcon со 180 млрд. параметрами при 4 бит идентичны результатам при 16 бит.
Грубо говоря, 75% информации в весах модели лишние, можно удалять =)
В теории это снижает потребность в памяти при инференсе в четыре раза.
https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
Лучше один раз увидеть чем сто раз услышать:
Результаты модели Falcon со 180 млрд. параметрами при 4 бит идентичны результатам при 16 бит.
Грубо говоря, 75% информации в весах модели лишние, можно удалять =)
В теории это снижает потребность в памяти при инференсе в четыре раза.
https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard