Поясните пожалуйста за математику, я правильно понимаю что для 70В модели надо иметь 300+ карт(20к usd каждая, те 11м USD за все). А dgx h100 способный в mp=8 выдавать те же 500т/с стоит 300к USD и при этом может не только инферить модельки но и учить?(для groq нет backward kernels)
* Важное уточнение, у Nvidia/tpu/классик GPU объем sram порядка 100mb, но есть огромная VRAM которая обычно используется. У горка я не нашел в брошурах уточнений по объему.
Возможно у челов быстрый диск и они стримят модель с диска и назад, но звучит ебано, nvidia+deepspeed делают это плохо на любых платформах
Это прекрасный мир будущего с 7т инвестиций или что?
No overall очень крутой врыв для людей из вне, думаю в ближайшем времени мы наконец увидим нормальные цены на cloud computing.
Рекламный буклет
* Важное уточнение, у Nvidia/tpu/классик GPU объем sram порядка 100mb, но есть огромная VRAM которая обычно используется. У горка я не нашел в брошурах уточнений по объему.
Возможно у челов быстрый диск и они стримят модель с диска и назад, но звучит ебано, nvidia+deepspeed делают это плохо на любых платформах
Это прекрасный мир будущего с 7т инвестиций или что?
No overall очень крутой врыв для людей из вне, думаю в ближайшем времени мы наконец увидим нормальные цены на cloud computing.
Рекламный буклет
😁31👍6
Forwarded from Кононюковщина
Завершено обучение второй версии нейронной сети для генерации пейзажей России. На этот раз набор фотографий был почти в 6 раз больше, чем в версии 1.0!
Такое увеличение датасета существенно повлияло на качество модели:
- Улучшилась геометрия зданий. Теперь они больше похожи на привычный вид из окна)))
- Сцены стали более сложными.
- Цвета стали более разнообразными и насыщенными.
Но качество базового вывода сильно ухудшилось. Это связано с тем, что большинство фотографий из набора данных были сделаны на обычный телефон, из-за чего нейросеть генерирует слегка размытые изображения. Исправить это достаточно просто - добавьте тег
low quality к negative_prompt.Чуть позже я напишу статью на Хабре с более подробным техническим описанием того, как это работает и зачем это все вообще нужно :)
Онлайн демонстрация - https://hf.co/spaces/0x7o/RussianVibe
Файлы модели - https://hf.co/0x7o/RussianVibe-XL-v2.0
Датасет - https://hf.co/datasets/0x7o/RussianVibe-data
GitHub - https://github.com/0x7o/RussianVibe
@hikonon
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥84👍8🤮6🤡3
Вышла Gemma - llama от google, огромный токенайзер на 260к токенов, 6T(!) токенов в претрене, хорошая токенизация русского и средний mt перфоманс(на русском на вид средне).
по метрикам что то около mistral 7b для страшей модели(7b) и phi2 для 2b модели
ссылка
по метрикам что то около mistral 7b для страшей модели(7b) и phi2 для 2b модели
ссылка
huggingface.co
Gemma release - a google Collection
Groups the Gemma models released by the Google team.
👍17❤1
Love. Death. Transformers.
256к токенайзер это довольно много, мало языков которые модель не видела, вероятно базовый перфоманс будет неплохой. но то на чем тренили вызывает вопрос, почему то авторы акцентируют внимание на том что они вырезали child abuse content. Я вообще впервые…
Нет gqa у 7в
Огромный словарь
16х ffn dim
Head size 256
В коде для хф модели нет flash attn
7B на самом деле почти 8.2(с эмбедами)
Очень странный релиз
Огромный словарь
16х ffn dim
Head size 256
В коде для хф модели нет flash attn
7B на самом деле почти 8.2(с эмбедами)
Очень странный релиз
🤔10
Love. Death. Transformers.
Нет gqa у 7в Огромный словарь 16х ffn dim Head size 256 В коде для хф модели нет flash attn 7B на самом деле почти 8.2(с эмбедами) Очень странный релиз
По русски: у жирных карт, жирный sram который юзает flash, авторы gemmi хуй забили на не топ карты.
👍9
Forwarded from Мишин Лернинг
Точность в нейминге размера модели критически важна для LLM, поскольку это влияет на справедливость сравнения, воспроизводимость результатов и понимание компромиссов между размером модели и её производительностью.
Решил создать тред на HF. так что поддержать идею о переименовании модели Gemma7B в Gemma-9B можно тут:
👉 https://huggingface.co/google/gemma-7b/discussions/34
А то ресерч-маркетологи ведут себя как на рынке, ну и вообще, камон, округление все в начальной школе проходили.
Решил создать тред на HF. так что поддержать идею о переименовании модели Gemma7B в Gemma-9B можно тут:
👉 https://huggingface.co/google/gemma-7b/discussions/34
А то ресерч-маркетологи ведут себя как на рынке, ну и вообще, камон, округление все в начальной школе проходили.
❤34👍10🤮5
Forwarded from Psy Eyes (Andrey Bezryadin)
GitHub
GitHub - vosen/ZLUDA: CUDA on non-NVIDIA GPUs
CUDA on non-NVIDIA GPUs. Contribute to vosen/ZLUDA development by creating an account on GitHub.
ZLUDA — поддержка CUDA на видюхах AMD.
Разработчик Андрей Яник пилил для Intel поддержку CUDA на видюхах Arc, но спустя 2 года они решили, что никакого применения у CUDA на их GPU нет и обрубили финансирование без разрешения опенсорсить проект. Андрей пришёл в AMD и какое-то время работал над реализацией под их видюхи, но потом и они решили прикрыть лавочку. Однако в этот раз код разрешили открыть.
Работает где-то быстрее, чем OpenCL, а где-то медленнее или постоянно крашится. Поддержка и совместимость с разного рода софтом пока сильно ограничена.
В FAQ проекта написано, что он заброшен, но учитывая, что на прошлой неделе вышла версия 3, а народ даже опробовал с его помощью гонять llama.cpp на RX 6800, он таки развивается.
Гитхаб
Разработчик Андрей Яник пилил для Intel поддержку CUDA на видюхах Arc, но спустя 2 года они решили, что никакого применения у CUDA на их GPU нет и обрубили финансирование без разрешения опенсорсить проект. Андрей пришёл в AMD и какое-то время работал над реализацией под их видюхи, но потом и они решили прикрыть лавочку. Однако в этот раз код разрешили открыть.
Работает где-то быстрее, чем OpenCL, а где-то медленнее или постоянно крашится. Поддержка и совместимость с разного рода софтом пока сильно ограничена.
В FAQ проекта написано, что он заброшен, но учитывая, что на прошлой неделе вышла версия 3, а народ даже опробовал с его помощью гонять llama.cpp на RX 6800, он таки развивается.
Гитхаб
👍51