ВАЖНО! ИНФО ОГОНЬ!
🚀 Orakul Studio: Раг 2048 покоряет новые горизонты!Только что оттестировали связку с офлоадом 0.71 на свежих драйверах. Динамика сброса шагов просто бешеная: мы уже вышли на 118 секунд на итерацию и продолжаем стремительно падать вниз с каждым шагом.Система стабильна, асинхронный конвейер Viking Engine перемалывает гигантские веса без малейших признаков OOM. Не успели выкатить предыдущие цифры, как железо уже ставит новые рекорды.Не останавливаемся в ближайшие часы снимаем полные метрики профилировщика и готовим к выкатке обновленный пайплайн обучения для экстремальных рангов.Stay tuned. Работаем под огнем! 🔥
🚀 Orakul Studio: Раг 2048 покоряет новые горизонты!Только что оттестировали связку с офлоадом 0.71 на свежих драйверах. Динамика сброса шагов просто бешеная: мы уже вышли на 118 секунд на итерацию и продолжаем стремительно падать вниз с каждым шагом.Система стабильна, асинхронный конвейер Viking Engine перемалывает гигантские веса без малейших признаков OOM. Не успели выкатить предыдущие цифры, как железо уже ставит новые рекорды.Не останавливаемся в ближайшие часы снимаем полные метрики профилировщика и готовим к выкатке обновленный пайплайн обучения для экстремальных рангов.Stay tuned. Работаем под огнем! 🔥
⚡️ Orakul Studio Status Update
Переживаем блэкаут, но работа не останавливается.
Только что завершили серию глубоких тестов и профилирования на экстремальном ранге 2048 (Flux-2, 32 млрд параметров). Связка с отключенным
вышли на стабильные 109–118 секунд на итерацию на одной RTX 4090.
Все дампы с Nsight Systems сняты, цифры зафиксированы. Как только дадут свет выкатываем в репозиторий полный технический гайд, обновленный YAML-конфиг и детали нашего кастомного memory-модуля Viking Engine.
Система стабильна. Работаем под огнём! 🔥
Переживаем блэкаут, но работа не останавливается.
Только что завершили серию глубоких тестов и профилирования на экстремальном ранге 2048 (Flux-2, 32 млрд параметров). Связка с отключенным
low_vram и золотым оффлоадом 0.71 на свежих драйверах полностью оправдала себя:вышли на стабильные 109–118 секунд на итерацию на одной RTX 4090.
Все дампы с Nsight Systems сняты, цифры зафиксированы. Как только дадут свет выкатываем в репозиторий полный технический гайд, обновленный YAML-конфиг и детали нашего кастомного memory-модуля Viking Engine.
Система стабильна. Работаем под огнём! 🔥
⚡️ FLUX.3 Klein & Viking Engine: Прорыв состоялся!
Пацаны, мы это сделали. Острисовские «эмбрионы» и весь лишний мусор выжжены под корень. Перевели всё на чистые нативные тензоры и привязали к нашему кастомному движку.
На тестах (ранг 32, полный датасет 1024x1024) Viking Engine выдал ~1.6 секунды на итерацию на одной RTX 4090. Это абсолютный космос.
📌 Что по релизу:
Код в репозитории обновлен, YAML-файлы прикреплены.
Квантизация и оффлоадинг пока выключены (low_ram: false, quantize: false) — модель и так со свистом залетает в 12-12+ ГБ видеопамяти. Основной оффлоад и тяжелую квантизацию прикрутим уже под полноценный релиз FLUX.3 Base, когда он выйдет.
Детальный разбор архитектуры ищите в полной статье.
🎨 Планы на сегодня:
Ближе к 12:00 по украинскому времени выкатим первую генерацию на Клейне. Начнем с классики — обучимся на картинах (выбираем между Айвазовским и Шишкиным), а дальше перейдем на другие темы.
Пацаны, мы это сделали. Острисовские «эмбрионы» и весь лишний мусор выжжены под корень. Перевели всё на чистые нативные тензоры и привязали к нашему кастомному движку.
На тестах (ранг 32, полный датасет 1024x1024) Viking Engine выдал ~1.6 секунды на итерацию на одной RTX 4090. Это абсолютный космос.
📌 Что по релизу:
Код в репозитории обновлен, YAML-файлы прикреплены.
Квантизация и оффлоадинг пока выключены (low_ram: false, quantize: false) — модель и так со свистом залетает в 12-12+ ГБ видеопамяти. Основной оффлоад и тяжелую квантизацию прикрутим уже под полноценный релиз FLUX.3 Base, когда он выйдет.
Детальный разбор архитектуры ищите в полной статье.
🎨 Планы на сегодня:
Ближе к 12:00 по украинскому времени выкатим первую генерацию на Клейне. Начнем с классики — обучимся на картинах (выбираем между Айвазовским и Шишкиным), а дальше перейдем на другие темы.
⚡ Orakul Studio Update:
Параллельно с тестами новой архитектуры допилили полную поддержку тренировки Flux.3 Klein (Rank 128) в нашем кастомном пайплайне без маркетинговых костылей, лишних слоёв и просадок латента.
Через пару часов выкатываем в открытый доступ готовую LoRA-модель в уникальной стилистике.
Ближе к утру обновляем репозиторий на GitHub: заливаем свежий патч My Toolkit с полноценным модулем обучения под новые веса.
Ждём релиз основной базовой модели и продолжаем выжимать из железа то, что другие считают невозможным. Работаем под огнём. 🦾🔥
Параллельно с тестами новой архитектуры допилили полную поддержку тренировки Flux.3 Klein (Rank 128) в нашем кастомном пайплайне без маркетинговых костылей, лишних слоёв и просадок латента.
Через пару часов выкатываем в открытый доступ готовую LoRA-модель в уникальной стилистике.
Ближе к утру обновляем репозиторий на GitHub: заливаем свежий патч My Toolkit с полноценным модулем обучения под новые веса.
Ждём релиз основной базовой модели и продолжаем выжимать из железа то, что другие считают невозможным. Работаем под огнём. 🦾🔥