Ответы пишите в комменариях👇
🤔 Проблема
Катастрофическое забывание возникает, когда модель во время дообучения на новых данных теряет уже выученные знания.
Ещё хуже ситуация с коллапсом модели — когда в датасет начинают попадать тексты, сгенерированные самой LLM: это искажает данные, стирает редкие примеры и усиливает ошибки.
✅ Подходы на практике:
1️⃣ LoRA / параметро-эффективное дообучение:
- Обновляются не все веса, а только адаптеры.
- Это снижает риск забывания базовых знаний, сохраняя при этом гибкость для дообучения.
2️⃣Dynamic replay / rehearsal (динамическое повторное смешивание)
- К кастомному датасету подмешивают данные из предобучения.
- Обычно берут в 2–3 раза больше примеров из базового корпуса.
- Так сохраняется «фон» общих знаний модели.
3️⃣ Dataset mixing (смешивание датасетов)
- Не дают модели «зарыться» в узкий домен.
- Сочетание специализированных и базовых данных удерживает баланс.
4️⃣ Variation across epochs (вариативность между эпохами)
- На каждой эпохе берут новые сэмплы из предобученного корпуса.
- Это повышает разнообразие и снижает риск переобучения к конкретному подмножеству.
📌 Как ответить на собеседовании
«Чтобы избежать забывания, используют LoRA (параметро-эффективное дообучение), динамический replay с базовыми данными (в пропорции 1:2 или 1:3), а также варьируют сэмплы из pretrain-корпуса между эпохами. Это сохраняет старые знания и даёт гибкость для новых».
@machinelearning_interview
#AI #LLM #MachineLearning #Forgetting #FineTuning
Please open Telegram to view this post
VIEW IN TELEGRAM
👍14🔥7❤3😘3💯1
Forwarded from Machinelearning
🐳 А вот и обновленная DeepSeek-V3.1-Terminus
Она даёт более стабильные и полные результаты на тестах по сравнению с предыдущей версией.
Доступна в приложении и в веб-версии и через API.
🔗 Открытые веса: https://huggingface.co/deepseek-ai/DeepSeek-V3.1-Terminus
@ai_machinelearning_big_data
#DeepSeek #opensource #llm
Она даёт более стабильные и полные результаты на тестах по сравнению с предыдущей версией.
Доступна в приложении и в веб-версии и через API.
🔗 Открытые веса: https://huggingface.co/deepseek-ai/DeepSeek-V3.1-Terminus
@ai_machinelearning_big_data
#DeepSeek #opensource #llm
❤9🔥4🥰4
Forwarded from Machinelearning
🚀 DeepSeek-V3.2-Exp - вышла новая экспериментальная версия
⚡ Главное:
- Основана на V3.1-Terminus
- Новый механизм Sparse Attention (DSA) → быстрее и дешевле работа с длинными контекстами
- Качество почти без потерь, производительность как у V3.1
- 💰 API подешевел более чем на 50%
📊 V3.1 пока ещё будет доступна до 15 октября 2025.
🔗 Hugging Face: https://huggingface.co/deepseek-ai/DeepSeek-V3.2-Exp)
🔗 Tech Report: https://github.com/deepseek-ai/DeepSeek-V3.2-Exp/blob/main/DeepSeek_V3_2.pdf)
🔗Github: https://github.com/deepseek-ai/DeepSeek-V3.2-Exp/blob/main/DeepSeek_V3_2.pdf
@ai_machinelearning_big_data
#DeepSeek #AI #V32 #SparseAttention #LLM
⚡ Главное:
- Основана на V3.1-Terminus
- Новый механизм Sparse Attention (DSA) → быстрее и дешевле работа с длинными контекстами
- Качество почти без потерь, производительность как у V3.1
- 💰 API подешевел более чем на 50%
📊 V3.1 пока ещё будет доступна до 15 октября 2025.
🔗 Hugging Face: https://huggingface.co/deepseek-ai/DeepSeek-V3.2-Exp)
🔗 Tech Report: https://github.com/deepseek-ai/DeepSeek-V3.2-Exp/blob/main/DeepSeek_V3_2.pdf)
🔗Github: https://github.com/deepseek-ai/DeepSeek-V3.2-Exp/blob/main/DeepSeek_V3_2.pdf
@ai_machinelearning_big_data
#DeepSeek #AI #V32 #SparseAttention #LLM
❤2👍2🤔2
Оксфордские учёные подтвердили худшие опасения: Интернет умирает
Исследователи из Оксфорда выяснили: интернет больше не тот, что раньше:
- В 2020 году ИИ создавал всего 5% контента,
- В 2025 - уже 48%, а к следующему году прогнозируют более 90%.
ИИ-текст стоит очень дешево, человеческий труд - от $10 до $100 за статью.
Рынок выбрал скорость и дешевизну.
Но настоящая проблема -**«model collapse»**:
когда нейросети обучаются на тексте, созданном другими нейросетями.
Это как ксерить ксерокопию - каждое поколение теряет детали и оригинальные идеи.
Мир превращается в поток однообразного, усреднённого контента.
ИИ сегодня создаёт “цифровую кашу”, а завтра будет учиться уже на ней. И каждый новый виток делает интернет чуть глупее.
#AI #Oxford #ModelCollapse #Internet #AIGeneratedContent #LLM #AIEthics #DigitalDecay
Исследователи из Оксфорда выяснили: интернет больше не тот, что раньше:
- В 2020 году ИИ создавал всего 5% контента,
- В 2025 - уже 48%, а к следующему году прогнозируют более 90%.
ИИ-текст стоит очень дешево, человеческий труд - от $10 до $100 за статью.
Рынок выбрал скорость и дешевизну.
Но настоящая проблема -**«model collapse»**:
когда нейросети обучаются на тексте, созданном другими нейросетями.
Это как ксерить ксерокопию - каждое поколение теряет детали и оригинальные идеи.
Мир превращается в поток однообразного, усреднённого контента.
ИИ сегодня создаёт “цифровую кашу”, а завтра будет учиться уже на ней. И каждый новый виток делает интернет чуть глупее.
#AI #Oxford #ModelCollapse #Internet #AIGeneratedContent #LLM #AIEthics #DigitalDecay
😢59👍8😁7🫡4❤2
This media is not supported in your browser
VIEW IN TELEGRAM
На первый взгляд формула кажется простой -
её легко выучить и даже воспроизвести по памяти.
Но разобраться интуитивно, как взаимодействуют Q (Query), K (Key) и V (Value), - совсем другое дело. Именно это видео или схема помогает «увидеть», что происходит внутри трансформера.
#machinelearning #deeplearning #transformers #attention #LLM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥23👍11❤8