MLX-LM позволяет запускать модели с Hugging Face одной командой, а затем дообучать их через LoRA или полноценный fine-tuning.
Есть поддержка квантованных моделей, длинного контекста, распределённых вычислений и кэша промптов.
tags: #полезное
Please open Telegram to view this post
VIEW IN TELEGRAM
❤3👍2🔥2
В статье разбирают SFT — один из ключевых этапов выравнивания LLM, где модель дообучают на качественных примерах «правильных» ответов.
Внутри — отличие SFT от pretraining и обычного fine-tuning, роль качества датасета, связь с RLHF и практический пример через Hugging Face TRL и
SFTTrainer.tags: #статья
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3❤2🔥2🤩1
В руководстве разбирают, как современные GPU реально исполняют код и почему без этого сложно осмысленно оптимизировать ядра.
Основной фокус — NVIDIA и CUDA: execution model, occupancy, shared memory, конфликты банков и другие вещи, которые напрямую влияют на производительность инференса.
tags: #полезное
Please open Telegram to view this post
VIEW IN TELEGRAM
❤2👍2🔥2
В статье показывают весь путь: текст → embedding → расстояние между векторами → поиск похожих документов.
А дальше начинается самое интересное — NSW и HNSW, которые позволяют не сравнивать запрос вообще со всей базой, а быстро находить ближайшие векторы через граф.
tags: #статья
Please open Telegram to view this post
VIEW IN TELEGRAM
❤2👍2🔥2
В CUDA Refresher объясняют, как GPU распределяет вычисления и как устроена CUDA-модель: ядра, сетки, блоки и потоки.
Плюс есть разбор библиотек и готовых инструментов.
tags: #полезное
Please open Telegram to view this post
VIEW IN TELEGRAM
❤2👍2🔥2
В разборе показывают, как графы знаний помогают сохранять связи между сущностями и лучше отвечать на сложные многошаговые вопросы.
Плюс есть сравнение GraphRAG и LightRAG и реальные тесты на трёх типах документации.
tags: #статья
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3❤2🔥2
DeepSeek серьёзно обновила библиотеку коммуникаций для MoE:
🫡 ElasticBuffer разделили на отдельные буферы;🫡 Добавили BufferAllocator для предварительного планирования VRAM;🫡 Появились batch all-gather, reduce-scatter и all-reduce;🫡 Добавили prefetch весов резервных экспертов через NVLink;🫡 Engram теперь умеет работать в несколько уровней на GPU и CPU;🫡 Доработали сценарии обучения;🫡 Полностью удалили V1 API и NVSHMEM.
tags: #полезное
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1👍1🔥1
Please open Telegram to view this post
VIEW IN TELEGRAM
😁2💯2❤1👍1
В статье разбирают путь от обычных векторов до полноценного semantic search: векторизацию, поиск ближайших соседей, индексацию, LSH и HNSW.
Плюс автор собирает рекомендательную систему на Weaviate и сравнивает её с поиском «в лоб» по расстоянию между векторами.
tags: #статья
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1👍1🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
Очнись, нас готовят к цифровому ГУЛАГу
Уже в десятках регионов России отключают мобильный интернет (даже когда нет атак БПЛА), тестируют «белые списки» и замедляют Телегу.
90% людей тупо смотрят на уплывающий корабль свободного Интернета. Люди поумнее готовятся к новой реальности и читают «Пакет Безопасности».
Здесь дают самые свежие связки для приватности: приложения и утилиты на случай вайтлистов, прокси, браузеры, сервисы — чего тут только нет.
Без шуток, сейчас это один из самых полезных каналов в Телеге. Надеемся на лучшее, но к чему нужно готовиться — вы и сами понимаете: @package_security
Уже в десятках регионов России отключают мобильный интернет (даже когда нет атак БПЛА), тестируют «белые списки» и замедляют Телегу.
90% людей тупо смотрят на уплывающий корабль свободного Интернета. Люди поумнее готовятся к новой реальности и читают «Пакет Безопасности».
Здесь дают самые свежие связки для приватности: приложения и утилиты на случай вайтлистов, прокси, браузеры, сервисы — чего тут только нет.
Без шуток, сейчас это один из самых полезных каналов в Телеге. Надеемся на лучшее, но к чему нужно готовиться — вы и сами понимаете: @package_security
LightGBM умеет обучаться на CPU и GPU, поддерживает распределённый режим и рассчитан на большие объёмы данных при относительно небольшом расходе памяти.
Хороший инструмент для классификации, регрессии и ranking-задач.
tags: #полезное
Please open Telegram to view this post
VIEW IN TELEGRAM
❤3👍3🔥2
В разборе показывают, как собрать RAG с нуля: чанки, эмбеддинги, векторный поиск, reranking и финальная генерация.
Всё на Python, без LangChain и LlamaIndex, с локальными моделями через Ollama.
tags: #статья
Please open Telegram to view this post
VIEW IN TELEGRAM
❤2👍2🔥2