Data Scientist | ML & AI
3.06K subscribers
627 photos
213 videos
23 files
707 links
Один из ведущих каналов по Data Science, Machine Learning и Big Data

Сотрудничество: @bape_ads
Прайс: @bape_media
Download Telegram
🔖 Запускаем LLM локально на Mac

MLX-LM позволяет запускать модели с Hugging Face одной командой, а затем дообучать их через LoRA или полноценный fine-tuning.

Есть поддержка квантованных моделей, длинного контекста, распределённых вычислений и кэша промптов.

⛓ Ссылка на GitHub

tags: #полезное

➡ Data Scientist | Чат
Please open Telegram to view this post
VIEW IN TELEGRAM
❤3👍2🔥2
📰 Как дообучать LLM через Supervised Fine-Tuning

В статье разбирают SFT — один из ключевых этапов выравнивания LLM, где модель дообучают на качественных примерах «правильных» ответов.

Внутри — отличие SFT от pretraining и обычного fine-tuning, роль качества датасета, связь с RLHF и практический пример через Hugging Face TRL и SFTTrainer.

⛓️ Читать статью

tags: #статья

➡ Data Scientist | Чат
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3❤2🔥2🤩1
🔖 Архитектура GPU для тех, кто работает с LLM-инференсом

В руководстве разбирают, как современные GPU реально исполняют код и почему без этого сложно осмысленно оптимизировать ядра.

Основной фокус — NVIDIA и CUDA: execution model, occupancy, shared memory, конфликты банков и другие вещи, которые напрямую влияют на производительность инференса.

⛓ Ссылка на руководство

tags: #полезное

➡ Data Scientist | Чат
Please open Telegram to view this post
VIEW IN TELEGRAM
❤2👍2🔥2
📰 Как работает поиск в векторных базах

В статье показывают весь путь: текст → embedding → расстояние между векторами → поиск похожих документов.

А дальше начинается самое интересное — NSW и HNSW, которые позволяют не сравнивать запрос вообще со всей базой, а быстро находить ближайшие векторы через граф.

⛓️ Читать статью

tags: #статья

➡ Data Scientist | Чат
Please open Telegram to view this post
VIEW IN TELEGRAM
❤2👍2🔥2
🔖 База по CUDA от NVIDIA

В CUDA Refresher объясняют, как GPU распределяет вычисления и как устроена CUDA-модель: ядра, сетки, блоки и потоки.

Плюс есть разбор библиотек и готовых инструментов.

tags: #полезное

➡ Data Scientist | Чат
Please open Telegram to view this post
VIEW IN TELEGRAM
❤2👍2🔥2
📰 GraphRAG против обычного RAG

В разборе показывают, как графы знаний помогают сохранять связи между сущностями и лучше отвечать на сложные многошаговые вопросы.

Плюс есть сравнение GraphRAG и LightRAG и реальные тесты на трёх типах документации.

⛓️ Читать статью

tags: #статья

➡ Data Scientist | Чат
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3❤2🔥2
🔖 Что изменилось в DeepEP V2.5

DeepSeek серьёзно обновила библиотеку коммуникаций для MoE:
🫡 ElasticBuffer разделили на отдельные буферы;
🫡 Добавили BufferAllocator для предварительного планирования VRAM;
🫡 Появились batch all-gather, reduce-scatter и all-reduce;
🫡 Добавили prefetch весов резервных экспертов через NVLink;
🫡 Engram теперь умеет работать в несколько уровней на GPU и CPU;
🫡 Доработали сценарии обучения;
🫡 Полностью удалили V1 API и NVSHMEM.


⛓ Ссылка на GitHub

tags: #полезное

➡ Data Scientist | Чат
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1👍1🔥1
Please open Telegram to view this post
VIEW IN TELEGRAM
😁2💯2❤1👍1
📰 Как устроены векторные базы данных под капотом

В статье разбирают путь от обычных векторов до полноценного semantic search: векторизацию, поиск ближайших соседей, индексацию, LSH и HNSW.

Плюс автор собирает рекомендательную систему на Weaviate и сравнивает её с поиском «в лоб» по расстоянию между векторами.

⛓️ Читать статью

tags: #статья

➡ Data Scientist | Чат
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1👍1🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
Очнись, нас готовят к цифровому ГУЛАГу

Уже в десятках регионов России отключают мобильный интернет (даже когда нет атак БПЛА), тестируют «белые списки» и замедляют Телегу.

90% людей тупо смотрят на уплывающий корабль свободного Интернета. Люди поумнее готовятся к новой реальности и читают «Пакет Безопасности».

Здесь дают самые свежие связки для приватности: приложения и утилиты на случай вайтлистов, прокси, браузеры, сервисы — чего тут только нет.

Без шуток, сейчас это один из самых полезных каналов в Телеге. Надеемся на лучшее, но к чему нужно готовиться — вы и сами понимаете: @package_security
🔖 Быстрый градиентный бустинг для больших данных

LightGBM умеет обучаться на CPU и GPU, поддерживает распределённый режим и рассчитан на большие объёмы данных при относительно небольшом расходе памяти.

Хороший инструмент для классификации, регрессии и ranking-задач.

⛓ Ссылка на GitHub

tags: #полезное

➡ Data Scientist | Чат
Please open Telegram to view this post
VIEW IN TELEGRAM
❤3👍3🔥2
📰 RAG без фреймворков: руками и по шагам

В разборе показывают, как собрать RAG с нуля: чанки, эмбеддинги, векторный поиск, reranking и финальная генерация.

Всё на Python, без LangChain и LlamaIndex, с локальными моделями через Ollama.

⛓️ Читать статью

tags: #статья

➡ Data Scientist | Чат
Please open Telegram to view this post
VIEW IN TELEGRAM
❤2👍2🔥2