📰 Локальные LLM модели: обзор и тестирование

Большие языковые модели перестали быть только облачными сервисами — сегодня многие из них можно запускать прямо на обычном ПК.

В статье собран практический обзор популярных локальных моделей и результаты их тестирования в реальных сценариях.

Что внутри:

▶️ В чем преимущества локальных LLM по сравнению с облачными: конфиденциальность, доступность, бесплатный API, корпоративные сценарии;

▶️ Как работать с Ollama: загрузка моделей, запуск через чат и API, управление через терминал;

▶️ Сравнительное тестирование моделей (Mistral, Llama 3.1, Qwen, Gemma, GPT-OSS, DeepSeek) на задачах фактологии, математики, кода и текста;

▶️ Результаты по скорости и точности: где локальные модели справляются лучше, а где уступают облачным;

▶️ Практические выводы — для каких задач подходят быстрые «легкие» модели, а где уместны более крупные и «думающие» варианты.

Материал будет полезен тем, кто хочет разобраться в локальных альтернативах ChatGPT и протестировать их в боевых условиях.

➡ Читать статью

tags: #статья

➡ Data Scientist | Чат

📰 Промптинг и суеверия. Что (не) надо добавлять к запросу в ChatGPT

Вокруг промптинга давно крутятся советы вроде «добавь эту фразу — и модель станет умнее».

Однако исследование в статье показывает: большинство таких приписок бесполезны или дают эффект только в узких случаях.

Что вы узнаете в статье:

▶️ Работает ли приём «давай думать пошагово» и почему его эффект уменьшается в новых моделях

▶️ Когда эмоциональные добавки помогают креативности, а когда они бесполезны

▶️ Что происходит с качеством ответа, если упоминать срочность или обещать «чаевые»

▶️ Как вежливость и тон общения влияют на результат диалога с моделью

▶️ Какие приёмы реально повышают качество ответа и делают промпт более эффективным

Итог: эффективность промпта зависит не от красивых приписок, а от того, насколько ясно и конкретно поставлена задача.

➡ Читать статью

tags: #статья

➡ Data Scientist | Чат

📰 Павел Дуров запускает ИИ-лабораторию в Казахстане

Telegram готовит технологию на стыке ИИ и блокчейна, которая, по словам Дурова, позволит «миллиарду юзеров использовать искусственный интеллект эффективно и приватно».

За проект возьмётся новая лаборатория Alem AI, которая будет работать в связке с казахстанским суперкомпьютером на ~400 GPU NVIDIA H200.

➡ Ссылка на новость

tags: #новости

➡ Data Scientist | Чат

📰 xAI готовит Grokipedia — конкурента Википедии

Илон Маск анонсировал новый проект: платформа Grokipedia должна стать «значительно лучше» Википедии, которую он считает политически предвзятой.

По задумке Маска, это будет база знаний для ИИ и людей, без идеологических фильтров и перекосов.

tags: #новости

➡ Data Scientist | Чат

📰 Топ-30 бесплатных нейросетей, которые реально облегчат жизнь

Робо-няня из «Смешариков» когда-то казалась фантастикой, а теперь у нас под рукой десятки сервисов, которые пишут тексты, рисуют картинки, делают видео и даже собирают презентации.

В статье собраны 30 бесплатных нейросетей, которые можно юзать без VPN и сложных настроек.

Что вы найдёте внутри:

▶️ Текстовые ИИ для статей, резюме и кода

▶️ Генераторы картинок и видео с редактированием на лету

▶️ Музыкальные ИИ, которые пишут треки с вокалом

▶️ Инструменты для PDF, презентаций и логотипов

▶️ Сервисы для аватаров и озвучки

Главное — все сервисы бесплатные или с жирным фри-тарифом.

➡ Читать статью

tags: #статья

➡ Data Scientist | Чат

🔖 Курс по машинному обучению для начинающих

В ходе уроков вы с нуля разберётесь во всех ключевых аспектах Machine Learning и шаг за шагом поймёте, как работает машинное обучение.

Под конец курса создадите несколько небольших проектов для визуализации машинного обучения.

📱 Смотреть на YouTube

tags: #полезное

➡ Data Scientist | Чат

📰 Сегодня ждём новый продукт от OpenAI

В Сан-Франциско проходит DevDay 2025, и по слухам компания там представит Agent Builder — zero/low-code платформу для создания ИИ-агентов и автоматизации рабочих процессов. Это должно стать чем-то вроде n8n или Zapier, но с встроенной оркестрацией и интеллектом.

Ранее OpenAI уже выпускала библиотеку Swarm с похожим функционалом, так что визуальный конструктор выглядит логичным продолжением.

Если в него добавят интеграции, MCP и возможность связывать агентов между собой, инструмент может оказаться действительно удобным для повседневных автоматизаций.

tags: #новости

➡ Data Scientist | Чат

📰 Как с помощью локальной LLM автоматизировать рутину и облегчить жизнь себе и коллегам

Локальные языковые модели позволяют автоматизировать повторяющиеся задачи и разгрузить команду от рутины, не передавая данные во внешние сервисы.

В статье разбираются реальные примеры, настройка LM-Studio и принципы, как интегрировать локальные LLM в работу без лишних затрат.

Что вы узнаете в статье:

▶️ Почему публичные модели не всегда подходят и как выбрать безопасную альтернативу;

▶️ Как установить и настроить LM-Studio для своих задач;

▶️ Как с помощью локальной LLM классифицировать обращения и создавать базы знаний;

▶️ Какие промпты дают лучшие результаты в автоматизации;

▶️ Как подобрать модель и параметры под разные сценарии.

Статья поможет тем, кто хочет внедрить ИИ в рабочие процессы и начать автоматизировать рутину без риска для данных.

➡ Читать статью

tags: #статья

➡ Data Scientist | Чат

Жиза

➡ Data Scientist | #memes

📰 Компьютерное зрение + ARKit = AR-навигация внутри зданий

Навигация в помещениях — одна из самых сложных инженерных задач: GPS там не работает, а обычные карты не понимают, где именно находится пользователь и в какую сторону он смотрит.

В статье разбирается, как можно объединить компьютерное зрение и ARKit, чтобы создать точную AR-навигацию в торговых центрах и других больших зданиях.

Что вы узнаете в статье:

▶️ Как работает визуальная локализация и почему она заменяет GPS внутри помещений;

▶️ Как команда построила 3D-карту здания с помощью 360-камер и нейросетевых дескрипторов;

▶️ Как используются модели SuperPoint и SuperGlue для точного сопоставления изображений;

▶️ Каким образом ARKit отслеживает движение пользователя и исправляет ошибки позиционирования;

▶️ Как решаются проблемы смены этажей и дрейфа координат в реальном времени.

➡ Читать статью

tags: #статья

➡ Data Scientist | Чат

📰 Три пути к 4K: выбираем инструмент для нейросетевой реставрации видео

Старое 480p-видео можно превратить в чёткое 4K буквально за вечер — вопрос только, чем именно. Одни программы делают всё за вас, другие требуют чуть-чуть инженерного мышления, но дают безграничный контроль над процессом.

В материале разбираются три разных подхода к AI-апскейлингу — от коммерческих решений до полностью open-source инструментов.

Что вы узнаете в статье:

▶️ Как Topaz Video AI применяет диффузионные модели для апскейла и в чём их преимущество перед классическими GAN;

▶️ Почему ChaiNNer стал «визуальным конструктором» open-source апскейлеров и как из нод собрать собственный пайплайн;

▶️ Чем REAL-Video-Enhancer выигрывает по скорости благодаря TensorRT и как его правильно настроить;

▶️ Какие подводные камни ждут при апскейле анимации, цветокоррекции и выборе модели;

▶️ Какие параметры FFmpeg и инструменты помогут сравнить результаты разных моделей без искажений.

Статья поможет выбрать оптимальный инструмент под ваши задачи — будь то апскейл старого фильма или реставрация мультфильмов и аниме.

➡ Читать статью

tags: #статья

➡ Data Scientist | Чат

📰 Ускорение инференса ML-моделей без лишних трат

Не всегда для быстрой работы нейросетей нужен дорогой GPU — в некоторых случаях CPU может справиться не хуже.

В статье инженер объясняет, как можно ускорить RoBERTa и другие модели без перехода на видеокарты и потери качества.

Что вы узнаете в статье:

▶️ Почему инференс на CPU может быть эффективнее GPU и когда это действительно оправдано;

▶️ Как с помощью OpenVINO оптимизировать модель и встроить постпроцессинг прямо в неё;

▶️ Какие ошибки возникают при конвертации и как правильно объединить токенизацию, модель и pooling;

▶️ Как квантование и pruning ускоряют инференс без потери точности;

▶️ Какие инструменты стоит использовать, если CPU уже на пределе — от OpenVINO Model Server до Nvidia Triton.

Материал показывает, как добиться прироста скорости в 3–7 раз и снизить нагрузку без закупки нового оборудования.

➡ Читать статью

tags: #статья

➡ Data Scientist | Чат

📰 Обзор математики для начинающего ML-инженера

Математика — это фундамент машинного обучения. Без неё невозможно понять, как работают модели, почему они учатся и что происходит внутри нейросетей.

В статье собран системный обзор ключевых разделов высшей математики, необходимых для старта в ML, — без избыточной теории и с наглядными примерами.

Что вы узнаете в статье:

▶️ Какие разделы математики нужны ML-инженеру и зачем: линейная алгебра, анализ, статистика и оптимизация;

▶️ Как векторы, матрицы и тензоры лежат в основе нейросетей и методов снижения размерности;

▶️ Что нужно понимать про градиенты, производные и экстремумы функций;

▶️ Как вероятностные распределения и статистика объясняют обучение моделей;

▶️ Почему знание оптимизационных методов помогает быстрее понимать современные ML-архитектуры.

Материал подойдёт тем, кто хочет заложить прочный математический фундамент и перейти от интуитивного понимания машинного обучения к более осознанному.

➡ Читать статью

tags: #статья

➡ Data Scientist | Чат

📰 Как приручить LLM: подбор инфраструктуры для инференса

Запуск больших языковых моделей — это не только про код, но и про грамотную инфраструктуру.

В этой статье объясняется, как подобрать GPU и рассчитать VRAM так, чтобы инференс работал быстро, стабильно и без лишних затрат.

Что вы узнаете в статье:

▶️ Как рассчитать необходимый объём VRAM под выбранную модель и тип квантизации;

▶️ Почему GPU критичен для инференса и как определить оптимальную конфигурацию;

▶️ Как выбирать между A100, RTX 4090, A5000 и другими видеокартами;

▶️ Чем отличаются инференс-фреймворки Ollama, SGLang и vLLM на практике;

▶️ Как оценить производительность и стоимость в реальном кейсе на Qwen-32B.

Материал поможет выстроить основу для эффективного инференса и избежать ошибок, прежде чем переходить к автоматизации и тонкой настройке.

➡ Читать статью

tags: #статья

➡ Data Scientist | Чат

📰 Цукерберг переманил сооснователя Thinking Machines

Эндрю Таллок — имя, которое в ML-комьюнити давно на слуху. Бывший «Distinguished Engineer» в Meta, один из ключевых разработчиков PyTorch, позже — сотрудник OpenAI и сооснователь стартапа Миры Мурати Thinking Machines.

Теперь он снова возвращается под крыло Meta — по данным WSJ, сделка оценивается минимум в 2 миллиарда долларов плюс акции компании 🙃

Забавно, что всего пару месяцев назад Таллок уже отказывался от предложения Цукерберга «всего лишь» на полтора миллиарда.

Всех с первым днём рабочей недели 🙂

tags: #новости

➡ Data Scientist | Чат

🔖 Андрей Карпаты выложил в open source мини-клон ChatGPT — nanochat

Один из создателей GPT представил проект, позволяющий собрать и обучить собственного чат-бота с нуля всего за несколько часов на облачном GPU. В коде — около 8 000 строк, без лишних зависимостей и сложных надстроек.

Сам Карпаты называет nanochat «самым безумным проектом, который он когда-либо писал», ссылка на GitHub — здесь.

tags: #полезное

➡ Data Scientist | Чат

📰 Сможет ли языковая модель научиться читать биржевые графики? Эксперимент с LLM на данных Московской биржи

Автор проверил гипотезу: если превратить графики в текст — описывать тренды, уровни и объёмы — сможет ли LLM понять рынок без чисел и индикаторов.

Для теста использовалась DistilBERT, обученная на текстах и дообученная на данных Московской биржи.

Что вы узнаете в статье:

▶️ Как перевести котировки в текст и использовать их для обучения LLM;

▶️ Как построить рабочий ML-конвейер на Python, PyTorch и Docker;

▶️ Почему DistilBERT показала AUC ≈ 0.53 и что это говорит о «понимании» рынков моделями;

▶️ Какие тикеры оказались предсказуемыми, а где модель провалилась;

▶️ Что можно улучшить с помощью LLaMA, Mistral и дообучения на финансовых данных.

Будет интересно тем, кто хочет проверить реальные возможности LLM в анализе биржевых данных и запустить всё своими руками — код выложен на GitHub.

➡ Читать статью

tags: #статья

➡ Data Scientist | Чат

🔖 Стэнфорд запустил бесплатный курс по Deep Learning под руководством Эндрю Ына — основателя Coursera и одного из ключевых фигур в мире ИИ

Курс охватывает всё — от основ нейросетей и обучения с подкреплением до LLM, RAG, агентов и мультимодальных моделей.

Первую лекцию можно посмотреть здесь, а материалы и расписание лежат — тут.

tags: #полезное

➡ Data Scientist | Чат