Big Data AI
17.6K subscribers
990 photos
127 videos
19 files
980 links
@haarrp - админ

Вопросы с собеседований по Machine Learning, Data Science, Deep Learning и Нейроннным сетям

@data_analysis_ml - анализ данных

@ai_machinelearning_big_data

@itchannels_telegram - важное для программиста

РКН: clck.ru/3Fmqxe
Download Telegram
🧠 Voxtral: Реализация модели 4B на C

Voxtral — это быстрая и независимая от внешних библиотек реализация модели Mistral AI для обработки аудио в реальном времени. Поддерживает ввод с микрофона и потоковую передачу, обеспечивая низкую задержку и эффективное использование памяти.

🚀Основные моменты:
- Чистая реализация на C с нулевыми зависимостями
- Поддержка Metal GPU для Apple Silicon
- Потоковый вывод токенов в реальном времени
- Ввод с микрофона и обработка WAV-файлов
- Эффективное управление памятью с помощью перекрывающихся окон

📌 GitHub: https://github.com/antirez/voxtral.c

#c
🔥3👍1
🤖 KISS: Простой фреймворк для создания AI-агентов

KISS (Keep It Simple, Stupid) предлагает минималистичный подход к разработке AI-агентов, избавляя от сложных конфигураций и абстракций. Создавайте и управляйте агентами с помощью обычного Python-кода, используя нативные функции для повышения эффективности.

🚀 Основные моменты:
- Легкость в создании и управлении AI-агентами.
- Использование нативного вызова функций для точности.
- Поддержка многопоточности и эволюции агентов.
- Интерактивные примеры и документация для быстрого старта.

📌 GitHub: https://github.com/ksenxx/kiss_ai

#python
4🥰2🔥1
Claude Code получил открытое решение против одной из главных угроз агентного AI - prompt injection.

Проект называется claude-hooks от Lasso Security.
Он добавляет защитный слой между Claude и внешним миром.

Что он делает:

Каждый раз, когда Claude:
- читает файл
- открывает веб-страницу
- запускает команду
- получает данные извне

специальный hook проверяет содержимое до того, как модель его обработает.

Он ищет более 50+ паттернов атак:
- скрытые инструкции в README
- вредоносные HTML-комментарии
- base64-инъекции
- попытки переписать системный контекст
- команды вида “ignore previous instructions”

Почему это важно:

Современные AI-агенты работают с:
- файловой системой
- репозиториями
- интернетом
- терминалом

Если внешний контент содержит скрытые инструкции,
AI может выполнить их как часть задачи.

Это уже новый класс уязвимостей:

данные = управление моделью

https://github.com/lasso-security/claude-hooks
🔥107🥰3
Когда рекомендации, поиск и реклама развиваются отдельно, появляются дублирующиеся пайплайны и расхождения в фичах.

В VK эту проблему решили через платформенный подход.

Stream Flow — центральный слой обработки событий — работает поверх YTsaurus. Он агрегирует до 1 млн событий в секунду и передаёт их в общий ML-профиль пользователей (~100 млрд событий в сутки).

Дальше — стандартная, но масштабированная схема:
Retrieval → Ranking → A/B → деплой.

Ключевое здесь — не только скорость запуска моделей, а снижение инфраструктурной вариативности: одна система хранения и обработки данных, единые механизмы расчёта фичей и унифицированный ML-цикл.

Это уже переход от набора ML-решений к платформенной архитектуре.
6👍4🔥2
🔬 Прогнозирование биомолекулярных структур с Protenix

Protenix — это открытый инструмент для высокоточного прогнозирования структур белков, который поддерживает исследования в области вычислительной биологии и разработки лекарств. Он предлагает доступные и расширяемые решения для научного сообщества.

🚀 Основные моменты:
- Высокая точность предсказаний, превосходящая AlphaFold3.
- Поддержка различных форматов данных и улучшенные функции обучения.
- Интеграция с другими проектами для оценки и дизайна белков.
- Открытый доступ к полному набору инструментов и данным.

📌 GitHub: https://github.com/bytedance/Protenix

#python
👍5🔥53🥰3
⚡️ MIT выложили полный курс по Deep Learning - бесплатно

MIT OpenCourseWare опубликовали курс 6.7960 Deep Learning (Fall 2024) — один из самых актуальных и практичных университетских курсов по современному глубокому обучению.

Внутри — полноценные лекции уровня топ-университета, доступные бесплатно.

Что в курсе

- Основы deep learning и архитектур
- Transformers и современные модели
- Generative AI
- Self-supervised обучение
- Scaling laws
- Diffusion и генеративные модели
- RL и обучение с подкреплением
- Практические разборы современных подходов

Лекции ведут преподаватели MIT и исследователи, работающие с передовыми технологиями.

Почему это ценно

Это не базовый курс для новичков.
Это материал уровня:
- ML-инженера
- исследователя
- разработчика AI-систем

Курс отражает текущее состояние индустрии и объясняет, как думают люди, которые создают современные модели.

Отлично подойдёт, если вы:
- уже знаете Python и основы ML
- хотите перейти в Deep Learning
- работаете с LLM / AI
- хотите системное понимание вместо отдельных туториалов

Если хочешь уровень FAANG / Research - учись у MIT.

https://ocw.mit.edu/courses/6-7960-deep-learning-fall-2024/video_galleries/lecture-videos/
7🤔3👍1
⚡️ Augustus - AI-агент для автоматического security-аудита кода

Augustus - open-source инструмент от Praetorian, который использует LLM для поиска уязвимостей и проблем безопасности прямо в вашем коде.

Что делает Augustus

- Анализирует код на уязвимости
- Ищет потенциальные security-риски
- Объясняет найденные проблемы
- Предлагает рекомендации по исправлению
- Работает с реальными репозиториями

По сути, это AI-ассистент для application security (AppSec).

Какие проблемы может находить

- небезопасная работа с вводом
- утечки данных
- ошибки аутентификации / авторизации
- опасные конфигурации
- уязвимые паттерны кода

Где полезно

- security-аудит проектов
- проверка перед релизом
- CI/CD pipeline
- code review
- обучение безопасной разработке

Почему это интересно

Тренд в безопасности меняется:
вместо ручного аудита → AI-анализ кода в реальном времени.

Теперь проверку безопасности можно делать так же просто, как запуск линтера, но с контекстом и объяснениями.

Репозиторий: https://github.com/praetorian-inc/augustus

🚀Max
4🔥2
Open-source TTS становится всё доступнее.

Вышел KaniTTS2 — модель синтеза речи на 400M параметров, которая запускается всего на 3GB VRAM.

Что важно:

- Работает на обычной GPU — без мощных серверов
- Поддерживает клонирование голоса
- Можно создавать реалистичную речь под конкретного диктора
- Полностью open-source (Apache 2.0)

Но главное:

Разработчики выложили полный код предобучения.

Это значит, что теперь можно:

- обучить TTS с нуля для любого языка
- сделать голос для локального ассистента
- создать озвучку для приложений, ботов и видео
- развернуть всё локально без API

Тренд очевиден:

Голосовые модели становятся такими же доступными, как LLM —
маленькие, быстрые и полностью под контролем разработчика.

Модели:
https://huggingface.co/nineninesix/kani-tts-2-en
https://huggingface.co/nineninesix/kani-tts-2-pt
Apple представила M5 Pro и M5 Max, построенные на новой архитектуре Fusion, которая объединяет два 3-нм кристалла в один SoC.

Это даёт до 30% прироста производительности CPU и более чем 4-кратный рост пиковой GPU-мощности для задач ИИ по сравнению с предыдущим поколением.

В конфигурации:

• 18-ядерный CPU (включая 6 «супер-ядер»)
• до 40-ядерного GPU с Neural Accelerators
• пропускная способность объединённой памяти до 614 ГБ/с
👍5🔥21
🖥 Большинство парсеров умирают через 2 дня.

Ты научишься делать те, которые работают в продакшене.

Это не про BeautifulSoup ради галочки.
Это про системы сбора данных, которые:

• не падают из-за мелких изменений на сайте
• собирают данные в разы быстрее
• обновляют всё автоматически по расписанию
• обходят ограничения и блокировки
• выглядят как полноценный сервис, а не как хаос из файлов

Ты начнёшь видеть сайты не как страницы, а как источники данных, к которым можно подключаться.

В итоге ты сможешь:

• забирать данные для своих проектов
• автоматизировать чужую рутину
• создавать инструменты для аналитики
• брать коммерческие заказы на сбор данных

Это навык, который напрямую превращается в деньги.
Не «знаю Python», а «умею профессионально добывать данные из интернета».

🎁 Скидка 50% на Stepik действует 48 часов: https://stepik.org/a/269942/
Please open Telegram to view this post
VIEW IN TELEGRAM
3🥰3🔥2🎉1
⚡️ Бесплатный клон Perplexity сейчас активно хайпует - Perplexica.

Это опенсорс-поисковик с ИИ, который делает глубокий ресерч, проверяет факты и собирает ответы со ссылками на источники.

• Глубокий поиск и фактчекинг — аккуратно собирает информацию и добавляет источники
• Работает как с локальной Ollama, так и с облачными моделями Google, OpenAI и Anthropic
• Можно загружать файлы — документы, видео, аудио и изображения для уточнения запроса
• Есть набор инструментов и виджетов для проведения полноценного исследования
• Умные подсказки помогают лучше сформулировать запрос и получить точный результат
• Упор на приватность - сервис минимизирует утечки данных и контролирует их использование

https://github.com/ItzCrazyKns/Perplexica
🔥121