Интересное что-то
520 subscribers
2.72K photos
253 videos
140 files
4.53K links
Материалы и мысли, понадерганные отовсюду
Блог: https://t.me/asisakov_channel
Чат: https://t.me/youknowds_chat
Download Telegram
Forwarded from Life isData
Официально: это самая большая шпаргалка по Python, которую я видел.

Коротко про весь ЯП в 10 скринах.

Полная версия в формате PDF — тут
Статья "У нас закончились столбцы" - лучшая худшая кодовая база

О, таблица merchants2? Да, у нас закончились столбцы в merchants, поэтому мы сделали merchants2.


Потрясающая статья для утреннего чтива. Одновременно хочется и смеяться, и плакать. Удивительно странные и нелепые истории про организацию одной большой базы данных, про процессы в компании и про жесткие диски Гилфойла. Крайне рекомендую☕️

https://habr.com/ru/articles/833916/
Please open Telegram to view this post
VIEW IN TELEGRAM
🖥 UNet 3+ Implementation in TensorFlow

В этой статье представлена реализация архитектуры UNet 3+ с помощью TensorFlow.

UNet 3+ расширяет классическую архитектуру UNet и UNet++.

В статье рассмотрен каждый блок архитектуры UNet 3+ и объяснено, как они работают и что способствует повышению производительности модели.

Понимание этих блоков позволит понять механизмы, лежащие в основе UNet 3+, и то, как она эффективно справляется с такими задачами, как сегментация изображений или другими задачами попиксельного предсказания.

https://idiotdeveloper.com/unet-3-plus-implementation-in-tensorflow/

@machinelearning_interview
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machinelearning
⚡️ Nemotron-Mini-4B-Instruct: инструктивная компактная модель от Nvidia

Nemotron-Mini-4B-Instruct - небольшая модель, полученная в результате файнтюна, обрезки (pruning), дистилляции и квантования модели Minitron-4B-Base.

Эта модель оптимизирована для roleplay-сценариев, RAG QA и вызова функций на английском языке.

Практическое применение модели ориентировано на интеграции в гейм-разработке, преимущественно - в экосистеме NVIDIA.

Модель обучалась в период февраль-август 2024 года.

При создании Nemotron-Mini-4B-Instruct использованы техники Grouped-Query Attention (GQA) и Rotary Position Embeddings (RoPE).

▶️Технические характеристики:

🟢total params - 4B;
🟢embedding size - 3072;
🟢attention heads - 32;
🟢MLP intermediate dimension - 9216;
🟢input context - 4096.

Пример инференса в Transformers, шаблоны простого промпта и instruct- шаблон в карточке модели на Huggingface.

Есть неофициальные квантованные (imatrix) GGUF - версии модели в 8 разрядностях, от 3-bit (2.18 Gb) до 16-bit (8.39 Gb) для запуска в llama.cpp и LM Studio.


📌Лицензирование : NVIDIA Community Model License.


🟡Страница модели на NGC Catalog
🟡Модель
🟡GGUF
🟡Arxiv
🟡Demo


@ai_machinelearning_big_data

#AI #NVIDIA #LLM #ML #Nemotron
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
🛠 Интересный проект: разработчик создал простую систему, которая помогает пройти собеседование, фактически отвечая за вас!

Алгоритм работает так: Whisper преобразует речь интервьюера в текст, передаёт его ChatGPT, который генерирует ответ. Затем вы просто читаете его с экрана.

Всё, что вам нужно — открывать рот и произносить готовые фразы🤣

GitHub

@machinelearning_interview
Forwarded from эйай ньюз
Запись большого стрима про карьеру и собесы в БигТех

Так как все спрашивали про запись недавнего стрима с коллегами из FAANG, мы все-таки ее выложили:)

Вот таймкоды, на интересные моменты:
2:00 - Интро
10:27 - Интро со мной, про мои походы в горы
11:49 - Чем я занимаюсь по работе
12:30 - Emu Flash - риалтайм генерация картинок в meta-ai, и как наша демка дошла до Цукерберга
20:40 - Кто спал днем, а кто всю ночь работал
21:45 - Как выглядят собесы на ресерч менеджера в Мету
33:20 - Про Behavioral интервью
45:22 - Какие собесы на research позиции?
48:27 - Коротко про AI Research Design интервью
49:17 - Почему нужно PhD на ресерч роли, какие скилы применяются в работе
51:05 - Будут ли умирать роли в Applied Research с приходом LLM? (нет)
55:54 - Про менторство, как это помогает расти, как найти ментора.
1:11:13 - Какая мотивация работать в БигТехе.
1:49:24 - Заключение. Финальные советы по прохождению собесов и по карьере в целом.

Как и обещал на стриме ( 1:02:25 ), я анонсировал закрытое комьюнити по подготовке к собеседованиям на AI/ML роли в FAANG и не-FAANG. Подробности и как записаться – в посте.

@ai_newz
Forwarded from Борис опять
Яндекс опубликовал на Хабре статью об использовании YandexGPT для генерации объявлений.

Я вообще не знал о такой функции: оказывается продавец большого количества товаров может отдать Яндекс.Директу их описания и получить автоматически сгенерированные объявления.

Отличная задача на ML System Design. Нужно объединить несколько источников данных, задействовать очень тяжёлую генеративную модель , эмбеддер и ранжирование, поддерживать большую нагрузку и все в условиях ограниченных ресурсов GPU. Хоть на собеседованиях давай.

Порадовал момент "сервис обрабатывает ВСЕГО ЛИШЬ 10 тысяч объявлений в секунду, поэтому нам пришлось ускорять :(".

Очень круто описан кейс оптимизации через асинхронную обработку, партицирование, параллелизацию, повышение утилизации GPU, дистилляцию эмбеддера и ранжировщика, устранение CPU бутылочных горлышек. Результаты впечатляют: RPS подняли до 70к+, снизили количество реплик в самом нагруженном месте на порядок.

Мне даже оказалось релевантно по работе, потому что обрабатывать много товаров тяжелым ML это прямо наш домен.

Один из самых клевых примеров применения LLM, что я видел.