❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_213

🔠Опиши программную модель CUDA ? (Часть_2)

Иерархия потоков: CUDA использует модель потоков, где вычисления организованы в блоки и сетки. Блоки потоков (thread blocks) организованы в сетки (grids), которые могут быть одномерными, двумерными или трехмерными. Это позволяет разработчикам определять структуру параллельных вычислений и управлять распределением задач между ядрами GPU.

#CUDA #ComputeUnifiedDeviceArchitecture #NVIDIA #highperformancecomputing #graphicsprocessingunits(GPU) #softwareplatform #developers #computationalcapabilities #imageprocessing #dataanalysis #machinelearning

https://boosty.to/denoise_lab/donate - поддержать наш канал

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_213

🔠Опиши программную модель CUDA ? (Часть_3)

- Синхронизация: CUDA предоставляет механизмы синхронизации, такие как барьеры, для координации работы потоков внутри блока и между блоками. Это важно для обеспечения корректного выполнения параллельных вычислений.

- Управление памятью: CUDA поддерживает различные типы памяти, такие как глобальная, общая, текстурная и константная память. Разработчики могут выбирать между этими типами памяти в зависимости от требований к производительности и эффективности использования ресурсов.

#CUDA #ComputeUnifiedDeviceArchitecture #NVIDIA #highperformancecomputing #graphicsprocessingunits(GPU) #softwareplatform #developers #computationalcapabilities #imageprocessing #dataanalysis #machinelearning

https://boosty.to/denoise_lab/donate - поддержать наш кана

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_213

🔠Опиши программную модель CUDA ? (Часть_4)

Компиляция и исполнение: CUDA использует компилятор NVCC для компиляции программ, написанных на CUDA C/C++. Компиляция может производиться в режиме offline или just-in-time, что позволяет разработчикам выбирать наиболее подходящий для их задач способ компиляции.

#CUDA #ComputeUnifiedDeviceArchitecture #NVIDIA #highperformancecomputing #graphicsprocessingunits(GPU) #softwareplatform #developers #computationalcapabilities #imageprocessing #dataanalysis #machinelearning

https://boosty.to/denoise_lab/donate - поддержать наш кана

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_213

🔠Опиши программную модель CUDA ? (Часть_5)

Поддержка различных языков: Помимо C/C++, CUDA поддерживает другие языки программирования, такие как Fortran, Python и MATLAB, через расширения языка в виде ключевых слов. Это делает CUDA доступной для широкого круга разработчиков и приложений.

#CUDA #ComputeUnifiedDeviceArchitecture #NVIDIA #highperformancecomputing #graphicsprocessingunits(GPU) #softwareplatform #developers #computationalcapabilities #imageprocessing #dataanalysis #machinelearning

https://boosty.to/denoise_lab/donate - поддержать наш канал

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_213

🔠Опиши программную модель CUDA ? (Часть_6)

Динамический параллелизм: CUDA поддерживает динамический параллелизм, позволяя одному ядру запускать и синхронизировать другие ядра. Это расширяет возможности конфигурации, запуска и неявной синхронизации новых сетков с потоками, работающими на устройстве.

#CUDA #ComputeUnifiedDeviceArchitecture #NVIDIA #highperformancecomputing #graphicsprocessingunits(GPU) #softwareplatform #developers #computationalcapabilities #imageprocessing #dataanalysis #machinelearning

https://boosty.to/denoise_lab/donate - поддержать наш канал

Show My Street - инструмент для просмотра улиц в Google Street View.

https://showmystreet.com/

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_214

🔠 Какие особенности модели потоков в CUDA могут повлиять на производительность приложения? (Часть_1)

Определение количества блоков и потоков: Выбор правильного количества блоков и потоков в сетке является критическим для эффективного использования ресурсов GPU. Слишком мало потоков может привести к недостаточному использованию параллелизма, в то время как слишком много потоков может привести к излишней нагрузке на систему и снижению производительности из-за конфликтов за ресурсы.

#CUDA #ComputeUnifiedDeviceArchitecture #NVIDIA #highperformancecomputing #graphicsprocessingunits(GPU) #softwareplatform #developers #computationalcapabilities #imageprocessing #dataanalysis #machinelearning

https://boosty.to/denoise_lab/donate - поддержать наш канал

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_214

🔠 Какие особенности модели потоков в CUDA могут повлиять на производительность приложения? (Часть_2)

Синхронизация и детерминизм: В традиционной модели запуска и синхронизации CUDA, операции могут влиять на производительность из-за ненужных задержек и ожиданий завершения задач. В отличие от этого, модель постоянных потоков (CuPer) предлагает более высокую степень детерминизма, запуская ядро CUDA один раз и заставляя его работать до завершения приложения. Это может улучшить производительность в реальном времени, но также влечет за собой ограничения, такие как невозможность запуска разнородных ядер и необходимость активного ожидания.

#CUDA #ComputeUnifiedDeviceArchitecture #NVIDIA #highperformancecomputing #graphicsprocessingunits(GPU) #softwareplatform #developers #computationalcapabilities #imageprocessing #dataanalysis #machinelearning

https://boosty.to/denoise_lab/donate - поддержать наш канал

Очень крутой кейс "запили" разработчики из Монреаля (Канада). А именно, они представили  пилотный проект, который использует искусственный интеллект для предотвращения самоубийств в Монреальском метро. Что же удалось узнать:

- Система сканирует записи камер видеонаблюдения на станциях метро для обнаружения предупреждающих знаков о бедственном положении людей.

- Искусственный интеллект может распознавать одного из четырех человек, предпринимающих попытку самоубийства. (неплохая точность)

- Система может предупреждать диспетчерскую и направлять специальных констеблей на место происшествия.

- Цель внедрения платформы screen doors была восстановлена в рамках плана на 2023-2033 годы.

- STM планирует опробовать искусственный интеллект для улучшения профилактики самоубийств и надеется внедрить систему через два года.

Учитывая что по статистике в метро гибнет не так много людей, как например в автокатастрофах, все равно впечатляет. Кстати, продолжая данную тему нашел еще вот такую статью, весьма интересного содержания. https://iz.ru/1549107/2023-07-25/v-oon-predupredili-o-griadushchem-roste-chisla-samoubiistv-iz-za-obshcheniia-s-ii.

ОАЭ готовы выделить Сэму Альтману средства на разработку ИИ-чипов.

Ожидается, что от арабских инвесторов будет предоставлено финансирование на сумму $7 трлн. Власти ОАЭ также рассчитывают привлечь в регион Илона Маска. ОАЭ стремятся развивать национальную экосистему ИИ и для этого наращивают запас ускорителей вычислений Nvidia.

Что-то новенькое.

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_214

🔠 Какие особенности модели потоков в CUDA могут повлиять на производительность приложения? (Часть_3)

Управление памятью: Использование некэшированной памяти и правильное распределение данных между CPU и GPU могут существенно повлиять на производительность. Неправильное распределение может привести к избыточным операциям копирования данных, что увеличивает задержки и снижает общую производительность.

#CUDA #ComputeUnifiedDeviceArchitecture #NVIDIA #highperformancecomputing #graphicsprocessingunits(GPU) #softwareplatform #developers #computationalcapabilities #imageprocessing #dataanalysis #machinelearning

https://boosty.to/denoise_lab/donate - поддержать наш канал

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_214

🔠 Какие особенности модели потоков в CUDA могут повлиять на производительность приложения? (Часть_4)

Контроль разнообразия (Divergence): Разнообразие потоков внутри блока может привести к снижению параллелизма из-за того, что некоторые потоки могут завершить свою работу раньше остальных. Управление разнообразием может помочь оптимизировать использование ресурсов GPU, но требует дополнительных усилий от разработчика.

#CUDA #ComputeUnifiedDeviceArchitecture #NVIDIA #highperformancecomputing #graphicsprocessingunits(GPU) #softwareplatform #developers #computationalcapabilities #imageprocessing #dataanalysis #machinelearning

https://boosty.to/denoise_lab/donate - поддержать наш канал

MTS AI создала российскую большую языковую модель для анализа документов и звонков ‼️

Компания MTS AI, дочерняя структура МТС, разработала большую языковую модель (LLM) MTS AI Chat. Она, как утверждается, позволяет решать широкий спектр задач — от генерации и редактирования текстов до суммирования и анализа информации.

Сферы применения: подбор персонала, маркетинг, обслуживание клиентов, подготовка финансовой документации и проверка отчётности, генерация обучающих материалов и пр. На базе MTS AI Chat могут создаваться внутренние системы поиска, чат-боты для ответов на вопросы, рекомендательные сервисы и пр.

В текущем виде LLM поддерживает только текстовые запросы, но компания работает над версией, которая сможет распознавать изображения и видеоматериалы. Кроме того, готовится сервис генерации и автодополнения программного кода.

Участники рынка полагают, что при обучении модели MTS AI могла использовать обезличенные данные, которые собирают другие подразделения группы.

❗️В настоящее время LLM предлагается для развёртывания на оборудовании заказчика, но в перспективе ожидается выход публичной редакции. Пользователи смогут применять модель для составления должностных инструкций, извлечения информации из документов, формирования выжимок телефонных разговоров и пр.

Нужно отметить, что собственные LLM создают и другие российские компании. Так, системный IT-интегратор «Норбит» недавно анонсировал модель Norbit GPT, также ориентированную на корпоративных клиентов. Она предназначена для генерации текстов, обобщения информации, обработки и анализа данных, а также для подготовки ответов на обращения пользователей в службу поддержки.

VK запретила роботу Open AI собирать данные платформы «Дзен» ❌

Контентная платформа «Дзен», принадлежащая VK, указала, что роботу GPTBot американской компании OpenAI (разработчик ИИ-бота ChatGPT) запрещено обходить страницы dzen.ru для сбора данных. Об этом пишет «Коммерсантъ» со ссылкой на данные относящегося к платформе файла robots.txt, который предназначен для программ по автоматическому сбору данных с веб-сайтов.

👉 В пресс-службе VK пояснили, что блокировка GPTBot осуществлена для снижения нагрузки на серверы «Дзена».

«Рекомендательная система «Дзена» — одна из самых больших в стране. Высоконагруженные сервисы работают беспрерывно и обрабатывают более 150 тысяч запросов в секунду. Решение не включать GPTBot от OpenAI в файл принято для грамотного использования технического ресурса, чтобы не создавать дополнительную нагрузку. В «Дзене» регулярно создаются миллионы новых публикаций: как в текстах, так и видеоформате, — мы направляем ресурсы на то, чтобы обеспечить качественный опыт нашим пользователям и авторам», — сообщили в VK.

Напомним, файл robots.txt носит рекомендательный характер и технически роботы могут его игнорировать. Что касается GPTBot, то он используется для сбора информации, которая в дальнейшем применяется в процессе обучения нейросетей OpenAI. Американская компания не предоставляет доступ к ним из России, а также заблокировала для россиян доступ к своему сайту.

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_214

🔠 Какие особенности модели потоков в CUDA могут повлиять на производительность приложения? (Часть_5)

Использование warp'ов и SIMD: Понимание работы с warp'ами и использование SIMD (Single Instruction, Multiple Data) архитектуры в CUDA может значительно улучшить производительность, позволяя оптимизировать выполнение последовательностей инструкций и уменьшить накладные расходы.

#CUDA #ComputeUnifiedDeviceArchitecture #NVIDIA #highperformancecomputing #graphicsprocessingunits(GPU) #softwareplatform #developers #computationalcapabilities #imageprocessing #dataanalysis #machinelearning

https://boosty.to/denoise_lab/donate - поддержать наш канал

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_215

🔠 Какие методы могут использоваться для определения количества блоков и потоков в сетке?

Эмпирические методы: Начать можно с экспериментальных значений, основанных на размере задачи и характеристиках GPU. Это может включать в себя постепенное увеличение числа потоков в блоке и блоков в сетке, пока не будет достигнута максимальная производительность. Этот метод может быть эффективным, но требует многократного тестирования и настройки.

#CUDA #ComputeUnifiedDeviceArchitecture #NVIDIA #highperformancecomputing #graphicsprocessingunits(GPU) #softwareplatform #developers #computationalcapabilities #imageprocessing #dataanalysis #machinelearning

https://boosty.to/denoise_lab/donate - поддержать наш канал

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_215

🔠 Какие методы могут использоваться для определения количества блоков и потоков в сетке? (Часть_2)

Анализ характеристик GPU: Изучение документации NVIDIA и характеристик конкретного GPU может дать представление о максимальном количестве потоков, которые могут одновременно выполняться, и о рекомендуемых размерах блоков и сетки. Например, многие современные GPU имеют архитектуру, которая оптимизирована для работы с определенным количеством потоков в блоке и блоков в сетке.

#CUDA #ComputeUnifiedDeviceArchitecture #NVIDIA #highperformancecomputing #graphicsprocessingunits(GPU) #softwareplatform #developers #computationalcapabilities #imageprocessing #dataanalysis #machinelearning

https://boosty.to/denoise_lab/donate - поддержать наш канал

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_215

🔠 Какие методы могут использоваться для определения количества блоков и потоков в сетке? (Часть_3)

Использование профилировщика CUDA: CUDA Profiler предоставляет детальную информацию о производительности и использовании ресурсов GPU. Он может помочь определить, как размер блока и сетки влияет на производительность и использование памяти, позволяя разработчикам оптимизировать эти параметры.

#CUDA #ComputeUnifiedDeviceArchitecture #NVIDIA #highperformancecomputing #graphicsprocessingunits(GPU) #softwareplatform #developers #computationalcapabilities #imageprocessing #dataanalysis #machinelearning

https://boosty.to/denoise_lab/donate - поддержать наш канал