✔️ Hugging Face выпустил OpenAI-Gradio.

OpenAI-Gradio предоставляет возможность создать веб-приложения с ИИ, используя всего несколько строк кода. Для запуска необходимо установить пакет из pip и указать OpenAI API KEY.

OpenAI-Gradio позволяет настраивать внешний вид и функциональность веб-приложений, используя возможности Gradio. Например, можно создавать пользовательские компоненты ввода и вывода, добавлять описания и примеры использования, а также интегрировать LLM в более крупные веб-интерфейсы Gradio.

OpenAI-Gradio поддерживает GPT-4-turbo, GPT-3.5-turbo и GPT-3.5-turbo-16k.

🖥 github

@machinelearning_interview

🌟 Гайдбук по оценке больших языковых моделей от Hugging Face

Hugging Face выложила на Github руководство по оценке LLM.

В нем собраны различные способы оценки модели, руководства по разработке собственных оценок, а также советы и рекомендации из практического опыта. В руководстве рассказывается о разных способах оценки: с помощью автоматических тестов, людей или других моделей.

Особое внимание уделяется тому, как избежать проблем с инференсом модели и сделать результаты одинаковыми. В руководстве есть советы о том, как сделать данные чистыми, как использовать шаблоны для общения с LLM и как анализировать неожиданные плохие результаты.

Если вы ничего не знаете об оценке и бенчмарках, вам следует начать с разделов Basics в каждой главе, прежде чем погружаться глубже. В разделе базовые знания вы также найдете пояснения, которые помогут вам разобраться в важных темах LLM: например, как работает инференс модели и что такое токенизация.

Более прикладными разделы: советы и рекомендации, устранение неполадок и разделы, посвященные дизайну.

▶️Оглавление:

🟢Автоматические бенчмарки
🟢Оценка человеком
🟢LLM-судья
🟢Устранение неполадок
🟢Базовые знания

📌 Планы на будущие гайды:

🟠Описание автоматических метрик;
🟠Какие основные моменты вы всегда должны учитывать при построении задачи;
🟠Зачем нужна оценка LLM;
🟠Почему сравнивать модели между собой - это сложно.

🖥Github

@ai_machinelearning_big_data

#AI #ML #LLM #Huggingface #Guide

🔥 scepter — это инструмент для разработки и развертывания моделей машинного обучения. Он предоставляет пользователям возможность быстро тестировать, настраивать и внедрять модели с использованием различных фреймворков и технологий

🌟 Scepter включает в себя поддержку распространенных рабочих процессов в машинном обучении, таких как подготовка данных, тренировка и оценка моделей. Это решение помогает ускорить цикл разработки и улучшить контроль над процессами обучения и развертывания моделей

🔐 Лицензия: Apache-2.0

📖 Arxiv: *клик*
▪️Github

@machinelearning_interview

🖥 Учебная программа SQL для дата-сайентистов

Эксперт с семилетним стажем в области дата-сайенс разработал пошаговую программу изучения SQL. Эта программа размещена в виде репозитория на GitHub и дополнена ссылками на обучающие материалы. Вот подробный план на шесть недель:

Неделя 1: Основы SQL
Узнаем, как извлекать данные из базы данных.

Неделя 2: GROUP BY
Рассмотрение группировки данных.

Неделя 3: Виды JOIN
Знакомство с различными типами соединений таблиц.

Неделя 4: Оконные функции
Изучение оконных функций для анализа данных.

Неделя 5: CTE и подзапросы
Понимание концепции временных таблиц и подзапросов.

Неделя 6: Собственный проект
Применение полученных знаний на практике через выполнение самостоятельного проекта.

Ссылки на все материалы доступны по следующей ссылке: Дорожная карта обучения SQL.

https://github.com/andresvourakis/free-6-week-sql-roadmap-data-science

@machinelearning_interview

🖥 Branch-Train-MiX — метод создания MoE-моделей. В его основе обучение нескольких одинаковых LLM на разных датасетах и агрегация предсказаний каждой модели во время инференса. NLP-специалисты подробно разобрали этот метод.

🔗 Прочитать разбор метода можно здесь: *клик*

@machinelearning_interview

✔️ Google переключается на атомную энергию для питания своих дата-центров с ИИ.

Google подписал соглашение с Kairos Power об использовании небольших ядерных реакторов для обеспечения энергией своих дата-центров, работающих на базе искусственного интеллекта.

Первые реакторы планируется запустить в течение этого десятилетия, а к 2035 году их количество будет увеличено. Google и Kairos Power не раскрывают финансовые детали сделки и места строительства новых электростанций.

Технологические компании все чаще обращаются к атомной энергии для обеспечения электропитанием огромных дата-центров, на которых основана работа ИИ. В прошлом месяце Microsoft заключила соглашение о возобновлении работы на ядерной электростанции Три-Майл-Айленд в США.
bbc.com

✔️ США рассматривают возможность ограничения экспорта чипов для ИИ от Nvidia и AMD в страны Персидского залива.

Цель - ограничить доступ к американским технологиям в интересах национальной безопасности США. Ограничения будут основаны на новой системе лицензирования экспорта чипов для центров обработки данных, которая была представлена в прошлом месяце.

Власти США обеспокоены растущим спросом на ЦОДы, работающие на основе ИИ, в странах Персидского залива, и их финансовыми возможностями. Новые правила могут потребовать от компаний сокращения связей с Китаем и странами залива в обмен на доступ к американским технологиям.
Nvidia пока не прокомментировала ситуацию.
finance.yahoo.com

✔️ Вице-президент Microsoft по ИИ переходит в OpenAI для работы над AGI.

Себастьян Бубек проработал в Microsoft десять лет, занимаясь разработкой малых языковых моделей. Несмотря на то, что Microsoft и OpenAI являются конкурентами в некоторых областях, Microsoft высоко оценила вклад Бубека и надеется на продолжение сотрудничества.

В OpenAI Бубек будет работать над достижением AGI. Эксперты отрасли полагают, что опыт Бубека поможет OpenAI в исследованиях и разработке языковых моделей, которые, несмотря на меньший, чем у AGI, масштаб, могут играть значительную роль в достижении этой цели.
bloomberg.com

✔️ Cognite выпускает отчет о сравнительном анализе языковых моделей для промышленных агентов.

Cognite, лидер в области ИИ для промышленности, представила отчет "Cognite Atlas AI™ LLM & SLM Benchmark Report for Industrial Agents" на мероприятии IMPACT 2024.

Это первый в своем роде отчет, который должен решить проблему несоответствия общих наборов данных для сравнительного анализа LLM и SLM в специфике промышленных задач. В отчете основное внимание уделено поиску на естественном языке в качестве ключевого инструмента извлечения данных для промышленных агентов ИИ.

Отчет будет доступен для бесплатной загрузки 28 октября 2024 года на официальном сайте Cognite.
businesswire.com

✔️ TSMC строит завод по производству чипов в Европе.

Министр науки и технологий Тайваня Ву Чэн-вэнь сообщил Bloomberg TV, что TSMC уже начала строительство своего первого завода по производству полупроводников в Дрездене и планирует строительство следующих заводов для различных секторов рынка.

Строительство завода в Дрездене началось в августе 2024 года, общая сумма инвестиций превысит 10 млрд евро, при этом проект получил 5 млрд евро государственных субсидий. Завод создается в партнерстве с Bosch, Infineon и NXP для удовлетворения потребностей европейской автомобильной и промышленной отрасли в полупроводниках.
euronews.com

@ai_machinelearning_big_data

#news #ai #ml

🔥 Бесплатный курс от Simplilearn, который знакомит пользователей с основами алгоритмов машинного обучения!

🌟 Этот курс охватывает различные методы машинного обучения, такие как регрессия, классификация, кластеризация и др., и предназначен для самостоятельного изучения. Курс включает лекции, видео и практические задания, что позволяет участникам изучить основные концепции и алгоритмы, применяемые в машинном обучении

🔗 Ссылка: *клик*

#курс #machinelearning

@machinelearning_interview

✔️ Релиз PyTorch 2.5.

Выпуск PyTorch® 2.5 представляет новый бэкэнд CuDNN для SDPA, обеспечивающий ускорение до 75% на GPU NVIDIA H100 и новее. Оно активировано по умолчанию.
Сокращено время холодного запуска torch.compile благодаря региональной компиляции, которая позволяет собирать nn.Module без перекомпиляции.

Бэкэнд TorchInductor CPP получил поддержку FP16, обертку CPP, режим AOT-Inductor и режим максимальной автонастройки.
В режиме максимальной автонастройки для GEMM-операций используется шаблон C++ в качестве альтернативы ATen с библиотеками oneDNN и MKL.

Поддержка Intel GPU расширена и теперь включает Intel® Data Center GPU Max Series и Intel® Client GPU.
Релиз включает 4095 коммитов от 504 участников.
pytorch.org

✔️ Anthropic обновила политику ответственного масштабирования ИИ, чтобы обеспечить безопасность по мере его развития.

Обновленная политика включает Стандарты уровня безопасности ИИ - набор мер безопасности, строгость которых возрастает по мере роста возможностей модели. Пороговые значения возможностей - это конкретные способности ИИ, достижение которых требует усиленных мер безопасности.

В новой версии определены два ключевых порога: автономные исследования в области ИИ и разработка оружия массового поражения. Для эффективного внедрения политики Anthropic разработала оценку возможностей, оценку мер безопасности, процессы документирования и принятия решений и меры для внутреннего управления и получения внешних заключений.
anthropic.com

✔️ Perplexity запускает поиск по внутренней базе знаний и рабочие пространства.

Perplexity запускает поиск по внутренней базе знаний и рабочие пространства.

Perplexity представляет две новые функции: поиск по внутренней базе знаний, который позволяет пользователям Pro и Enterprise Pro искать как в Интернет-контенте, так и в своих собственных внутренних базах знаний, и Perplexity Spaces - хабы для совместной работы на базе ИИ, которые можно настраивать под конкретные задачи.

Perplexity Spaces позволяют приглашать коллег, подключать внутренние файлы и настраивать ИИ-помощника. Функция поиска по внутренней базе знаний уже доступна клиентам Enterprise Pro.
perplexity.ai

✔️ OpenAI выпустила бета-версию приложение ChatGPT для Windows.

OpenAI представила предварительную версию приложения ChatGPT для Windows, предназначенного для пользователей ChatGPT Plus, Team, Enterprise и Edu.

Это ранняя версия "полноценного приложения", которое выйдет позже в этом году. Пользователи могут загружать файлы и фотографии, резюмировать документы и создавать изображения с помощью DALL-E 3. Есть ограничения: отсутствие поддержки голоса, включая расширенный голосовой режим, и некоторые интеграции с GPT Store.

Приложение предоставляет доступ ко всем моделям OpenAI, включая o1-preview.
techcrunch.com

✔️ Boston Dynamics и Toyota Research Institute объявили о партнерстве для исследований в робототехнике.

Boston Dynamics и Toyota Research Institute (TRI) объединят усилия, чтобы ускорить разработку роботов-гуманоидов общего назначения. Исследовательское партнерство будет использовать большие поведенческие модели TRI и робота Atlas от Boston Dynamics.

TRI - мировой лидер в быстром развитии больших поведенческих моделей (LBM) для робототехники. Партнерство, базирующееся в Бостоне, будет совместно возглавляться Скоттом Кейндерсмой, старшим директором по исследованиям в области робототехники в Boston Dynamics, и Рассом Тедрейком, вице-президентом по исследованиям в области робототехники в TRI.
pressroom.toyota.com

✔️ AMD сделает GPU NVIDIA "Эпичными".

AMD и NVIDIA, два главных производителя чипов, объединили свои усилия в сфере ИИ. Несмотря на конкуренцию, они пришли к совместному заключению, что их технологии дополняют друг друга. Процессоры AMD EPYC отлично работают в паре с NVIDIA GPU, увеличивая производительность при работе с большими моделями машинного обучения.

В результате сотрудничества, процессоры AMD EPYC будут интегрированы в системы NVIDIA HGX и MGX, чтобы оптимизировать производительность ИИ и ЦОДов.
analyticsindiamag.com

#news #ai #ml

@machinelearning_interview

🔍 Бесплатный курс «Вероятность для Data Science» знакомит вас с различными базовыми концепциями вероятности.

Курс поможет навыки работы с предельной вероятностью и объясняет теорему Байеса, которая рассматривает вероятность возникновения событий на основе возникновения других событий

🔗 Ссылка: *клик*

#курс #datascience

freecourses

🖥 Бесплатный учебник «Introduction to Python for Econometrics, Statistics and Data Analysis»!

🌟 Эта книга предоставляет введение в использование языка Python для эконометрики, статистики и анализа данных. Учебник подходит как для начинающих, так и для тех, кто уже знаком с Python, и охватывает такие темы, как работа с библиотеками NumPy, SciPy, Pandas и Matplotlib для анализа данных и визуализации

🔗 Ссылка: *клик*

@machinelearning_interview