Anaconda запускает AI Navigator: работа с ИИ-моделями локально на вашем компьютере

Позволяет локально запускать свыше 200 предобученных и проверенных командой Анаконды моделей без отправки данных в облако.

Пока только на Mac & Windows. Ждем Ubuntu.

Есть так же локальный API-сервер и встроенный чат.

Планы: расширение возможностей создания и обмена ИИ-агентами к 2025 году.

Фактически клон LM Studio, но с интеграцией в среды разработки.
Удобно.

Качаем тут

#Anaconda #AINavigator #GenerativeAI
———
@tsingular

Ещё одна наглядная демонстрация, как работает трансформер.

https://poloclub.github.io/transformer-explainer/

В коллекцию демок.

#demo #обучение #LLM
———
@tsingular

OpenAI добавила в ChatGPT мощный инструмент для работы над проектами — Canvas. Специальный интерфейс октрывается в отдельном окне и предлагает новые возможности при работе с кодом и текстами.

Главные фишки для кодинга:
– Редактирование полученного кода прямо в окне ответа;
– Код-ревью от алгоритма, исправление ошибок и комментирование;
– Моментальный перенос кода на другой язык программирования.

Возможности для написания текстов:
– Редактирование длины без нового промта;
– Регулирование стилей — сложность текста можно менять на ходу;
– Проверка текста на ошибки, понятность и логическую последовательность.

Canvas постепенно появляются у подписчиков ChatGPT Plus и Team. Владельцы бесплатных аккаунтов смогут попробовать «холсты» когда закончится бета-тестирование.

В марте 24-го люди, вестимо, думали, что это шутка. А походу нет...

Рубрика - управление железом.

Давным-давно, во времена Doom2 и DOS пользовались мы RAMdrive утилитами, размещая игру в диске в оперативке, чтобы, значит, загружалась она не 3 минуты, а 30 секунд.

И тут прям флэшбэк:

В общем, представьте, что у вас есть 1 видеокарта и 2-3 модели ИИ (текст, картинка и звук, допустим) и вам их нужно быстро переключать.

Решение "в лоб", - это загрузка с диска, но даже самый быстрый SSD вам даст, скажем, 10гигов в секунду на чтение, а модели у вас 20гигов (да, мало, но видеокарта, допустим больше не поместит за раз)

Получается, что на смену "обоймы" вам нужно около 3х секунд, что невероятно долго для пользователя.

Решение - разместить модели на виртуальном диске в оперативке.
Она-то явно быстрее, чем любой ССД.

Так вот, - Клод за 10 минут накидал 250 строк скрипта, который создаёт такой диск и сразу сервис под него, который пересоздает его при перезагрузке.
Оставлю в комментариях.

#RAMdrive #devops #linux
———
#tsingular

China Telecom обучает триллионную LLM на чипах Huawei

China Telecom разрабатывает две крупномасштабные языковые модели:
• TeleChat2-115B с более чем 100 млрд параметров
• Вторая модель (название пока не известно) приближается к 1 триллиону параметров

Обучение проводится на десятках тысяч отечественных (китайских) чипов, преимущественно от Huawei.

Huawei позиционируется как локальная альтернатива Nvidia и активно тестирует свой новый процессор Ascend 910C, которых, для примера, ByteDance (разработчики TikTok) уже заказали около 100тыс штук.

Курс на создание автономных решений инициирован в ответ на экспортные ограничения США на высокопроизводительные GPU.

#ChinaTelecom #Huawei #Китай
-------
@tsingular

Техногиганты возрождают атомную энергетику

Amazon, Microsoft и Google активно инвестируют в АЭС для питания своих дата-центров под ИИ.

Microsoft планирует перезапустить АЭС Three Mile Island к 2028 году. (об этом уже писали - https://t.me/tsingular/2414)

Теперь:
Amazon Web Services приобрела кампус, питаемый АЭС Susquehanna. (тоже, кстати, в Пенсильвании)

Билл Гейтс основал TerraPower для развития ядерных технологий.

В целом, минэнерго США прогнозирует трехкратный рост ядерных мощностей к 2050 году.

Интересный тренд.
Ладно электричество, - тут атом, - выход.
А вот, что, интересно, с теплом, - ведь сколько ты энергии потратил, столько тепла и нужно отвести, а названные локации совсем не Арктика.
Получается, что значительная часть мощности еще и на охлаждение пойдет. ⚡️

#Microsoft #Amazon #NuclearEnergy
-------
@tsingular

Много разных прогнозов,- заменит ИИ программистов или нет и когда.
Некоторых товарищей слушать бесполезно и не интересно. Как алармистов так и неолуддитов.
Но вот этих точно стоит.

https://youtu.be/oFfVt3S51T4?si=XDTWiwJAGEavQNff

Лекс Фридман и команда разработчиков Курсора,- среды разработки с ИИ.

UPD: Перевод в комментариях

#LexFridman #Cursor #dev
------
@tsingular

Эрик Шмидт: к чёрту климатическую повестку, - ИИ разберётся

Бывший CEO Google заявил, что приоритет следует отдать развитию ИИ, а не борьбе с изменением климата.

Бум ИИ увеличил энергопотребление дата-центров.
Прогнозируется, что к 2030 году они будут потреблять 35 гигаватт ежегодно!!!
Шмидт при этом полагает, что рост потребления энергии на ИИ превзойдет все экологические ограничения, и цели по защите климата не будут достигнуты из-за отсутствия координации.

Он предпочитает делать ставку на то, что ИИ сам решит проблему в будущем, вместо ограничения его развития сейчас через снижение энергопотребления.

АХхаха. Pedal to the metal! :) гонка энергетиков началась!

#EricSchmidt #datacenters #energy
-------
@tsingular

Microsoft обновляет курс по генеративному ИИ

Корпорация представила обновленную версию своего бесплатного онлайн-курса по генеративному искусственному интеллекту.
Программа включает 21 урок, охватывающий теорию и практику создания ИИ-приложений.
Материалы разделены на блоки 'Learn' и 'Build' с примерами на Python и TypeScript.
Курс знакомит с Azure OpenAI Service, GitHub Marketplace Model Catalog и OpenAI API.
Для прохождения требуются базовые знания программирования.
Весь контент доступен на GitHub с возможностью форка для личного использования.

Курс на английском в коллекцию.

#Microsoft #обучение #OnlineCourse
-------
@tsingular

Работа с realtime API.

Впечатляющая демка как можно работать с ИИ через АПИ реального времени.

Сам фреймворк на питоне крутится локально, дистанционно идут вызовы OpenAI RealtimeAPI.

Можно уже пилить своих "Джарвисов"/Алис/Гигачатов голосовых и т.д.
Ну и в принципе любое управление голосом.
Скачали фреймворк, подключили апи и вперёд.

#demo #realtimeapi #openai
———
@tsingular

OpenAI и Google строят мультидатацентровые ИИ

Ведущие AI-компании масштабируют обучение крупных моделей с одного сайта на несколько дата-центров.

Google уже обучал Gemini 1 Ultra, на нескольких локациях, планирует достичь гигаваттного масштаба к 2025.

OpenAI и Microsoft объединяют кампусы для распределенного обучения, решая проблемы синхронизации и отказоустойчивости.

Ключевые проблемы, которые приходится решать на данном этапе: задержка между регионами, незаметное повреждение данных и масштабирование до 100 000+ GPU (в ближайших планах 300тыс+ GPU).

Очень детальная статья про масштабы строительства, - рекомендую.
Планета постепенно превращается в один большой GPU 🌍🚀

#OpenAI #Microsoft #GPU #датацентры
-------
@tsingular

ну, все новое, - хорошо забытое старое :)

InternetRelayChat:
https://help.ubuntu.com/community/InternetRelayChat

Pidgin:
https://www.pidgin.im/

mIRC:
https://www.mirc.com/

#discord #IRC
———
@tsingular