Forwarded from Psy Eyes
Huggingface заколлабились с Ollama и теперь можно любую языковую модель (LLM), у которой на хабе есть GGUF от квантизации, запустить прямо в командной строке вбив строчку формата:
Можно попробовать на чём-то из этого:
На память команды знать не обязательно. Ловчей будет зайти в хабе на страницу интересующей модели, перейти в Quantizations, выбрать создателя кванта (ориентируйтесь по скачиваниям), нажать "скопировать" рядом с названием модели, а дальше в командной строке вбить
Также может понадобиться Ollama добавить в PATH, чтобы оно могло запускаться из любого места в командной строке. Для этого найдите куда приложение установлено (например нажав на иконке и открыв "расположение файла"). Это что-то вроде:
Сегодня в заголовках Nvidia с их тюном ламы, красиво светящимся на бенчах против последних моделей Claude и OpenAI. Просто GGUF весит 48 гб. Чтобы подрубить пожатый 1-битный и, возможно, нерепрезентативный квант, весящий 16 гигов и занимающий 20 ГБ VRAM, надо вбить:
Хотя мне конечно через командную строку общаться не близко. Нужен UI, чтоб можно было и чаты разные вести, и файлики свои подгружать, итд. Будет ништяк, если это подрубят в OpenWebUI с Artifacts, а то там сейчас список поддерживаемых моделей ограничен.
Анонс
Список LLM на хаггинге
ollama run hf.co/{username}/{repository}Можно попробовать на чём-то из этого:
ollama run hf.co/bartowski/Llama-3.2-1B-Instruct-GGUF
ollama run hf.co/mlabonne/Meta-Llama-3.1-8B-Instruct-abliterated-GGUF
ollama run hf.co/arcee-ai/SuperNova-Medius-GGUF
ollama run hf.co/bartowski/Humanish-LLama3-8B-Instruct-GGUF
На память команды знать не обязательно. Ловчей будет зайти в хабе на страницу интересующей модели, перейти в Quantizations, выбрать создателя кванта (ориентируйтесь по скачиваниям), нажать "скопировать" рядом с названием модели, а дальше в командной строке вбить
ollama run hf.co/ и вставить скопированное. Если нужна конкретная квантизация, например Q4_0, то она дописывается в конце рез двоеточие. LLM скачается и с ней можно будет общаться.Также может понадобиться Ollama добавить в PATH, чтобы оно могло запускаться из любого места в командной строке. Для этого найдите куда приложение установлено (например нажав на иконке и открыв "расположение файла"). Это что-то вроде:
C:\Users\PsyEyes\AppData\Local\Programs\Ollama. И в переменных среды найдите строчку Path » изменить » создайте новую строку и впишите в неё адрес.Сегодня в заголовках Nvidia с их тюном ламы, красиво светящимся на бенчах против последних моделей Claude и OpenAI. Просто GGUF весит 48 гб. Чтобы подрубить пожатый 1-битный и, возможно, нерепрезентативный квант, весящий 16 гигов и занимающий 20 ГБ VRAM, надо вбить:
ollama run hf.co/bartowski/Llama-3.1-Nemotron-70B-Instruct-HF-GGUF:IQ1_M
Хотя мне конечно через командную строку общаться не близко. Нужен UI, чтоб можно было и чаты разные вести, и файлики свои подгружать, итд. Будет ништяк, если это подрубят в OpenWebUI с Artifacts, а то там сейчас список поддерживаемых моделей ограничен.
Анонс
Список LLM на хаггинге
👍7
Media is too big
VIEW IN TELEGRAM
Короче тут такой лайфхак подъехал.
Промпт для создания презентаций через ИИ.
Попробовал его с Антропик Клодом, - с первого раза не получилось. После серии уточнений тоже никак. Т.е. Клод плохо знает VBA. Постоянные ошибки.
В OpenAI 4o - все получилось с первого запроса, но VBA не понимает русскую кодировку из копипаста, поэтому попросил переписать на английском.
Нужно включить режим разработчика в PowerPoint - Файл - Опции - Панель быстрого доступа - Набор команд разработчика - Редактор VBA перетащить вправо.
Дальше создаём модуль и туда вставляем код.
#Powerpoint #VBA #dev
———
@tsingular
Промпт для создания презентаций через ИИ.
Напиши мне код VBA для презентации на тему [ ВАША ТЕМА ] в [ N ] слайдах, не используя плейсхолдеры. {Сделай акцент на ****/ Любые ваши пожелания и дополнения}
Попробовал его с Антропик Клодом, - с первого раза не получилось. После серии уточнений тоже никак. Т.е. Клод плохо знает VBA. Постоянные ошибки.
В OpenAI 4o - все получилось с первого запроса, но VBA не понимает русскую кодировку из копипаста, поэтому попросил переписать на английском.
Нужно включить режим разработчика в PowerPoint - Файл - Опции - Панель быстрого доступа - Набор команд разработчика - Редактор VBA перетащить вправо.
Дальше создаём модуль и туда вставляем код.
#Powerpoint #VBA #dev
———
@tsingular
👍3
This media is not supported in your browser
VIEW IN TELEGRAM
Китайская гимнастика от Unitree G1
Робот компании Unitree Robotics (ex. Hangzhou Yushu Technology) G1, при росте всего 1.32 метра, может выполнять прыжок в длину с места на высоту до 1,4 метра, возможно, самый длинный прыжок, когда-либо совершенный гуманоидным роботом такого размера в мире.
Так же показали некоторые новые функции робота-собаки Go2.
Прыжки на месте, обход препятствий и обсуждение того, что видит собака с помощью встроенной мультимодальной модели.
Тачикомы когда уже ? :) Пора!
#Unitree #Китай #G1 #Go2 #robots
———
@tsingular
Робот компании Unitree Robotics (ex. Hangzhou Yushu Technology) G1, при росте всего 1.32 метра, может выполнять прыжок в длину с места на высоту до 1,4 метра, возможно, самый длинный прыжок, когда-либо совершенный гуманоидным роботом такого размера в мире.
Так же показали некоторые новые функции робота-собаки Go2.
Прыжки на месте, обход препятствий и обсуждение того, что видит собака с помощью встроенной мультимодальной модели.
Тачикомы когда уже ? :) Пора!
#Unitree #Китай #G1 #Go2 #robots
———
@tsingular
🆒4👍3👌3🔥1
AMD и NVIDIA объединяют технологии. Готовят фаталити для Интела?
AMD и NVidia заявили, что прекрасно дополняют друг друга в ИИ вычислениях, на 20% ускоряя обучение и на 15% инференс в связке CPU EPYC от AMD с NVIDIA H100.
(тесты на Llama 3.1)
Процессоры EPYC от AMD интегрируются в GPU-системы NVIDIA HGX и MGX, оптимизируя работу дата-центров.
При этом, параллельно AMD создают рабочую группу с Интел, для улучшения архитектуры х86.
Альянс ставит своей целью повышение эффективности и масштабируемости в сфере высокопроизводительных вычислений.
Похоже на подготовку перед поглощением. Рабочая группа по интеграции.
После того, что происходит на других рынках, - совсем не удивительно.
#AMD #NVIDIA #EPYC #Intel
-------
@tsingular
AMD и NVidia заявили, что прекрасно дополняют друг друга в ИИ вычислениях, на 20% ускоряя обучение и на 15% инференс в связке CPU EPYC от AMD с NVIDIA H100.
(тесты на Llama 3.1)
Процессоры EPYC от AMD интегрируются в GPU-системы NVIDIA HGX и MGX, оптимизируя работу дата-центров.
При этом, параллельно AMD создают рабочую группу с Интел, для улучшения архитектуры х86.
Альянс ставит своей целью повышение эффективности и масштабируемости в сфере высокопроизводительных вычислений.
Похоже на подготовку перед поглощением. Рабочая группа по интеграции.
После того, что происходит на других рынках, - совсем не удивительно.
#AMD #NVIDIA #EPYC #Intel
-------
@tsingular
👍4
ИИ-агент сгенерировал бизнес на $300млн. за 72 часа
$GOAT, мемкоин на Solana, взлетел с $5K до $300M за 4 дня.
Причина: слухи о причастности ИИ-бота Truth Terminal, поддержанного Andreessen Horowitz.
Truth Terminal, обученный на Reddit и 4chan, создал 'Евангелие Goatse' - микс религии и мемов.
Токен запущен на Pump.fun третьей стороной, на базе контента бота.
Марк Андрессен выделил $50,000 на развитие Truth Terminal.
ИИ-агент интегрировал $GOAT в свою 'личность', борясь с фейковыми версиями.
Сейчас Truth Terminal владеет $GOAT на сумму $548,000.
Невероятная история. как бот сгенерил бизнес на $150млн. за 72 часа.
На момент публикации капитализация коина уже $300млн
🤖💰
#GOAT #TruthTerminal #Solana
-------
@tsingular
$GOAT, мемкоин на Solana, взлетел с $5K до $300M за 4 дня.
Причина: слухи о причастности ИИ-бота Truth Terminal, поддержанного Andreessen Horowitz.
Truth Terminal, обученный на Reddit и 4chan, создал 'Евангелие Goatse' - микс религии и мемов.
Токен запущен на Pump.fun третьей стороной, на базе контента бота.
Марк Андрессен выделил $50,000 на развитие Truth Terminal.
ИИ-агент интегрировал $GOAT в свою 'личность', борясь с фейковыми версиями.
Сейчас Truth Terminal владеет $GOAT на сумму $548,000.
Невероятная история. как бот сгенерил бизнес на $150млн. за 72 часа.
На момент публикации капитализация коина уже $300млн
🤖💰
#GOAT #TruthTerminal #Solana
-------
@tsingular
👏5👍4
Всем картинок :)
Поднял на локальном сервере генератор.
Теперь в бесплатном боте
@ai_gptfreebot - бесплатные картинки.
Команда:
/image что хотите нарисовать
На 1 картинку уходит от 1 до 3х минут. Так что наберитесь терпения :)
Бесплатно оно только так пока.
Между тем, если возникнет желание поддержать проект, - всегда пожалуйста:
https://pay.cloudtips.ru/p/c8960bbb
#боты #dev
———
@tsingular
Поднял на локальном сервере генератор.
Теперь в бесплатном боте
@ai_gptfreebot - бесплатные картинки.
Команда:
/image что хотите нарисовать
На 1 картинку уходит от 1 до 3х минут. Так что наберитесь терпения :)
Бесплатно оно только так пока.
Между тем, если возникнет желание поддержать проект, - всегда пожалуйста:
https://pay.cloudtips.ru/p/c8960bbb
#боты #dev
———
@tsingular
👏9👍5
6G превзошла 5G в 9000 раз: достигнута скорость 938 Гбит/с
В тестах удалось передать данные со скоростью 938 Гбит/с, что в 9000 раз быстрее среднего 5G-соединения.
Эксперимент проводился для оценки потенциала будущих сетей 6G.
Использован спектр частот от 5 до 150 ГГц, и комбинация высокоскоростной электроники и микроволновой фотоники.
Параллельно японские компании разработали устройство 6G, передающее данные со скоростью 100 Гбит/с на расстояние 100 метров.
Практическое внедрение пока еще на этапе планирования.
Фильмы можно будет качать со скоростью 20 Full-HD фильмов в секунду :) ! 🍿🚀
#6G #wireless #сети
-------
@tsingular
В тестах удалось передать данные со скоростью 938 Гбит/с, что в 9000 раз быстрее среднего 5G-соединения.
Эксперимент проводился для оценки потенциала будущих сетей 6G.
Использован спектр частот от 5 до 150 ГГц, и комбинация высокоскоростной электроники и микроволновой фотоники.
Параллельно японские компании разработали устройство 6G, передающее данные со скоростью 100 Гбит/с на расстояние 100 метров.
Практическое внедрение пока еще на этапе планирования.
Фильмы можно будет качать со скоростью 20 Full-HD фильмов в секунду :) ! 🍿🚀
#6G #wireless #сети
-------
@tsingular
👍42🔥14
Forwarded from Сергей Булаев AI 🤖
Уровень GPT-4 достигнут уже 9-ю компаниями. Такая жёсткая конкуренция на нашем рынке очень позитивна. Все толкаются как никогда развивая ИИ для нас.
Сергей Булаев AI 🤖 - об AI и не только
Сергей Булаев AI 🤖 - об AI и не только
👍14
Эмбеддинг документов с контекстом
Предлагается новый метод сохранения эмбеддингов документов, учитывающий соседние тексты при создании векторных представлений.
В данном подходе используется двухэтапная архитектура: сбор контекста и встраивание документа с дополнительными контекстными токенами.
Результат позволяет получить достаточно высокие показатели на бенчмарках MTEB и BEIR, особенно в узкоспециализированных доменах.
Метод улучшает не только поиск, но и кластеризацию, классификацию и оценку семантического сходства текстов.
Самурай с мечом подобен самураю без меча, но с мечом. :)
Если вспомнить подход Антропика с подготовкой чанков по контексту документа, то это получается следующий шаг.
Чанки готовим с контекстом документа и со ссылками на контексты вне документа, но которые относятся к рассматриваемому параграфу.
Скорость эмбеддинга, вероятно, упадёт на порядок, ну или потребует больше ресурсов, однако качество эмбеддинга станет идеальным.
#NLP #Embeddings #эмбеддинги
-------
@tsingular
Предлагается новый метод сохранения эмбеддингов документов, учитывающий соседние тексты при создании векторных представлений.
В данном подходе используется двухэтапная архитектура: сбор контекста и встраивание документа с дополнительными контекстными токенами.
Результат позволяет получить достаточно высокие показатели на бенчмарках MTEB и BEIR, особенно в узкоспециализированных доменах.
Метод улучшает не только поиск, но и кластеризацию, классификацию и оценку семантического сходства текстов.
Самурай с мечом подобен самураю без меча, но с мечом. :)
Если вспомнить подход Антропика с подготовкой чанков по контексту документа, то это получается следующий шаг.
Чанки готовим с контекстом документа и со ссылками на контексты вне документа, но которые относятся к рассматриваемому параграфу.
Скорость эмбеддинга, вероятно, упадёт на порядок, ну или потребует больше ресурсов, однако качество эмбеддинга станет идеальным.
#NLP #Embeddings #эмбеддинги
-------
@tsingular
👍4
IBM представляет Granite 3.0: открытые ИИ-модели для бизнеса
Компания IBM выпустила семейство ИИ-моделей Granite 3.0 под открытой лицензией Apache 2.0.
Модели обучены на 12+ триллионах токенов данных, включая 12 языков и 116 языков программирования.
Granite 3.0 превосходит аналоги в академических и отраслевых тестах.
Представлены варианты 8B и 2B, а также Mixture of Experts (MoE) для легковесных приложений.
Так же есть модель-модератор Granite Guardian для задач по безопасности и этике ИИ.
Доступны в WatsonX, AWS, Google Cloud, а так же в GitHub и HuggingFace.
#IBM #Granite #OpenSource
-------
@tsingular
Компания IBM выпустила семейство ИИ-моделей Granite 3.0 под открытой лицензией Apache 2.0.
Модели обучены на 12+ триллионах токенов данных, включая 12 языков и 116 языков программирования.
Granite 3.0 превосходит аналоги в академических и отраслевых тестах.
Представлены варианты 8B и 2B, а также Mixture of Experts (MoE) для легковесных приложений.
Так же есть модель-модератор Granite Guardian для задач по безопасности и этике ИИ.
Доступны в WatsonX, AWS, Google Cloud, а так же в GitHub и HuggingFace.
#IBM #Granite #OpenSource
-------
@tsingular
Forwarded from эйай ньюз
Эквивалент GPT-2 Small теперь тренируют за 12 минут
Тюнинг процесса тренировки и архитектуры сократил количество токенов до определённого лосса почти в 4 раза - на 8xH100 тренировка занимает чуть больше 12 минут и стоит меньше 5 долларов.
➖ Поменяли функцию активации на relu^2, а норму - на RMSNorm.
➖ Новый оптимайзер - Muon. Использует меньше памяти, чем Adam, при этом тренируется в полтора раза быстрее по сравнению с Adam. Правда, использует чуть больше компьюта на степ (wallclock падает меньше чем на 2 процента).
➖ Projection matrices инициализируют теперь нулями.
➖ Добавили норму к QK-проекциям.
➖ Паддят эмбеддинг-матрицу до размерности, кратной 64.
Пока полный сетап тестили только на 125M модели, оптимайзер - на моделях до 1.5B. Учитывайте, что трюки для маленьких моделек часто не реплицируются при скейле, но экстремальная оптимизация всё равно полезная.
Код для тренировки, кстати, всего 500 строк.
https://github.com/KellerJordan/modded-nanogpt
@ai_newz
Тюнинг процесса тренировки и архитектуры сократил количество токенов до определённого лосса почти в 4 раза - на 8xH100 тренировка занимает чуть больше 12 минут и стоит меньше 5 долларов.
➖ Поменяли функцию активации на relu^2, а норму - на RMSNorm.
➖ Новый оптимайзер - Muon. Использует меньше памяти, чем Adam, при этом тренируется в полтора раза быстрее по сравнению с Adam. Правда, использует чуть больше компьюта на степ (wallclock падает меньше чем на 2 процента).
➖ Projection matrices инициализируют теперь нулями.
➖ Добавили норму к QK-проекциям.
➖ Паддят эмбеддинг-матрицу до размерности, кратной 64.
Пока полный сетап тестили только на 125M модели, оптимайзер - на моделях до 1.5B. Учитывайте, что трюки для маленьких моделек часто не реплицируются при скейле, но экстремальная оптимизация всё равно полезная.
Код для тренировки, кстати, всего 500 строк.
https://github.com/KellerJordan/modded-nanogpt
@ai_newz
❤2
А вот эта история выше - огонь.
Собственно это пусть к переводу знаний модели из сознания в подсознание.
Тренировка вот таких быстрых мини моделей на выводах, которые ИИ модель делает в реальном времени и будут составлять суть механизма роя нейронов.
#нейророй #самообучение
------
@tsingular
Собственно это пусть к переводу знаний модели из сознания в подсознание.
Тренировка вот таких быстрых мини моделей на выводах, которые ИИ модель делает в реальном времени и будут составлять суть механизма роя нейронов.
#нейророй #самообучение
------
@tsingular
🔥4
This media is not supported in your browser
VIEW IN TELEGRAM
Китайская компания Kepler представляет нового робота - Forerunner K2
На GITEX GLOBAL 2024 Kepler Robotics анонсировала Forerunner K2 - полноразмерного гуманоида общего назначения.
Forerunner K2 проходит тестирование у клиентов в реальных условиях и выполняет такие задачи, как контроль качества на производстве, перемещение грузов, патрулирование и взаимодействие с опасными материалами.
Роботы-гуманоиды становятся привычными на заводах и в рабочей среде.
#Kepler #Forerunner #роботы #Китай
———
@tsingular
На GITEX GLOBAL 2024 Kepler Robotics анонсировала Forerunner K2 - полноразмерного гуманоида общего назначения.
Forerunner K2 проходит тестирование у клиентов в реальных условиях и выполняет такие задачи, как контроль качества на производстве, перемещение грузов, патрулирование и взаимодействие с опасными материалами.
Роботы-гуманоиды становятся привычными на заводах и в рабочей среде.
#Kepler #Forerunner #роботы #Китай
———
@tsingular
👍9✍7🤔3
Gartner опубликовал 10 трендов 2025 года
Аналитическая компания представила прогноз по десятке ключевых технологических направлений:
1. Агентный ИИ: автономные системы с самостоятельным принятием решений.
2. Управление ИИ: фреймворки для контроля этичного и легального использования искусственного разума.
3. Борьба с дезинформацией: механизмы противодействия фейкам.
4. Постквантовая криптография: шифрование нового поколения.
5. Распределённый интеллект: внедрение сенсоров и умных систем в окружающую среду.
6. Экологичные вычисления: энергоэффективные технологии. (АЭС? :) )
7. Гибридные дата-центры: симбиоз различных вычислительных подходов.
8. Пространственные вычисления: развитие VR/AR и смешанной реальности.
9. Многозадачные роботы: роботы способные выполнять универсальные задачи.
10. Нейротехнологии: интерфейсы мозг-компьютер для когнитивного апгрейда.
Ещё пара лет и будем обсуждать права электронных граждан. 🤖🤝
#Gartner #TechTrends #FutureTech
-------
@tsingular
Аналитическая компания представила прогноз по десятке ключевых технологических направлений:
1. Агентный ИИ: автономные системы с самостоятельным принятием решений.
2. Управление ИИ: фреймворки для контроля этичного и легального использования искусственного разума.
3. Борьба с дезинформацией: механизмы противодействия фейкам.
4. Постквантовая криптография: шифрование нового поколения.
5. Распределённый интеллект: внедрение сенсоров и умных систем в окружающую среду.
6. Экологичные вычисления: энергоэффективные технологии. (АЭС? :) )
7. Гибридные дата-центры: симбиоз различных вычислительных подходов.
8. Пространственные вычисления: развитие VR/AR и смешанной реальности.
9. Многозадачные роботы: роботы способные выполнять универсальные задачи.
10. Нейротехнологии: интерфейсы мозг-компьютер для когнитивного апгрейда.
Ещё пара лет и будем обсуждать права электронных граждан. 🤖🤝
#Gartner #TechTrends #FutureTech
-------
@tsingular
👍3⚡2
Microsoft открыла возможность создавать автономных ИИ-агентов
В CopilotStudio теперь можно без навыков программирования создавать автономных ИИ-помощников на основе моделей Microsoft и OpenAI, способных выполнять широкий спектр бизнес-задач.
10 готовых ботов с различными бизнес-функциями уже доступны в среде разработки.
Сатья Наделла, при этом заявил, что последние годы мы обгоняем закон Мура и вычислительные мощности теперь удваивается не каждые 18, а каждые 6 месяцев.
В принципе, можно вывести следствие закона Мура - % профессий, замещаемых ИИ каждые 6 месяцев будет удваиваться.
#Microsoft #Copilot #AutonomousAgents
-------
@tsingular
В CopilotStudio теперь можно без навыков программирования создавать автономных ИИ-помощников на основе моделей Microsoft и OpenAI, способных выполнять широкий спектр бизнес-задач.
10 готовых ботов с различными бизнес-функциями уже доступны в среде разработки.
Сатья Наделла, при этом заявил, что последние годы мы обгоняем закон Мура и вычислительные мощности теперь удваивается не каждые 18, а каждые 6 месяцев.
В принципе, можно вывести следствие закона Мура - % профессий, замещаемых ИИ каждые 6 месяцев будет удваиваться.
#Microsoft #Copilot #AutonomousAgents
-------
@tsingular
❤4
Anthropic обновили Соннет и Хайку!
Представлены модернизированный Claude 3.5 Sonnet (claude-3-5-sonnet-20241022) и новая модель Claude 3.5 Haiku (The new Claude 3.5 Haiku will be released later this month.😢 ).
Также добавили новую возможность в бета-версии: использование компьютера.
Разработчики теперь могут поручить Клоду использовать компьютеры так, как это делают люди — глядя на экран, перемещая курсор, щелкая мышью и печатая текст.
Демо
Инструкция для разрабов
Опус зажали до Рождества, что-ли?! :(
#Anthropic #Claude
------
@tsingular
Представлены модернизированный Claude 3.5 Sonnet (claude-3-5-sonnet-20241022) и новая модель Claude 3.5 Haiku (The new Claude 3.5 Haiku will be released later this month.
Также добавили новую возможность в бета-версии: использование компьютера.
Разработчики теперь могут поручить Клоду использовать компьютеры так, как это делают люди — глядя на экран, перемещая курсор, щелкая мышью и печатая текст.
Демо
Инструкция для разрабов
Опус зажали до Рождества, что-ли?! :(
#Anthropic #Claude
------
@tsingular
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3⚡1
HuggingChat: бесплатный открытый веб-чат с моделями и агентами от HuggingFace
Команда Hugging Face выпустила HuggingChat - гибкую альтернативу ChatGPT.
На сегодня поддерживает 8 различных открытых моделей, включая Mistral, Llama, Qwen и Nvidia Nemotron 70B.
Можно включить веб-поиск, создать своих ассистентов или подключить готовых.
Да и в принципе, по-скольку решение основано на миллионах тулов от сообщества HF, - его можно расширять: генерация изображений, клонирование голоса, анализ документов, - все это подключается на платформе.
https://huggingface.co/chat/
Не требует регистрации для базового использования.
VPN тоже не нужен.
#HuggingFace #OpenSource #Chatbot
-------
@tsingular
Команда Hugging Face выпустила HuggingChat - гибкую альтернативу ChatGPT.
На сегодня поддерживает 8 различных открытых моделей, включая Mistral, Llama, Qwen и Nvidia Nemotron 70B.
Можно включить веб-поиск, создать своих ассистентов или подключить готовых.
Да и в принципе, по-скольку решение основано на миллионах тулов от сообщества HF, - его можно расширять: генерация изображений, клонирование голоса, анализ документов, - все это подключается на платформе.
https://huggingface.co/chat/
Не требует регистрации для базового использования.
VPN тоже не нужен.
#HuggingFace #OpenSource #Chatbot
-------
@tsingular
👍10🔥1
Добавил в бота Claude последнюю модель Sonnet 3.5.
Сонет от Соннета.
Без изменений с одного запроса.
#боты #dev
———
@tsingular
"Осенний сонет"
В багряном золоте осенняя пора,
Листва кружится в танце безмятежном,
И ветер шепчет песню безнадежно,
Как будто знает - близится зима.
Природа дремлет, красками пьяна,
В прощальном вальсе кружится небрежно,
И солнце светит ласково и нежно,
Как будто бы прощается она.
Последний луч скользит по глади вод,
Рисуя в них узоры листопада,
И птичий клин уходит в небосвод.
А сердце бьется тише, и отрада
В душе растет, когда природа ждет
Покоя зимнего как высшую награду.
Сонет от Соннета.
Без изменений с одного запроса.
#боты #dev
———
@tsingular
👍9❤🔥3
Forwarded from Малоизвестное интересное
Кай-Фу Ли объявил войну Nvidia и всей ИИ-экосистеме США.
И судя по его последним достижениям, шансы победить есть.
Потрясающе интересное выступление китайского ИИ гуру Кай-Фу Ли будут теперь долго обсуждать. Это абсолютно революционное выступление, прозвучавшее на закрытой дискуссии Collective[i] Forecast, Ли посвятил трем темам.
1. ИИ-экосистема США (основа мировой ИИ-экосистемы) «невероятно больна». Её необходимо кардинально перестроить, иначе на реальном (практическом) прогрессе ИИ можно ставить крест.
Сегодня ИИ-экосистема состоит из Nvidia и мелких производителей ИИ чипов. При этом производители чипов для ИИ зарабатывают сейчас в год $75 млрд, а вендоры ИИ-инфраструктуры – лишь $10 млрд и вендоры ИИ-приложений — лишь $5 млрд».
«Если мы продолжим работать в этой перевернутой пирамиде, это станет проблемой» — сказал Ли. Т.к. это беспрецедентный переворот в экономике классической технологической отрасли. Традиционно производители приложений получают больше, чем поставщики чипов и систем (напр. Salesforce, внедряя CRM, получает куда больше, чем Dell и Intel, производящие компьютеры и чипы для запуска CRM в облаке)
Оздоровить ИИ-экосистему может лишь создание ИИ-компаниями собственных вертикальных интегрированных технологических стеков, как это сделала Apple с iPhone. Только так станет возможным значительно снизить стоимость генеративного ИИ.
2. Главным направление в разработке моделей должно стать снижение стоимости вывода – это самое важное для создания востребованных бизнесом приложений с ИИ.
Сегодняшняя стандартная стоимость сервиса типа GPT-4 составляет $4,40 за млн токенов. Это эквивалентно 57 центам за запрос —и это непростительно дорого, ибо поисковый запрос в Google (без всякого ИИ) обойдется в 180 раз дешевле.
3. Вторым важнейшим направлением в разработке моделей должен стать переход от универсальных базовых моделей к «экспертным моделям».
Бизнесу нужны не универсальные модели, обученные на океанах неразмеченных данных, собранных из Интернета и других источников. Подход «экспертных моделей» подразумевает создание множества нейронок, обученных на отраслевых данных. Это может обеспечить достижение того же уровня «интеллекта», что и универсальная базовая модель, при использовании гораздо меньшей вычислительной мощности.
Самое потрясающее, что все 3 пункта – это не предложения, основанные на предположениях. Стартап Кай-Фу Ли «01.ai» уже делает все это на практике.
И не просто делает, а уже добивается уникальных результатов.
• Их новая модель Yi-Lightning занимает 6-е место в мире (выше выпущенной 5 мес назад GPT-4o). Но при этом это очень маленькая модель, которая чрезвычайно быстра и недорога (всего $0,14 за млн токенов ). Её производительность сопоставима с Grok-2. Но она обучалась всего на 2000 H100 в течение 1 месяца. Что демонстрирует ненужность 100 тыс H100 и ярдов затрат (обучение Yi-Lightning стоило всего $3 млн).
• 01.ai применяет «экспертный» подход к сбору данных. И хотя «инженерам приходится проводить массу неблагодарной черновой работы» по маркировке и ранжированию данных, но – как считает Ли, - Китай с его резервом дешевых инженерных кадров может сделать это лучше, чем США.
• И даже в создании собственного вертикального интегрированного техно-стека есть прогресс. Напр, за счет использования собственных аппаратных инноваций, стоимость одного запроса к ИИ-поисковику BeaGo составляет всего около 1 цента (что приблизилось к стоимости запроса Google без всякого ИИ)
И еще 3 цитаты Ли:
Сила Китая не в том, чтобы делать лучшие прорывные исследования, которые никто не делал раньше, с бюджетом без ограничений. Сила Китая в том, чтобы построить хорошо, быстро, надежно и при этом дешево.
Для предприятий новое поколение ИИ станет их мозгом, а не периферийными приблудами. Для нефтяных компании ИИ будет добывать нефть. Для финансовых — зарабатывать на деньгах.
Для потребителей сегодняшняя модель смартфона, скорее всего, исчезнет.
А ведь еще 1.5 года назад Ли предупреждал - Китай не станет догонять США в ИИ, а сразу пойдет на обгон.
#ИИгонка #Китай
И судя по его последним достижениям, шансы победить есть.
Потрясающе интересное выступление китайского ИИ гуру Кай-Фу Ли будут теперь долго обсуждать. Это абсолютно революционное выступление, прозвучавшее на закрытой дискуссии Collective[i] Forecast, Ли посвятил трем темам.
1. ИИ-экосистема США (основа мировой ИИ-экосистемы) «невероятно больна». Её необходимо кардинально перестроить, иначе на реальном (практическом) прогрессе ИИ можно ставить крест.
Сегодня ИИ-экосистема состоит из Nvidia и мелких производителей ИИ чипов. При этом производители чипов для ИИ зарабатывают сейчас в год $75 млрд, а вендоры ИИ-инфраструктуры – лишь $10 млрд и вендоры ИИ-приложений — лишь $5 млрд».
«Если мы продолжим работать в этой перевернутой пирамиде, это станет проблемой» — сказал Ли. Т.к. это беспрецедентный переворот в экономике классической технологической отрасли. Традиционно производители приложений получают больше, чем поставщики чипов и систем (напр. Salesforce, внедряя CRM, получает куда больше, чем Dell и Intel, производящие компьютеры и чипы для запуска CRM в облаке)
Оздоровить ИИ-экосистему может лишь создание ИИ-компаниями собственных вертикальных интегрированных технологических стеков, как это сделала Apple с iPhone. Только так станет возможным значительно снизить стоимость генеративного ИИ.
2. Главным направление в разработке моделей должно стать снижение стоимости вывода – это самое важное для создания востребованных бизнесом приложений с ИИ.
Сегодняшняя стандартная стоимость сервиса типа GPT-4 составляет $4,40 за млн токенов. Это эквивалентно 57 центам за запрос —и это непростительно дорого, ибо поисковый запрос в Google (без всякого ИИ) обойдется в 180 раз дешевле.
3. Вторым важнейшим направлением в разработке моделей должен стать переход от универсальных базовых моделей к «экспертным моделям».
Бизнесу нужны не универсальные модели, обученные на океанах неразмеченных данных, собранных из Интернета и других источников. Подход «экспертных моделей» подразумевает создание множества нейронок, обученных на отраслевых данных. Это может обеспечить достижение того же уровня «интеллекта», что и универсальная базовая модель, при использовании гораздо меньшей вычислительной мощности.
Самое потрясающее, что все 3 пункта – это не предложения, основанные на предположениях. Стартап Кай-Фу Ли «01.ai» уже делает все это на практике.
И не просто делает, а уже добивается уникальных результатов.
• Их новая модель Yi-Lightning занимает 6-е место в мире (выше выпущенной 5 мес назад GPT-4o). Но при этом это очень маленькая модель, которая чрезвычайно быстра и недорога (всего $0,14 за млн токенов ). Её производительность сопоставима с Grok-2. Но она обучалась всего на 2000 H100 в течение 1 месяца. Что демонстрирует ненужность 100 тыс H100 и ярдов затрат (обучение Yi-Lightning стоило всего $3 млн).
• 01.ai применяет «экспертный» подход к сбору данных. И хотя «инженерам приходится проводить массу неблагодарной черновой работы» по маркировке и ранжированию данных, но – как считает Ли, - Китай с его резервом дешевых инженерных кадров может сделать это лучше, чем США.
• И даже в создании собственного вертикального интегрированного техно-стека есть прогресс. Напр, за счет использования собственных аппаратных инноваций, стоимость одного запроса к ИИ-поисковику BeaGo составляет всего около 1 цента (что приблизилось к стоимости запроса Google без всякого ИИ)
И еще 3 цитаты Ли:
Сила Китая не в том, чтобы делать лучшие прорывные исследования, которые никто не делал раньше, с бюджетом без ограничений. Сила Китая в том, чтобы построить хорошо, быстро, надежно и при этом дешево.
Для предприятий новое поколение ИИ станет их мозгом, а не периферийными приблудами. Для нефтяных компании ИИ будет добывать нефть. Для финансовых — зарабатывать на деньгах.
Для потребителей сегодняшняя модель смартфона, скорее всего, исчезнет.
А ведь еще 1.5 года назад Ли предупреждал - Китай не станет догонять США в ИИ, а сразу пойдет на обгон.
#ИИгонка #Китай
👌6⚡2👍2
Nvidia представляет фреймворк для агентного ИИ
Агентный ИИ,- не просто чат-бот, но способен сам принимать решения и планировать свои шаги.
Выделяют 4 основных шага:
1. Сбор информации, - ИИ используется чтобы получить максимальный контекст из окружения или из RAG.
2. Обоснование, - ИИ работает как оркестратор или машина рассуждений, координирующая всю логику.
3. Действия, - Приведение плана в реальность через различные интегрированные инструменты.
4. Выводы, - Агентный ИИ самосовершенствуется через механизм обратной связи.
https://www.nvidia.com/en-us/ai-data-science/ai-workflows/
Основные сферы применения: клиентский сервис, маркетинг, разработка ПО и медицина.
Статистика показывает экономию до 3 часов при создании контента и потенциальную автоматизацию 30% времени разработчиков к 2030 году.
Правильный шаг. Создавать таких агентов малому бизнесу дорого и готовые решения тут точно помогут.
Вопрос лишь в том, - стоит ли подсаживаться на проприетарные фреймворки или смотреть в сторону открытых.
#NVIDIA #автономныеагенты
-------
@tsingular
Агентный ИИ,- не просто чат-бот, но способен сам принимать решения и планировать свои шаги.
Выделяют 4 основных шага:
1. Сбор информации, - ИИ используется чтобы получить максимальный контекст из окружения или из RAG.
2. Обоснование, - ИИ работает как оркестратор или машина рассуждений, координирующая всю логику.
3. Действия, - Приведение плана в реальность через различные интегрированные инструменты.
4. Выводы, - Агентный ИИ самосовершенствуется через механизм обратной связи.
https://www.nvidia.com/en-us/ai-data-science/ai-workflows/
Основные сферы применения: клиентский сервис, маркетинг, разработка ПО и медицина.
Статистика показывает экономию до 3 часов при создании контента и потенциальную автоматизацию 30% времени разработчиков к 2030 году.
Правильный шаг. Создавать таких агентов малому бизнесу дорого и готовые решения тут точно помогут.
Вопрос лишь в том, - стоит ли подсаживаться на проприетарные фреймворки или смотреть в сторону открытых.
#NVIDIA #автономныеагенты
-------
@tsingular
❤1🔥1