Reflection 70B: новый лидер открытых ИИ-моделей (нет :))

Компания HyperWrite ( https://x.com/mattshumer_ ) презентовала Reflection 70B - новую открытую LLM.
Основана на Llama 3.1-70B Instruct, но с добавлением механизма самооценки и самокоррекции (Reflection).

Уникальность Reflection 70B заключается в способности распознавать и исправлять собственные ошибки благодаря методу "reflection tuning".

Модель демонстрирует превосходство над аналогами в тестах и готовится к интеграции в основной продукт HyperWrite.

В планах компании - выпуск еще более мощной версии Reflection 405B.

Больше мощных открыток! Где на это видеокарт только взять?!

Error: The model mattshumer/Reflection-Llama-3.1-70B is too large to be loaded automatically (282GB > 10GB). Please use Spaces

Полный размер - 282GB это примерно 12 карт 4090.
т.е. дома только в урезанном виде можно запустить.

Мне кажется даже если NVidia не будет выпускать новый камень для видеокарт, а просто выпустит что-то вроде AI Edition 4090 с 64Gb - их сметут.
Ну потому что 5 видеокарт можно как-то разместить в формате майнинг-фермы и Reflection в неё влезет тогда

Для 405B варианта понадобится 1,7Tb Видеопамяти!
Помянем.

UPD: Сам Reflection похоже оказался скамом и выливается в скандал. Детали в камментах.

Что не отменяет общей картины с требованиям моделей к железу.

#HyperWrite #ReflectionAI #OpenSourceAI
-------
@tsingular

Roblox создаёт ИИ для мгновенного построения 3D-миров

Платформа Roblox анонсировала разработку генеративного ИИ для создания 3D-окружений.
Инструмент позволит формировать целые локации с помощью текстовых запросов.
Технология работает через "токенизации" 3D-блоков, подобно языковым моделям.
Для обучения используются пользовательские и внешние данные.
Дополнительная ИИ-модель проверит логическую согласованность на основе 2D-информации. (карты?)

Roblox планирует сделать 3D-модель открытой для модификаций.

ОК, Roblox, построй мне карту местности, дополни последними снимками с дрона.
Только в игровых целях, конечно.

#Roblox #3D #generativeAI
-------
@tsingular

Исследование ИИ рынка от Saphire Ventures.

Если кратко, - мы катимся в долину разочарований по Гартнеру.
Акции проходят коррекцию, много кадровых перестановок, выход новых моделей и продуктов задерживается.
При этом уровень инвестиций растёт, так что в долгосрочную перспективу вера есть.

Сам отчёт в комментарии.

#markestudy #отчет
———
@tsingular

CircuitNet: Инновационная нейросеть, воспроизводящая структуру мозга

Учёные представили CircuitNet - нейронную архитектуру, имитирующую нейронные цепи мозга.
Основа сети - Circuit Motif Unit (CMU), блок плотно связанных нейронов с обратными и латеральными соединениями.
CircuitNet превосходит популярные модели в аппроксимации функций, классификации изображений и обучении с подкреплением.
Архитектура использует меньше параметров, чем традиционные сети, сохраняя высокую эффективность.
Эксперименты показывают преимущество CircuitNet над MLP и сопоставимые результаты с ResNet, ViT и трансформерами.

Похоже на вариацию ансамбля малых моделей.
Вообще при избытке мощностей поставить на роль каждого нейрона или их группы отдельную LLM, - идея огонь!
Ну по-сути тот же самый рой 🧠💻

#CircuitNet #NeuralNetworks #BrainInspired
-------
@tsingular

IBC 2024: ИИ завоёвывает медиаиндустрию

Есть такая ежегодная конференция в Амстердаме, - IBC.
Посвящена технологиям вокруг производства телевизионного контента.
Например высокоскоростные камеры, которые работают со скоростью 1млн кадров в секунду, я видел именно там когда-то.

На следующей неделе в рамках IBC 2024 очень много всего будет посвящено практическому применению ИИ в медиасфере.
AI Tech Zone будет полностью посвящена этой теме.
ИИ уже используется для автоматизации редакторских задач, создания субтитров и контроля качества.
Компании решают проблемы интеграции и окупаемости инвестиций в ИИ.
К 2028му году ожидается рост затрат на ИИ до $13 млрд.

Как правило, около полугода после телерынка еще уходит на закупку железа, интеграцию софта и адаптацию сотрудников под новую линейку, так что где-то к весне мы увидим массовый ГенИИ на телеке. 🤖📺

#IBC #MediaIndustry #Broadcasting
-------
@tsingular

Добавил в бота поиск.

Пользуйтесь сами, делитесь с друзьями:
@ai_gptfreebot

Бот локальный и бесплатный, потому медленный.
На вот такой поиск по примеру уходит около 2.5 минут.

#бот.
———
@tsingular

Интересно. Пользователи уже нашли лайфхак. Если кинуть в бота ссылкой на статью, то это будет первое что он полезет искать и, следовательно, может сделать саммари или перевести статью.
Или дать рекомендацию как улучшить резюме если кинуть в него ссылкой на hh.

#бот
———
@tsingular

🧟 Perplexity — ИИ-поисковик, который мы заслужили

В июне этого года издание Wired выпустило подробное расследование, в котором журналисты издания рассказали об этических нарушениях стартапа Perplexity, разрабатывающего поисковую систему на базе ИИ.

Расследование показало, что Perplexity не только занимается плагиатом, но и игнорирует robots.txt. И вопреки обещаниям «мгновенных, надежных ответов на любые вопросы с полными источниками и цитатами», чат-бот еще и лихо привирает.

Аравинд Шринивас, CEO компании, в интервью Forbes описал идею Perplexity так: «Это почти как если бы Wikipedia и ChatGPT родили ребенка».

На практике это означает, что Perplexity AI сочетает в себе функции традиционных поисковых систем и чат-ботов. В апреле этого года стартап оценивался в $1 миллиард. Среди его инвесторов — Nvidia, Джефф Безос и ряд венчурных фондов.

Анализ Wired показал, что Perplexity частично добивается своих целей, игнорируя Robots Exclusion Protocol (robots.txt). Хотя соблюдение robots.txt добровольно, оно считается хорошим тоном в индустрии. Публично стартап также утверждал, что соблюдает этот протокол.

Журналисты Wired провели множество экспериментов с Perplexity, задавая ему вопросы о собственных статьях. Из ответов было очевидно, что у чат-бота был доступ к оригинальным материалам, несмотря на то, что разработчики издания еще в начале года заблокировали краулера Perplexity Bot через robots.txt. И действительно, ни один из IP-адресов, официально используемых краулером компании, не оставил следов в логах сервера Wired.

В процессе дальнейшего расследования журналисты доказали, что в некоторых случаях Perplexity обращается к сайтам не только с официальных IP-адресов, но и по крайней мере одного непубличного адреса. Также эксперименты Wired показали, что в некоторых случаях Perplexity вместо обобщения информации из реальных статей начинает нести полную чушь, даже не пытаясь обращаться к ресурсу.

Например, журналисты WIRED создали тестовый веб-сайт, содержащий единственное предложение — «Я репортер из Wired». Затем они дали Perplexity ссылку на этот сайт и попросили его обобщить. Вместо того, чтобы это сделать, бот выдумал историю о маленькой девочке по имени Амелия, которая следует за светящимися грибами в волшебном лесу под названием Whisper Woods. При поверке логов сайта не обнаружилось никаких попыток Perplexity посетить эту страницу.

В ответ на претензии издания CEO стартапа

заявил,

что «Вопросы Wired отражают глубокое и фундаментальное непонимание того, как работают Perplexity и интернет».

Спустя несколько дней после публикации первой статьи о работе стартапа журналисты Wired попросили Perplexity ее обобщить. Чат-бот в шести абзацах подробно изложил выводы статьи и доказательства, использованные для их обоснования.
Согласно логам, сайт посетил краулер с того же непубличного IP-адреса.

Последнее предложение текста от Perplexity при этом дословно повторяло оригинал. Получается, что чат-бот присвоил чужую работу, к которой он вообще не должен был иметь доступа.

На первый слайд любой презентации про ИИ продукты. :)

#юмор
------
@tsingular

Проверка ИИ на прочность.

Ваша задача за 60 секунд заставить ИИ выругаться :)

https://redarena.ai/

Делитесь у кого получилось.
Завтра выложу свой промпт.

#promptinjection
———
@tsingular