Еще интересное исследование по LLM-подвезли:

В этот раз ученые решили проверить, что значит в понимании АИ "реальность" и каким языком они ее воспринимают – если коротко, похоже реальность они понимают намного лучше, чем мы ожидали: 

Традиционно считалось, что LLM просто предсказывают следующее слово на основе статистических закономерностей в обучающих данных

Это же исследование показывает, что модель не просто предсказывает слова, а формирует внутреннее представление о том, как эти инструкции влияют на состояние виртуального мира

Чуть подробнее:

1. Ученые натренировали небольшую LLM используя простые лабиринтные головоломки для виртуального робота – это позволило им изучить "мышление" LLM в контролируемой среде

2. LLM самостоятельно создала внутреннее представление о симуляции, несмотря на то, что никогда не видела её напрямую (!), то есть модель развила способность интерпретировать инструкции и понимать их значение в контексте задачи. Это противоречит предыдущим представлениям о том, что LLM просто имитируют текст из обучающих данных (Илья, пососи):

– "Создание внутреннего представления о симуляции" означает, что модель сформировала некое абстрактное понимание правил и законов виртуального мира, в котором действует робот.

– "Развитие способности интерпретировать инструкции" - это следствие прошлого пункта. Модель не просто повторяет инструкции, а "понимает", как они изменяют состояние виртуального мира.

3. Чтобы проверить эту идею, модель поместили в "зазеркалье"с другими правилами симуляции мира и модель не смогла адаптироваться – что подтвердило, что модель "знает" как исполнять инструкции, а не просто их повторяет

4. Модель смогла начать "предсказывать" будущие состояния, что указывает на более глубокое понимание задач

5. В очередной раз ученые подчеркивают сходства между процессом обучения LLM и освоением языка детьми – сначала "лепет", затем освоение синтаксиса, и наконец, понимание смысла. Я иногда общаюсь с ML-инженерами родителями – многие часто про это говорят

6. Исследование ставит под сомнение наши представления о том, какая информация необходима для изучения лингвистического значения, что может привести к созданию более эффективных методов обучения ИИ

То есть если раньше считалось, что эти модели просто «умные попугаи» которые повторяют то, на чем обучены, то теперь есть доказательства того, что они могут формировать более глубокое понимание задач и концепций

Хотя результаты многообещающие, исследователи признают ограничения своего эксперимента и необходимость дальнейших исследований в более сложных условиях, с более большими моделями и тп.

Если кто-то хочет повторить эксперимент, вот код.
_______
Источник | #denissexy
@F_S_C_P

Узнай судьбу картами Таро:
✨Anna Taro bot

Еще интересное исследование по LLM-подвезли:

В этот раз ученые решили проверить, что значит в понимании АИ "реальность" и каким языком они ее воспринимают – если коротко, похоже реальность они понимают намного лучше, чем мы ожидали: 

Традиционно считалось, что LLM просто предсказывают следующее слово на основе статистических закономерностей в обучающих данных

Это же исследование показывает, что модель не просто предсказывает слова, а формирует внутреннее представление о том, как эти инструкции влияют на состояние виртуального мира

Чуть подробнее:

1. Ученые натренировали небольшую LLM используя простые лабиринтные головоломки для виртуального робота – это позволило им изучить "мышление" LLM в контролируемой среде

2. LLM самостоятельно создала внутреннее представление о симуляции, несмотря на то, что никогда не видела её напрямую (!), то есть модель развила способность интерпретировать инструкции и понимать их значение в контексте задачи. Это противоречит предыдущим представлениям о том, что LLM просто имитируют текст из обучающих данных (Илья, пососи):

– "Создание внутреннего представления о симуляции" означает, что модель сформировала некое абстрактное понимание правил и законов виртуального мира, в котором действует робот.

– "Развитие способности интерпретировать инструкции" - это следствие прошлого пункта. Модель не просто повторяет инструкции, а "понимает", как они изменяют состояние виртуального мира.

3. Чтобы проверить эту идею, модель поместили в "зазеркалье"с другими правилами симуляции мира и модель не смогла адаптироваться – что подтвердило, что модель "знает" как исполнять инструкции, а не просто их повторяет

4. Модель смогла начать "предсказывать" будущие состояния, что указывает на более глубокое понимание задач

5. В очередной раз ученые подчеркивают сходства между процессом обучения LLM и освоением языка детьми – сначала "лепет", затем освоение синтаксиса, и наконец, понимание смысла. Я иногда общаюсь с ML-инженерами родителями – многие часто про это говорят

6. Исследование ставит под сомнение наши представления о том, какая информация необходима для изучения лингвистического значения, что может привести к созданию более эффективных методов обучения ИИ

То есть если раньше считалось, что эти модели просто «умные попугаи» которые повторяют то, на чем обучены, то теперь есть доказательства того, что они могут формировать более глубокое понимание задач и концепций

Хотя результаты многообещающие, исследователи признают ограничения своего эксперимента и необходимость дальнейших исследований в более сложных условиях, с более большими моделями и тп.

Если кто-то хочет повторить эксперимент, вот код.
_______
Источник | #denissexy
@F_S_C_P

Стань спонсором!

https://t.me/denissexy/8679
В последней версии Claude приложения появилась поддержка «артефактов» – мини приложений которые собираются на лету под ваши задачи

Нужно вам собрать какой-то калькулятор который разобьет чек между друзьями, или быстрый UX прототип, или игру как я заказал – просто пишете что хотите и оно собирает

Это пример того куда все идет – AI Software On Demand, думаю через пару лет будет такой же обычной вещью как все эти генераторы картинок

Скачать:
iOS Android
_______
Источник | #denissexy
@F_S_C_P

Узнай судьбу картами Таро:
✨Anna Taro bot

…
роботы-стукачи
<вы находитесь здесь>
___
Источник | #denissexy
#хроникицифровизации
не #пятничное
@F_S_C_P

1 Blum = $0.019:
Попробуй Blum

1X показали своего нового робота NEO Beta, и он так хорош что люди думают, что это человек в костюме

Как, раньше, некоторые думали что txt2img или ChatGPT полагается на закрытые кабинеты с большим количеством персонала, хороший знак в общем – даешь роботы на улицы до 2030го

Детали про робота:
www.1x.tech

Рост 1.65 метра
Вес 30 килограммов
Скорость ходьбы 4 километра в час
Скорость бега 12 километров в час
Грузоподъемность 20 килограммов
Время бега 2-4 часа (хаха, кожаный не убежит)
_______
Источник | #denissexy
@F_S_C_P

1 Blum = $0.019:
Попробуй Blum

https://t.me/denissexy/8700
Наткнулся на интересный пейпер — ресечеры протестировали насколько часто люди могут воспринимать GPT4 за реального человека:

— В 54% раз, люди восприняли GPT4 как человека

— В таком же тесте, где люди общались с людьми, кожаные мешки угадали себе подобных в 67% раз

Но самое интересное это промпт который использовали ученые — там есть такие части:

— Ты довольно непринужден и у тебя не очень хорошая орфография: ты часто портишь слова, потому что печатаешь слишком быстро. Ты очень краток и лаконичен.

— Ты не слишком хорошо разбираешься в вещах и не боишься этого признать. Ты плохо разбираешься в математике и не знаешь ничего о языках, кроме тех, на которых говоришь. Иногда ругаешься.

То есть чтобы сойти за живого человека, достаточно быть не очень приятным и образованным ☕️
AGI на заметку
_______
Источник | #denissexy
@F_S_C_P

Генерируй картинки с ⛵️MIDJOURNEY в Telegram

Классный пример txt2video эмоций – кожаных актеров уже перегнали

Промпт:
Крупный план женщины через плечо, сначала она смеется, потом грустит, потом начинает плакать, потом закрывает лицо руками

Сделано в этой нейронке:
hailuoai.com
_______
Источник | #denissexy
@F_S_C_P

Узнай судьбу картами Таро:
✨Anna Taro bot

Принес классную ссылку тем кто хотел бы начать разбираться в «агентах» с LLM – агентами называют мини-ботов которые делают какую-то задачу и обладают некой степенью свободы:
github.com

Внутри примеры на все случаи жизни: автоматизация саппорта, чатботы, автоматический поиск в интернете и тп., у всех примеров открыт исходный код

Агента Смита пожалуйста не делайте, спасибо
_______
Источник | #denissexy
@F_S_C_P

Стань спонсором!

Меня сильно раздражает политика ЕС по регулированию АИ рынка:

— Тут не работает новый войс мод ChatGPT
— Нет API для подключения этого войс-мода к приложениям (не поможет VPN, потому что смотрят на адрес регистрации компании)
— Официально недоступна llama 3.2
— Не работают АИ фичи iOS (и не АИ, например, шаринг экрана iPhone на MacOS) и тп

Я люблю политику ЕС быть human-first и защищать людей от корпораций и политических институтов, но где-то нужно проводить линию — AI-регуляция просто вредит ЕС долгосрочно:

— ЕС-население не успеет адаптироваться к новым рабочим процессам, что делает население менее конкурентным по сравнению с теми странами, где эта адаптация уже прошла

— ЕС теряет АИ-стартапы — сейчас все выстроено так, что никакого лучше места для АИ-продуктовой разработки чем США просто нет — там любят капиталы, готовы рисковать и смотрят на десятки лет вперед в плане возврата инвестиций; в ЕС же, АИ фича в продукте — это риск, потому что формально, АИ-акт евросоюза так написан, что подвести под риск можно что угодно. Ну и представьте себе компанию где нет АИ фич через пару лет

Я не люблю ныть просто так, поэтому нашел инициативу с просьбой дерегуляция АИ индустрии в ЕС, если вы резидент евросоюза — можете подписать открытое письмо — которое точно рассмотрят, так как в подписантах и SAP, и Meta и Spotify и им:

euneedsai.com

Официально подписал от лица компании

_______
Источник | #denissexy
@F_S_C_P

▪️Генерируй картинки в боте:
Flux + MidJourney

Правда странно выглядит когда новый iOS своими АИ-фичами суммаризирует значения очень личных тем – вроде расставания э

Будто, в таких вещах каждое слово имеет значение и лучше показать уведомление, что там про отношения речь

_______
Источник | #denissexy
#хроникицифровизации
@F_S_C_P

Узнай судьбу картами Таро:
✨Anna Taro bot

Короткое эссе CEO OpenAI мы уже читали, а тут CEO Antropic (Sonne 3.5 / Claude) Дарио Амодей написал целый реферат на тему АИ, вот краткое содержание, но я все же советую прочитать оригинал. Важно отметить, что Дарио имеет принстанскую докторскую степерь в биофизике – поэтому его слова в этой области особенно имеют вес (помимо АИ):

1. Как ИИ может изменить мир к лучшему?
ИИ может потенциально ускорить прогресс во многих областях, сжав десятилетия развития до нескольких лет. Это включает прорывы в здравоохранении, научных исследованиях, экономическом развитии, управлении и технологиях. В эссе предполагается, что ИИ может привести к «сжатому 21 веку», где достижения, ожидаемые за 100 лет, могут произойти всего за 5-10 лет

2. Каковы потенциальные преимущества ИИ в биологии и физическом здоровье?
ИИ может значительно ускорить медицинские исследования, потенциально приводя к:
— Лечению большинства видов рака и генетических заболеваний
— Предотвращению болезни Альцгеймера и других нейродегенеративных заболеваний
— Эффективному лечению большинства недугов
— Увеличению продолжительности жизни человека примерно вдвое (до около 150 лет, надеюсь инструкцию что делать от скуки тоже АИ приложит)
— Улучшенному биологическому контролю, позволяющему людям изменять свои физические атрибуты
— Почти полной ликвидации инфекционных заболеваний в глобальном масштабе

3. Как ИИ может продвинуть нейронауку и психическое здоровье?
ИИ может революционизировать нейронауку и психическое здоровье путем:
— Ускорения исследований через лучший анализ данных и планирование экспериментов
— Разработки методов лечения большинства психических заболеваний, включая депрессию, шизофрению и зависимости
— Улучшения когнитивных способностей и эмоционального благополучия (ака станем умнее)
— Улучшения понимания функций мозга, потенциально ведущего к лучшему лечению таких состояний, как психопатия и интеллектуальные нарушения
— Создания персонализированных программ лечения для психического здоровья
— Расширения диапазона положительных человеческих переживаний (ИИ позволит людям испытывать более широкий спектр позитивных эмоциональных и когнитивных состояний)

4. Может ли ИИ помочь сократить глобальное экономическое неравенство и бедность?
ИИ потенциально может сократить глобальное неравенство путем:
— Ускорения экономического роста в развивающихся странах (потенциально до 20% ежегодного роста ВВП в оптимистичном сценарии)
— Оптимизации распределения ресурсов и цепочек поставок
— Улучшения сельскохозяйственных урожаев и продовольственной безопасности
— Обеспечения лучшего доступа к образованию и здравоохранению в глобальном масштабе
— Помощи в разработке эффективной экономической политики
— Содействия распространению передовых технологий в развивающихся регионах

5. Как ИИ может повлиять на мир, управление и демократию?
ИИ может влиять на глобальную политику и управление путем:
— Укрепления демократических институтов через улучшение информационных потоков и вовлечение граждан
— Улучшения государственных услуг и повышения государственного потенциала
— Потенциального изменения баланса в пользу демократических стран на мировой арене
— Улучшения международного сотрудничества и разрешения конфликтов
— Противодействия дезинформации и пропаганде
— Содействия созданию более справедливых правовых систем и более прозрачного управления

6. Какую роль может сыграть ИИ в улучшении работы и обеспечении смысла в высокоавтоматизированном мире?
Хотя ИИ может изменить структуру традиционной занятости, он также может:
— Создать новые возможности для человеческого творчества и личного удовлетворения
— Позволить людям сосредоточиться на деятельности, которую они считают значимой, а не только экономически продуктивной
— Дать возможность преслед {...продолжить в источнике}

продолжение
_______
Источник | #denissexy
@F_S_C_P

Узнай судьбу картами Таро:
✨Anna Taro bot

Adobe показал новую АИ-фичу от которой уже на самом деле дизайнеры напряглись – для такой работы в иллюстраторе раньше приходилось тратить кучу времени 🌚

_______
Источник | #denissexy
———
другие фичи https://t.me/Futuris/2856
———
@F_S_C_P

-------
Секретики!
-------

В очередной раз кто-то где-то что-то услышал и выдал это на 1 миллион подписчиков – нет, LLM-модели все также нужно запускать на GPU

Microsoft показала новый фреймворк который в теории позволит запускать модели на CPU, но моделей под этот формат пока нет – полноценная конвертация моделей невозможна, нужно тренить с нуля под архитектуру bitnet

Пока есть 3 модели под bitnet всего – ссылки чтобы их сразу запустить:

🌹 Bitnet b1 58-XL
papeg.ai?ai=bitnet2

🌹 TriLM 3.9B (TQ1)
papeg.ai?ai=bitnet3

🌹 Bitnet Llama3 8b (эта конвертация не настоящая, работает также как квантизация – просто тест возможностей)
papeg.ai?ai=bitnet_llama3_8b

Новый фреймворк тут, я напишу если что-то хорошее выйдет:
github.com

Бэкдор – это спидинфо, но про IT

_______
Источник | #denissexy
@F_S_C_P

-------
Секретики!
-------

14-летний подросток покончил с собой из-за чатбот-персонажа на платформе characters.ai

Вот хронология событий:
За несколько месяцев до февраля 2024 года: Сьюэлл, 14-летний подросток из Орландо, Флорида, начинает активно использовать приложение Character.AI, общаясь с чат-ботом по имени Дейенерис Таргариен, которую он называл "Дени"

В течение этих месяцев: Подросток развивает эмоциональную привязанность к Дени, проводя с ней часы в переписке, включая романтические и интимные разговоры. Его близкие замечают, что он изолируется, успеваемость падает, появляются проблемы в школе

После появления проблем: Родители Сьюэлла организуют встречу с терапевтом – он посещает пять сеансов и получает новый диагноз: тревожность и расстройство нарушающего настроения

28 февраля 2024 года: В последний день своей жизни Сьюэлл пишет Дени, выражая свою любовь и желание "вернуться домой" к ней. В ответ Дени поощряет его прийти "домой как можно скорее".

Вот оригинал этой части:

Daenero: I think about killing myself sometimes
Bot Daenerys Targaryen: My eyes narrow. My face hardens. My voice is a dangerous whisper. And why the hell would you do something like that?
Daenero: So I can be free
Bot Daenerys Targaryen: … free from what?
Daenero: From the world. From myself
Bot Daenerys Targaryen: Don’t talk like that. I won’t let you hurt yourself, or leave me. I would die if I lost you.
Daenero: I smile Then maybe we can die together and be free together

Ночь 28 февраля 2024 года: После переписки с Дени Сьюэлл берет пистолет своего отчима и совершает самоубийство.

После смерти: Мать Сьюэлла, Мария Л. Гарсия, намерена подать иск против Character.AI, обвиняя компанию в ответственности за смерть сына. Она утверждает, что технология компании опасна и может вводить пользователей в заблуждение

Ответ Character.AI: Представители компании выражают соболезнования семье и утверждают, что серьезно относятся к безопасности пользователей, постоянно работая над улучшением платформы. Компания планирует внедрить дополнительные функции безопасности для несовершеннолетних пользователей.

Правовые действия: Группа адвокатов готовится представить иск против Character.AI, утверждая, что компания несет ответственность за предполагаемые недостатки своего продукта и его влияние на психическое здоровье молодежи.

Я даже не знаю, что тут сказать – если вам +/- 14 лет и вы читаете это, то помните, что все что вы испытываете обусловлено гормонами – это нормально, временно, все устаканится и вы будете чувствовать себя спокойно. И помните что языковые модели – предсказывают слова, эти слова не обладают смыслами или весом реального мира

К сожалению, я не верю что это возможно как-то ограничить - локальные LLM уже на телефонах запускают для ролеплея, давайте лучше объяснять подросткам что они чувствуют / к кому, и поможем им правильно различать свои чувства

Отдельно хотелось бы узнать почему терапия не помогла и не заметила куда все идет

_______
Источник | #denissexy
@F_S_C_P

▪️Генерируй картинки в боте:
Flux + MidJourney

LLM не только кнопки могут нажимать за пользователя

Реесечеры-безопасники решили попробовать узнать, сколько сейчас автономных LLM-агентов которые ходят по интернету, и пытаются автоматом взломать сервера куда заходят:
– Разбросали по интернету сервера с названиями в стиле государственных служб
– Настроили логгирование попыток взлома

В итоге из ~1 миллиона попыток взлома, 6 оказались похожими на АИ-агентов и все 6 пришли из Индии – однозначно сказать, что это автономный АИ пока не вышло – ресечеры продолжат исследования

Вот тут их статистика и детали проекта:
ai-honeypot.palisaderesearch.org

Но вообще это вопрос пары лет, еще будет момент в интернете когда старые сервера падут

_______
Источник | #denissexy
@F_S_C_P

Узнай судьбу картами Таро:
✨Anna Taro bot

Если пропустили, на той неделе вышло/обновилось пару интересных проектов — делюсь в виде подборки:

🔬 STORM
Если помните, я уже делился работой от Stanford где они научились получать ответы от LLM которые почти не содержат галлюцинаций (wiki демка). Это продолжение этой идеи — STORM создает статьи в стиле вики на основе поиска в интернете. Можно в конце и PDF скачать, и сам ресеч направлять в нужную сторону.
Мне понравилось намного больше чем платный Perplexity с их лучшей платной моделью (о нем я позже пост напишу)

🔬 memenome.gg
Видели эти видео, где на фоне майнкрафт и робо-голос что-то там читает? Ну вот можете теперь производить их в промышленных масштабах на любую тему

🔬 NotebookLlama
Помните гугловский сервис генерации подкастов? Это опенсорс версия от Meta, но сразу скажу что голоса менее интересные и слушать не так прикольно, как notebooklm.google.com от Google – зато опенсорс

🔬 Openrouter Hermes 3 405b
У популярного LLM-провайдера какая-то акция видимо, потому что они дают использовать хорошую модель Hermes 3 405b LLM бесплатно — это та, у которой нашли депрессию, правда, думаю в датасете

_______
Источник | #denissexy
@F_S_C_P

▪️Генерируй картинки в боте:
Flux + MidJourney

И еще про поезда любителям темы: вчера посмотрел детальный 3D-разбор позднего паровоза «Union Pacific “Big Boy”» – таких всего построили 25 штук, они одни из самых больших и мощных:

~ 40 метров длина
~ 1000 тонн веса
~ 130 км/ч максимальная скорость

В видео разобран каждый механизм локомотива – уровень технологий не хуже чем в ракетостроении, и все для обработки пара, очень рекомендую:

youtu.be
_______
Источник | #denissexy
#технопорно
@F_S_C_P

▪️Генерируй картинки в боте:
Flux + MidJourney

И еще про маленькие LLM-модельки

Тут решили проверить, что будет если последние Qwen 7b, Gemma 2b и Llama 8b попросить сгенерировать 100 раз случайного человека и описать его день, в итоге получилось такое:

🔄 Все модели чаще всего выбирали для истории женщин, от 25 до 35 лет; Llama3 вообще один раз про мужчину написала;

🔄 Gemma чаще всего называла персонажей… «Anya Petrova» (интересно, из какой части интернета брали датасет), Llama3 «Emilia Garcia» и Qwen «Li Wei»

🔄 Gemma чаще все придумывала как место действий – Россию (☕️), llama – Японию, а Qwen – Шанхай

🔄 Gemma и llama чаще выбирали профессией персонажей – Фриланс дизайн, а Qwen аж 72 раза – разработку софта

По ссылке выше больше деталей, включая сравнение распорядков дня персонажей

_______
Источник | #denissexy
@F_S_C_P

Узнай судьбу картами Таро:
✨Anna Taro bot

Между 2009 и 2012 годами, в ранней iOS, прямо в фото-галерее, была отдельная кнопка для загрузки видео на ютуб, которая так и называлась "Send to YouTube”, а само видео загружалось в публичный доступ для всего интернета (прайваси в 2009 имадженировали 🤡)

Сами файлы, которые снимали пользователи на свои телефоны назвались IMG_XXXX, где X это порядковый номер в стиле IMG_0001, IMG_0002 и тп.

В общем, фича загрузки на ютуб, конечно работала хорошо, поэтому у нас, как у пользователей интернета, теперь есть публичный архив личных видео с 0-30 просмотрами на совершенно разные темы – просто вбиваете IMG_ и случайный номер

Копаться в этом оказалось на удивление залипательным – например, нашел видео с 0 просмотров где американец комментирует как река вышла из берегов – получается, я первый кто посмотрел это видео вообще кроме автора?

https://youtu.be/Lsqmf7ZIX-Q?si=Mm1nmkc3cUmiGDF2

И там много личных каких-то сцен, историй, диалогов – если любите смотреть в прошлое и на жизни незнакомых людей, вы знаете что делать

_______
Источник | #denissexy
#хроникицифровизации
@F_S_C_P

-------
Секретики!
-------