🆒🆒🆒Новый тренд в ИИ-рекламе

😎😎😎Производитель рыбьего жира для котов Biofeline оформил рекламный ролик в виде диалога с ChatGPT.

🔥🔥🔥https://habr.com/ru/news/811391/ - неплохая заметка, ChatGPT становится все более клиенто-оринетированым, а значит управление пользователем будет только нарастать. В целом, это ожидаемый ход, после того, как OpenAI выкатили Turbo-4, говорит о том, что пока они не могут справится с "галлюцинациями" моделей и, в целом в широком смысле слова, такой подход позволяет снять много "неудобных" моментов, более того, когда цель, попасть в корпоративный сектор на первом месте по приоритету.

🥵🥵🥵Если не получатся избавится от "галлюцинации" на самом общем уровне, давайте избавляться, от них таргетно и учитывать влияние каждого пользователя на финальную выдачу по его запросу и более того, подстраиваться под каждого пользователя индивидуально. При этом, сбор данных будет еще более широкий, чем только можно себе вообразить (биометрия, психология, стили, настроения и так далее).

🔤🔤🔤https://huggingface.co/microsoft/Phi-3-mini-128k-instruct - легкая современная открытая модель с 3,8 миллиардами параметров, обученная на основе набора данных Phi-3. Модель относится к семейству Phi-3 и имеет версию Mini в двух вариантах 4K и 128K - это длина контекста (в лексемах), которую она может поддерживать.

😎😎😎Модель предназначена для коммерческого и исследовательского использования на английском языке. Модель обеспечивает использование в приложениях, которые требуют:

- Среды с ограничением памяти/вычислений
- Сценарии с ограничением времени ожидания
- Длинные рассуждения (особенно код, математика и логика).

Phi-3 Mini-128K-Instruct поддерживает объем словарного запаса до 32064 лексем.

🔠Архитектура: Phi-3 Mini-128K-Instruct (Supervised fine-tuning (SFT), Direct Preference Optimization (DPO))
🔠Входные данные: Текст. Лучше всего подходит для подсказок, использующих формат чата.
🔠Длина контекста: 128K токенов
🔠Графические процессоры: 512 H100-80G
🔠Время обучения: 7 дней
🔠Данные для обучения: 3,3 Т токенов
🔠Выходные данные: Сгенерированный текст в ответ на входные данные
🔠Даты: Наши модели были обучены в период с февраля по апрель 2024 года.
🔠Статус: Это статическая модель, обученная на автономном наборе данных с датой отсечения в октябре 2023 года.

🛡LLM Guardrails

Существуют языковые модели, которые созданы для того, чтобы отвечать на вопросы на определенную тематику.
Например, медицинские вопросы, транспортные, заказы и проч. В контексте безопасности ИИ, в таких языковых моделях необходимо внедрение LLM Guardrails - специальных ограждений, которые смогут определить границы для ответов таких языковых моделей.

Для чего они нужны?

🔠Чтобы убедиться, что языковая модель ведет себя определенным образом, следует структуре ответов, и может задавать дополнительные вопросы.

🔠Чтобы гарантировать, что языковая модель не будет себя плохо вести. Включать вредоносную информацию в ответ, отвечать на вопросы не по теме, или задавать неуместные вопросы.

🔠В настоящее время существуют две крупные библиотеки LLM Guardrails:

🖥NVIDIA

🖥GUARDRAILS

😐😐😐https://www.fujitsu.com/global/about/resources/news/press-releases/2023/1109-01.html - о какая вещь появилась, хм...

🅰️🅰️🅰️Если коротко, то эта тулза позволяет оптимизировать время на просчет перераспределяя нагрузку оптимальным образом между CPU и GPU. Так сказать не GPU единым. Более того, данный процесс идет в реалтайме, тем самым мы получили виртуального брокера услуг, который пытается различить, какие программы наилучшим образом будут обработаны и где.

👇👇👇
"Например, если пользователь хочет эффективно обрабатывать три программы, используя один CPU и два GPU, можно назначить GPU для программ 1 и 2 в соответствии с доступностью GPU. Затем, в ответ на запрос программы 3, распределение GPU изменяется с программы 1 на программу 3 для измерения производительности, и измеряется степень ускорения обработки на GPU.

В результате измерения выясняется, что общее время обработки уменьшится, если выделить GPU программе 3, а не программе 1. Поэтому GPU будет выделен для программы 3, а CPU в это время будет выделен для программы 1. После завершения программы 2 GPU становится свободным, поэтому GPU снова выделяется для программы 1, и таким образом вычислительные ресурсы распределяются так, чтобы обработка программы была завершена за минимальное время."

🔥🔥🔥https://github.com/KindXiaoming/pykan - супер нашумевшая сеть Kolmogorov-Arnold Networks (KANs) никому не дает покоя, и уже полностью в деле. Скоро я сделаю для нее полноценный разбор следите за обновлениями.

🔠🔠🔠Сети Колмогорова-Арнольда (KAN) являются перспективной альтернативой многослойным перцептронам (MLP). KAN, как и MLP, имеют прочные математические основы: MLP основаны на универсальной теореме аппроксимации, а KAN - на теореме представления Колмогорова-Арнольда. KAN и MLP являются двойственными: KAN имеют функции активации на ребрах, в то время как MLP имеют функции активации на узлах. Это простое изменение делает KAN лучше (иногда намного лучше!), чем MLP, как с точки зрения точности модели, так и с точки зрения интерпретируемости.

😎😎😎Техревью по данной сети лежит тут: https://arxiv.org/abs/2404.19756

😆😆😆Самое ржачное это установка этой приблуды ))) ахахахаахха.

👉👉👉"Такой нескончаемый хайп вокруг новых моделей OpenAI кончится либо тем, что GPT-5 будет шокирующе хороша, либо тем, что словам Альтмана больше никто не поверит."

🥵🥵🥵Альтман начал, заметно уставать и в целом видно, что ресурс все больше выходит из под его контроля, а значит, нас ждет более полное погружение в еще более сложную архитектуру и выстраивание всевозможных фильтрующих контент заборов.

😎😎😎Наступает эра, что социум начинает защищаться от своего же творения. Это видно по многим публикациям на архиве. Все больше появляется всяких фаерволов и систем фильтрации контента от сеток, а значит вырастет нагрузка на DevSecOps.

☄️☄️☄️Ну закономерно, мы плавно подошли к DevSecQAMLOps, c чем, я вас и поздравляю. Даже последний разговор Альмана и Гейтса говорит о том, что парни в напряге, вернее Альтман )))

😄😄😄Юмора вам в ленту, да мы все такие, я тоже, таже самая обезьяна )))) хахахаха

☄️☄️☄️https://numbbo.github.io/workshops/ - всем кто "упарывается" по оптимизации, коим я тоже являюсь, советую заглянуть сюда. Очень прикольные репозитории и соревы по оптимизации методом черного ящика. Куча алгоритмов всяких разных и интересных, необычные решения и откровенная лютая дичь. В общем, просвещаемся )))

🔥🔥🔥https://www.directline.pro/blog/neyroseti-dlya-sozdaniya-prezentatsiy/ - если вам надо быстро запилить нормальную презентацию вот советую глянуть этот список, полезных инструментов. Тут много интересных решений типа:
🔠 Decktopus 🔠 MagicSlides App 🔠 Slider-AI 🔠 SlidesAI 🔠 Simplified 🔠 Beautiful.ai 🔠 Gamma 🔠 Slidebean
🔠 Presentations.ai 🔠 Slidesgo

☄️☄️☄️https://www.b17.ru/article/diagnostika_chatgpt/ - дифференциальный диагноз ChatGPT, даже такой поверхностный анализ говорит, что мы имеем дело с латентным социопатом с параноидальными наклонностями. Что в целом ожидаемо, так как негативные эмоции, в целом более сильные, чем позитивные.

🚩🚩🚩Но в то же время менее длительные, а с учетом того, что мы учим машину выдавать максимально-точный ответ за минимальное колличество промптов и наиболее вероятной отдачей, ситуация более чем предсказуемая. Это все наводит меня на мысль, что наши методы психологии, в будущем, вообще будут не применимы для данной области. Тут будет машинная психология.

❓❓❓Коллега прислал занятную задачку, оценить реально ли это или нет (https://youtu.be/rgD2gmwCS10?si=DMtA5Xb2S9tP-vEG), на что я сказал да это ИИ и вот почему:

🔠Да это ИИ, там между 11.33 и 11.35 он моргает, но глаз закрывается не корректно, то есть не сверху вниз, а слева направо, это баг ии. Более того, очень неестественная мимика, она не вяжется с оригиналом, и это прям режет.

🔠Кроме того, между 14.12 и 14.15, там где он руку подносит, можно посмотреть на глаза, они прям неподвижно замирают, такого не бывает. Есть такое понятие "Стеклянный" взгляд. Глаза, как бы их не фиксировать всегда сохраняют микродвижения.

☄️☄️☄️Так что будьте внимательны ))

☄️☄️☄️https://www.securitylab.ru/news/547727.php - там там пара пам ))), репозиторий уже найден, с этой игрушкой. Она займет достоное место в моей следующей статье про промты, сейчас я занят статьей про взломы LLM. Сегодня ушла в печать статья про галлюцинации в LLM, скоро она появится на хабре. Мне пора плотно переходить в Bug Bounty, что-то я засиделся тут ))). Скоро таски начнут сыпаться по этим вещам.

😎😎😎P.S. Товарищь, уже один потестил, говорит много чего умеет модель и в целом не самого позитивного.

🔠🔠🔠Недавно обратился ко мне товарищь, с задачей поискать, тулзы на предмет озвучки персонажей для игры. Таск в целом знакомый, но специально звуком я не занимался, ну вернее так, я занимался, но не очень много. Как результат мы нашли пару вполне годных вещей, так что если вы тоже занимаетесь чем-то подобным можете подхватить:

⚙️https://github.com/CorentinJ/Real-Time-Voice-Cloning
⚙️https://github.com/BenAAndrew/Voice-Cloning-App

☄️☄️☄️DiffSynth Studio

🔥🔥🔥Это же просто реально круто выглядит, плавно все, да конечно косяки есть, но все же.

⚙️⚙️⚙️Код можно найти здесь: https://github.com/Artiprocher/DiffSynth-Studio

😐😐😐 Сам проект: https://ecnu-cilab.github.io/DiffutoonProjectPage/

🚩🚩🚩Статья лежит тут: https://arxiv.org/pdf/2401.16224.pdf

🔤🔤🔤Только я собрался писать про SORA, вышлаVidu. Между ними всего 2 месяца, а качество, ну как вам сказать по трекам и рекламке прям хайповое, но тесты покажут, реальную картинку. Так что дополним еще этим всем. Но все будет только множится и расти. Качество будет расти и скоро вообще будет неотличимо... хотя )))

👍👍👍Как правило в таких роликах, много идет хайпа и нагнетания, мол вау, вау... но спустя пары сотен тестов понимается рельная картина, которая либо может подтвердить это вау, либо как ChatGPT )))) На первый взгляд да круто, да плавно, но все также пластмассово и совсем не живо, кроме всего много багов, но это все равно прорыв, отрацать не стоит, чего стоит только плавные переходы по лучам солнца на дереве. Но применение точно этому найдется очень быстро.

☄️☄️☄️https://vk.com/video-218722471_456240245