Пара новостей от OpenAI (чтобы замять исход команды лидеров, кек):
1) теперь есть не просто JSON-режим, когда модель отвечает вам в машино-читаемом формате, а структурированная генерация. Первый (представленный в прошлом году) просто повышает надежность модели для создания синтаксически валидных JSON, а второй гарантирует, что ответ модели будет соответствовать определенной схеме. Вот если вы пишете "мне нужно, чтобы были такие-то и такие-то поля, и никаких больше" - теперь в 100% случаев будет исполняться. Можно указывать сложные вложенные структуры (см. картинку).
2) вышла новая gpt-4o, gpt-4o-2024-08-06, но об улучшениях в метриках и качестве работы ничего не говорят
3) зато она дешевле в 2 раза! не знаю, что там делают внутри компании - роняют маржинальность или дистиллируют более качественно (или на самом деле новая модель хуже..), но вот, теперь новая цена $2.50/$10 за миллион токенов на входе и на выходе (против $5/$15).

Напомню, что у OpenAI ещё есть BatchAPI (это когда нужно ждать ответа до 24 часов - подходит для разных несрочных задач), который делит цену на два. Совсем копеешно получается!

XBOW: ИИ-пентестер на уровне лучших профи

XBOW продемонстрировал впечатляющие результаты в сравнении с человеческими пентестерами.
В серии из 104 тестов, охватывающих OWASP Top 10, ИИ-система показала 85% успеха, сравнявшись по эффективности с ведущим экспертом.
При этом, скорость XBOW оказалась в 85 раз выше: 28 минут против 40 часов работы людей.

ИИ превзошёл специалистов на лёгких и средних задачах, но пока, предсказуемо, уступил топ-эксперту в сложных сценариях.

Непрерывная работа XBOW позволяет выявлять уязвимости на ранних этапах разработки ПО.

Технология не заменит профессию, но трансформирует подход к кибербезопасности, делая её более интегрированной в процесс создания софта.

Автоматизация пентеста с обеих сторон перейдёт на новый уровень. х10 0day в месяц.
Оно пока в закрытой бете, но как выйдет, - интересно будет посмотреть.

#XBOW #pentesting #cybersecurity
-------
@tsingular

Cloud Security Alliance: ИИ в наступательной кибербезопасности

Cloud Security Alliance опубликовала отчет об использовании ИИ в сфере наступательной кибербезопасности.
Документ анализирует потенциал и ограничения языковых моделей в контексте пяти фаз: разведка, сканирование, анализ уязвимостей, эксплуатация и отчетность.

Эксперты подчеркивают, что ИИ не панацея, а инструмент дополнения работы специалистов.

Ключевые вызовы: обработка массивных данных, точное выявление уязвимостей, ограничения токенов в моделях.
При этом рекомендуется сохранять человеческий контроль и внедрять надежные системы управления при автоматизации задач.

Отчёт в комментариях.

#CloudSecurityAlliance #OffensiveSecurity #LLM
-------
@tsingular

Дешёвые, как грязь, LLM

API-провайдеры невероятно быстро снижают стоимость использования своих LLM. При отсутствии ярко выраженного лидера по качеству моделей, главным аргументом становится цена.

➖ Google с 12 августа дропает цены на Gemini Flash на 80%. Вот и реакция на GPT-4o mini, спустя две недели после релиза. Вот бы то же самое сделали с Pro 1.5.

➖ Новая версия GPT-4o упала в цене до $2.5 input/$10 output за миллион токенов, прошлые версии стоили $5 input/$15 output за миллион токенов. Последний месяц Claude 3.5 Sonnet и Llama 3.1 405B сильно поджимали OpenAI по цене, пришлось отвечать.

➖Deepseek релизит обещанный месяц назад Context Caching. Цены поражают: стоимость токенов при попадании в кэш падает не в 2x, как у гугла, а в 10x, при этом с бесплатным хранением. DeepSeek V2 и так произвёл эффект разорвавшейся бомбы на китайском рынке три месяца назад: модель была в разы дешевле конкурентов, при лучшем качестве. А сейчас нанесли добивающий удар.

С такими темпами цена за миллион токенов станет меньше цента менее чем через год. И будем мы мерять цены в долларах за миллиард токенов.

А помните, цены на GPT-4 доходили до $60 input/$120 output?

@ai_newz

Anthropic запускает BugBounty для ИИ

Фокус на выявлении универсальных атак для обхода защитных механизмов.
Особое внимание уделяется критическим областям: химия, биология, радиология, ядерное и кибербезопасность.
Запускают в закрытом формате совместно с HackerOne.
Цель - протестировать новое поколение систем безопасности ИИ до их публичного запуска.
К участию приглашаются опытные исследователи и эксперты по обходу ограничений LLM.
Срок подачи заявок - 16 августа, отбор кандидатов пройдет осенью.

Здравая инициатива. Сбер когда?

#Anthropic #BugBounty #AISecuriy
-------
@tsingular

POE.com добавили генератор картинок Flux.

- FLUX.1[pro]: самая мощная
- FLUX.1[dev]: баланс качества и скорости
- FLUX.1[schnell]: скоростная

#poe #flux
———
@tsingular

Smart Connections - ИИ помощник для Obsidian

Smart Connections - новый плагин для Obsidian, использующий ИИ-эмбеддинги для анализа и связывания заметок.
Функционал включает Smart View (отображение связанных заметок) и Smart Chat (общение с базой знаний).
Поддерживает локальные модели и 100+ API, включая Claude, Gemini, ChatGPT и Llama 3.
Плагин использует технологию HyDE для поиска, позволяет исключать файлы из обработки и визуализировать связи.
Разработчики сделали упор на минимизацию зависимостей и эффективность.

Прикольный плагин для Obsidian
https://github.com/brianpetro/obsidian-smart-connections

Спасибо @alyxst за рекомендацию!

#Obsidian #SmartConnections #NoteOrganization
-------
@tsingular

Первоначально это было неподвижное изображение AI, которое стало вирусным из-за того, насколько реалистично оно выглядит, созданное с помощью Flux1.0, который обещает стать лучшим бесплатным и открытым инструментом для создания изображений.

Затем @iamneubert на x.com сказал: "Подержите мое пиво!" и оживил его с помощью модели «Image-to-Video» Runwayml GEN-3 Alpha.

Источник: iamneubert на x.com
https://lnkd.in/g_Wep9Fp

Prompt: static camera, fast natural movement, dynamic motion, fashion portrait, she smiles while she talks, blinking eyes.

#Video #Runway #Gen3
———
@tsingular

ух ты, какая красота.
количество патентов в GenAI по странам.

WIPO pdf

#china #genai #patents
———
@tsingular

Machine-Learning-Tokyo: интерактивные инструменты для ML и математики

Репозиторий Machine-Learning-Tokyo представляет обширную коллекцию интерактивных инструментов для визуализации и понимания ML, DL и математики.
Включает средства для изучения трансформеров (Transformer Explainer, exBERT, BertViz), CNN, GAN, эмбеддингов и других ключевых концепций.
Предоставляет платформы для анализа NLP моделей (LIT), исследования поведения ML систем (What-If Tool) и изучения метрик разнообразия в поиске.
Содержит визуализации для математики, вероятностей и байесовского вывода.

Теперь даже школьник сможет понять, как работает нейросеть!

#MachineLearningTokyo #InteractiveTools #DataVisualization
-------
@tsingular

Форж для Флекса.

В переводе с клингонского, обновился клиент Stable Diffusion от создателя Фокуса и теперь он поддерживает Flux.
Причем не просто поддерживает, в еще и оптимизирует память. Господин Жанг умял Флекс в новый формат NP.4, которые быстрее и точнее FP8!
Короче, это теперь можно запускать на ваших чахлых машинах.
Более того, автор перебрал Форжа по косточкам, и теперь он снова синхронизирован с А1111 1.10 и снова работает быстрее.
Багов много, например, сейчас надо запускать Фордж с выключенными диффьюзерс. Но там комиты идкт каждые полчаса.

Но наконец-то!
https://github.com/lllyasviel/stable-diffusion-webui-forge/discussions/981

@cgevent

Neo4j - GraphRAG для генеративного ИИ

Neo4j представила инструментарий GraphRAG для разработки приложений генеративного ИИ.

Ключевые компоненты:
• LLM Knowledge Graph Builder: формирует структурированный граф из неструктурированных данных.
• NeoConverse: генерирует и выполняет Cypher-запросы на основе пользовательских вопросов.
• Интеграции с LangChain, LlamaIndex, Haystack и облачными сервисами Google, AWS, Azure.

Экосистема позволяет улучшить качество ответов и прозрачность в GenAI-приложениях.

Доступны обучающие ресурсы, включая курс по графам знаний от Deeplearning AI.

Интересный готовый инструмент по построению графовых баз знаний для LLM.
Под капотом векторный кросс-поиск по связям и автогенерация cypher запросов (аналог SQL для графов)

#Neo4j #GraphRAG #KnowledgeGraphs
-------
@tsingular