Зараз весь твітер гудить від openai генерації зображень. Вирішив потестити, моєї фантазії вистачило тільки для цього)

Доречі картинки можна генерити не тільки в чаті з чатжпт, а ще й в юайці сори, але там можна більше налаштувань ставити + більше картинок за раз генерити.

Тицяти тут

M-Attack: понад 90% успіху в атаках на GPT-4.5/4o/o1, Claude, Gemini

Що таке adversarial attack (також дивиться картинку з пандою, вона пояснює про що пост):

An adversarial example is an instance with small, intentional feature perturbations that cause a machine learning model to make a false prediction. - Interpretable Machine Learning

Проблема традиційних підходів адверсаріал атак полягає в тому, що вони генерують рівномірний шум без структури. Аналіз невдалих атак показує, що black-box моделі або повністю ігнорують такі пертубації, або дають розмиті відповіді типу "абстрактне зображення".

Що пропонують автори:

1. Local-level Matching: замість глобальної оптимізації всього зображення вони:
- Роблять випадковий кроп області сорс зображення (50-100% площі)
- Ресайзять цю область назад до оригінального розміру та пускають градієнти на цей кроп
- Максимізують подібність ембедингу цієї локальної області з таргет зображенням. Потім вставляють назад в сорс зображення.
- І так купу разів (~300)

2. Model Ensemble: використовують кілька CLIP-моделей з різним розміром патчів для кращого захоплення як дрібних деталей, так і загальної структури

Ключова ідея – заенкодити семантику таргет зображення саме в локальних областях, особливо в центральній частині. Після кількох ітерацій, центральна область сорс зображення починає проявляти семантику таргет зображення, при цьому збереження пертубацій майже непомітними (бо там купа констреінтів).

По результатах:

95% успіху на GPT-4.5 та GPT-4o, 94% на o1, і навіть 81% на Gemini Flash-thinking. При цьому, відповіді моделей максимально точно відтворюють опис таргет зображення, а не просто згадують одне-два слова.

Сорси:
ArXiv
GitHub
Adversarial Examples (для того, щоб зрозуміти що автори енкодили в ці картинки, дивиться цей файлик)

🐱🖼✨

Грався з різніми форматами промпту, цікаво як воно працює. Наприклад як воно парсить такі тексти на рівні токенізатора перед тим як подавати в ллмку?

On the Biology of Large Language Models

Антропік опублікували величезний ресьорч про те, як працюють LLMки зсередини. Які внутрішні концепти формуються в моделі і як вони взаємодіють між собою.

Їх основний іпакт це метод circuit tracing - відстеження та ізоляція активацій нейронів, щоб зрозуміти, як модель думає, через побудову так званих атрібьюшен графів.

Для цього вони:
- Придумали реплейсмент модель: cross-layer transcoder - спеціальна архітектура, яка заміняє оригінальний трансформер, але має більш інтерпретовані активації
- Транскодери тренуються відтворювати той самий аутпут, що й оригінальна модель, але з двома ключовими відмінностями:
- Вони використовують sparsity penalty, щоб активувати менше нейронів одночасно
- Кожен леер отримує аутпут з усіх попередніх, а не лише з попереднього. Такий собі дізентанглемент фіч з середини резідьал стріма.

В них нереально багато цікавих результатів, я згадаю тільки ті, які мені сподобались більше всього:
- Багатокроковий різонінг: моделі формують внутрішні проміжні концепти. Наприклад, при запитанні "столиця області, де знаходиться Мукачево", модель активує внутрішнє представлення "Закарпаття", перш ніж видати "Ужгород" (там правда був трохи інший приклад, але суть така сама)
- Ллмки плануть риму наперед. Вже на початку нового рядка активуються фічі, які представляють можливі рими з попереднім рядком.
- Багатомовність: у середніх леерах формуються мовно-агностичні концепти.
- Додавання: замість стандартних алгоритмів модель юзає паралельні апроксимації та модульні обчислення, що сумарно дають правильний результат

Де можна почитати:
Блог Anthropic: частина 1, частина 2

Але я б дуже радив відос від Яніка Кілчера (частина 1, частина 2), бо він за два відоса (2 години сумарно, що доволі швидко) розбирає обидві статті, але при цьому гарно пояснює всі деталі.