Первые инсайты из Enterprise RAG Challenge r2

Мы с вами их обнаружили вместе!

Во-первых, качество извлечения документов важно для точности. Тут внезапно хорошо себя проявила библиотечка Docling от IBM (даже за пределами WatsonX AI Track).

Во-вторых, при наличии хорошой архитектуры можно получить высокие результаты даже на локальных моделях.

Смотрим на архитектуру Ильи, которую он запускал на разных моделях.

PDF parsing with heavily modified Docling library + Dense retrieval + Router + Parent Document Retrieval + SO CoT + SO reparser

o3-mini        R: 83.8 │ G: 81.8 │ Score: 123.7
llama3.3-70b   R: 83.9 │ G: 72.8 │ Score: 114.8
llama-3.1 8b   R: 81.1 │ G: 68.7 │ Score: 109.3

R - Retrieval score
G - Generation score

Видно, что по мере снижения размера модели, у нас снижается качество ответов. Но оно падает не так быстро, как можно было бы ожидать. Я думаю, что это все благодаря качественно сделанной Retrieval части - она “облегчает” работу LLM на финальных этапах.

В-третьих, в топовых решениях часто используются reasoning паттерны на основе SO CoT (Structured Outputs + Chain of Thought == Custom Chain of Thought). Причем они работают даже там, где SO нет и впомине (только нужно использовать Schema Repair).

В-четвертых, в ситуациях со сложно предсказуемыми вопросами хороший векторный поиск пока до сих пор работает чуть лучше решений без векторов.

Самый главный вывод для меня - с локальными моделями, оказывается, можно делать сильно больше и сильно лучше, чем казалось раньше. Они могут составить неплохую конкуренцию облачным моделям, если выжимать максимум из их способностей.

---
- Победители Enterprise RAG Challenge r2
- Табличка с результатами (лучший результат от каждой команды)

Ваш, @llm_under_hood 🤗

#dl #cv

#dl #gan

Офигенный workflow от аниматора Cuco

Это как раз идеальный пример, как художник может использовать AI для упрощения процессов не особо теряя в качестве.

-- Тут обучение Лоры на своих артах, особенно когда их мало.

-- Создание всего окружения в своём стиле + создание простых сцен. Я делал что-то похожее здесь.

-- Создание простых анимаций использую только линии и затем Lineart на своей Лоре чтобы сделать финальную картинку.

-- Далее AnimateDiff с Lineart ControlNet для сцен + Лора. И вот уже у нас офигенные слои, которые можно будем потом композить.

Автор: LINK

Очень советую систему DISC для оценки людей, которая поможет хаотичные мысли сложить в систему.

https://huntflow.media/disc/

От себя добавлю, что для работы с проблемами актуальны:
Метод 5 почему
Диаграмма Исикавы
SWOT-анализ
Модель Enterprise Value Map
ТРИЗ

Они более высокоуровневые, но тимлиду надо расти 😉

Помните мы недавно писали про ИИ-агента Manus? Так вот, теперь вышел... ANUS (Autonomous Networked Utility System) — бесплатный клон Manus AI.

Всё просто: разработчик попросил Manus клонировать себя, что нейронка и сделала. Результатом стала полностью функциональная структура агента с открытым кодом, архитектурой и документацией, воссозданная за считанные минуты.

Основные возможности:
– Выполнение сложных задач через естественный язык;
– Взаимодействие между несколькими агентами;
– Работа с веб-ресурсами, документами, кодом;
– Обработка текста, изображений и аудио.

Также ANUS можно расширить плагинами и кастомными инструментами.

Если хотите попробовать ANUS, то гитхаб тут

r/#singularity

#prompt

AI Prompting Tips from a Power User: How to Get Way Better Responses

# 1. Stop Asking AI to “Write X” and Start Giving It a Damn Framework

AI is great at filling in blanks. It’s bad at figuring out what you actually want. So, make it easy for the poor thing.

🚫 Bad prompt: “Write an essay about automation.”
✅ Good prompt:

Title: [Insert Here]
Thesis: [Main Argument]
Arguments:
- [Key Point #1]
- [Key Point #2]
- [Key Point #3]
Counterarguments:
- [Opposing View #1]
- [Opposing View #2]
Conclusion: [Wrap-up Thought]


Now AI actually has a structure to follow, and you don’t have to spend 10 minutes fixing a rambling mess.

Or, if you’re making characters, force it into a structured format like JSON:

{
"name": "John Doe",
"archetype": "Tragic Hero",
"motivation": "Wants to prove himself to a world that has abandoned him.",
"conflicts": {
"internal": "Fear of failure",
"external": "A rival who embodies everything he despises."
},
"moral_alignment": "Chaotic Good"
}


Ever get annoyed when AI contradicts itself halfway through a story? This fixes that.

# 2. The “Lazy Essay” Trick (or: How to Get AI to Do 90% of the Work for You)

If you need AI to actually write something useful instead of spewing generic fluff, use this four-part scaffolded prompt:

Assignment: [Short, clear instructions]
Quotes: [Any key references or context]
Notes: [Your thoughts or points to include]
Additional Instructions: [Structure, word limits, POV, tone, etc.]


🚫 Bad prompt: “Tell me how automation affects jobs.”
✅ Good prompt:

Assignment: Write an analysis of how automation is changing the job market.
Quotes: “AI doesn’t take jobs; it automates tasks.” - Economist
Notes:
- Affects industries unevenly.
- High-skill jobs benefit; low-skill jobs get automated.
- Government policy isn’t keeping up.
Additional Instructions:
- Use at least three industry examples.
- Balance positives and negatives.


Why does this work? Because AI isn’t guessing what you want, it’s building off your input.

# 3. Never Accept the First Answer—It’s Always Mid

Like any writer, AI’s first draft is never its best work. If you’re accepting whatever it spits out first, you’re doing it wrong.

How to fix it:

1. First Prompt: “Explain the ethics of AI decision-making in self-driving cars.”
2. Refine: “Expand on the section about moral responsibility—who is legally accountable?”
3. Refine Again: “Add historical legal precedents related to automation liability.”

Each round makes the response better. Stop settling for autopilot answers.

# 4. Make AI Pick a Side (Because It’s Too Neutral Otherwise)

AI tries way too hard to be balanced, which makes its answers boring and generic. Force it to pick a stance.

🚫 Bad: “Explain the pros and cons of universal basic income.”
✅ Good: “Defend universal basic income as a long-term economic solution and refute common criticisms.”

Or, if you want even more depth:
✅ “Make a strong argument in favor of UBI from a socialist perspective, then argue against it from a libertarian perspective.”

This forces AI to actually generate arguments, instead of just listing pros and cons like a high school essay.

# 5. Fixing Bad Responses: Change One Thing at a Time

If AI gives a bad answer, don’t just start over—fix one part of the prompt and run it again.

* Too vague? Add constraints.
* Mid: “Tell me about the history of AI.”
* Better: “Explain the history of AI in five key technological breakthroughs.”
* Too complex? Simplify.
* Mid: “Describe the implications of AI governance on international law.”
* Better: “Explain how AI laws differ between the US and EU in simple terms.”
* Too shallow? Ask for depth.
* Mid: “What are the problems with automation?”
* Better: “What are the five biggest criticisms of automation, ranked by impact?”

Tiny tweaks = way better results.