Вышла приятная обзорка по методам посттренинга LLMов и по ризонингу. С красивыми табличками, схемками.

Много про разного вида RL который можно применять, цепочки рассуждений, test-time scaling и вот это все
Читаем!

LLM Post-Training: A Deep Dive into Reasoning Large Language Models
https://arxiv.org/abs/2502.21321

И конечно же листик пособирали, тоже приятный.

https://github.com/mbzuai-oryx/Awesome-LLM-Post-training

PS собираемся и собираем все крутое по нейронкам тут https://t.me/researchim

🤖 Рубрика крутые инструкции от AWS:
Построение мультиагентной системы на базе AWS, LangGraph и Mistral

Система собирает информацию о городе из разных источников: события (локальная база + поиск онлайн), погода, рестораны. И всё работает в связке:

workflow.add_node("Events Database Agent", events_database_agent)
workflow.add_node("Online Search Agent", search_agent)
workflow.add_node("Weather Agent", weather_agent)
workflow.add_node("Restaurants Recommendation Agent", query_restaurants_agent)
workflow.add_node("Analysis Agent", analysis_agent)

Если в локальной базе нет событий, она автоматически ищет информацию через Tavily API:

def route_events(state):
    if f"No upcoming events found for {state.city}" in state.events_result:
        return "Online Search Agent"
    else:
        return "Weather Agent"

1. Модульность — можно быстро заменить/обновить любого агента, не ломая всю систему
2. Гибкость — каждый агент можно оптимизировать под конкретную задачу
3. Безопасность — у каждого агента доступ только к тем инструментам, которые ему нужны

«Агенты революционизируют ландшафт генеративного ИИ, соединяя крупные языковые модели с приложениями реального мира. Эти умные, автономные системы скоро станут краеугольным камнем внедрения ИИ в разных отраслях»

Вся система собрана на LangGraph, который управляет состоянием и потоками данных между агентами.

Для поиска ресторанов используется RAG с Amazon Titan Embeddings + FAISS, хотя в статье рекомендуют для продакшена использовать Amazon Bedrock Knowledge Bases.

#AWS #LangGraph #Agents #MistralAI
———
@tsingular

🚀LADDER: LLM учится решать задачи как человек - от простого к сложному

Исследователи из Tufa Labs разработали подход LADDER (Learning through Autonomous Difficulty-Driven Example Recursion), позволяющий моделям учиться на декомпозиции сложных задач.

Суть в том, что модель сама генерирует более простые варианты сложной задачи, образуя естественный градиент сложности.

Она решает эти упрощенные варианты и постепенно учится решать всё более сложные задачи — без участия человека! 🤯

🧪 Технические детали, которые делают этот метод особенным:
1. Рекурсивное разложение проблемы: Модель генерирует дерево вариантов, где каждый новый уровень проще предыдущего. Важно, что сама модель определяет, как упростить задачу.

2. Верификация решений: на математической задаче из примера для проверки используется численное интегрирование, которое дает достоверную проверку.

3. Reinforcement Learning (GRPO): Применяется Group Relative Policy Optimization без отдельной критической модели, что экономит память и повышает эффективность.

4. TTRL (Test-Time Reinforcement Learning): Когда модель сталкивается с новой сложной задачей на этапе тестирования, она генерирует для неё варианты прямо во время вывода!

🔥 Результаты просто огонь:
- Модель Llama 3.2 3B улучшила точность с 1% до 82% на университетских интегралах

- 7B модель достигла 73% на экзамене MIT Integration Bee, превзойдя GPT-4o (42%)

- После TTRL та же 7B модель достигла 90% на MIT Integration Bee, перегнав даже OpenAI o1 (80%)

Да, вы правильно поняли — 7-миллиардная модель ОБОШЛА топовые модели с триллионами параметров! И это без дополнительной архитектурной оптимизации и человеческого фидбека.

💼 Бизнес-применение:
1. Экономия на вычислительных ресурсах: зачем платить за огромные модели, если можно научить маленькие?
2. Создание узкоспециализированных решений с меньшими бюджетами: можно взять маленькую модель и научить её конкретной задаче.
3. Edge-устройства: теперь реально делать локальные приложения с продвинутым мышлением на слабом железе.

Кажется, наконец-то появится альтернатива подходу "залить всё железом". LADDER открывает дверь к более эффективным моделям без безумного масштабирования.

Т.е. 5090 пока не покупаем :)

#LADDER #RL #mathematics