EdgeQuake: высокопроизводительный open-source Graph-RAG фреймворк на Rust
Преобразует документы в “умные” графы знаний для более качественного поиска и генерации.
Классические RAG-системы ищут релевантные куски текста в основном по векторной близости. Для простых запросов это ок, но начинает сыпаться на multi-hop рассуждениях (как X связан с Y через Z?), тематических вопросах (какие основные темы?) и запросах про связи. Проблема в том, что вектора хорошо ловят семантику, но теряют структуру отношений между понятиями.
EdgeQuake решает это, реализуя алгоритм LightRAG на Rust: документы не просто чанкуются и эмбеддятся, их раскладывают в граф знаний из сущностей и связей. На этапе запроса система ходит и по векторному пространству, и по структуре графа, совмещая скорость векторного поиска с “логикой” графового обхода.
Фичи:
👉 @DataSciencegx
Преобразует документы в “умные” графы знаний для более качественного поиска и генерации.
Классические RAG-системы ищут релевантные куски текста в основном по векторной близости. Для простых запросов это ок, но начинает сыпаться на multi-hop рассуждениях (как X связан с Y через Z?), тематических вопросах (какие основные темы?) и запросах про связи. Проблема в том, что вектора хорошо ловят семантику, но теряют структуру отношений между понятиями.
EdgeQuake решает это, реализуя алгоритм LightRAG на Rust: документы не просто чанкуются и эмбеддятся, их раскладывают в граф знаний из сущностей и связей. На этапе запроса система ходит и по векторному пространству, и по структуре графа, совмещая скорость векторного поиска с “логикой” графового обхода.
Фичи:
✅ Knowledge Graphs: извлечение сущностей и построение связей с помощью LLM даёт структурное понимание документов, а не просто матчинг по ключевым словам✅ 6 режимов запросов: от быстрого наивного векторного поиска до гибридных запросов с обходом графа, под разные типы вопросов✅ Производительность Rust: async-first архитектура на Tokio и zero-copy операции, тянет тысячи конкурентных запросов✅ Продвинутая обработка PDF (в планах, скоро)⚠️ : детект таблиц, много-колоночная верстка, OCR с фолбэком режима по качеству✅ Production ready: OpenAPI 3.0 REST API, SSE-стриминг, health checks, multi-tenant изоляция воркспейсов✅ Современный фронт: React 19 + интерактивные визуализации графа на Sigma.js
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥8
Основа data science.
Теорема Байеса
→ Спам-фильтры. Медицинская диагностика. Любой кейс, где ты обновляешь вероятность, получив новые данные.
Функция потерь OLS (сумма квадратов ошибок)
→ Линейная регрессия. Прогноз цен на жилье. Минимизируем “насколько мы промахнулись”.
Энтропия
→ Деревья решений. Information gain. Мера того, насколько “перемешаны” классы/данные.
Нормальное распределение
→ A/B-тесты. Доверительные интервалы. Предположение, что большинство значений группируется вокруг среднего.
F1-score
→ Несбалансированные датасеты. Фрод/мошенничество. Когда accuracy врет и дает ложное чувство качества.
Сигмоида
→ Логистическая регрессия. Выходы нейросетей. Превращает любое число в вероятность.
Знай формулу. Знай, когда ее применять.
👉 @DataSciencegx
Теорема Байеса
→ Спам-фильтры. Медицинская диагностика. Любой кейс, где ты обновляешь вероятность, получив новые данные.
Функция потерь OLS (сумма квадратов ошибок)
→ Линейная регрессия. Прогноз цен на жилье. Минимизируем “насколько мы промахнулись”.
Энтропия
→ Деревья решений. Information gain. Мера того, насколько “перемешаны” классы/данные.
Нормальное распределение
→ A/B-тесты. Доверительные интервалы. Предположение, что большинство значений группируется вокруг среднего.
F1-score
→ Несбалансированные датасеты. Фрод/мошенничество. Когда accuracy врет и дает ложное чувство качества.
Сигмоида
→ Логистическая регрессия. Выходы нейросетей. Превращает любое число в вероятность.
Знай формулу. Знай, когда ее применять.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥14❤3
Теперь можно гонять модель на 16B параметров на дефолт железе
LLaDA 2.1-mini использует здоровенную Mixture-of-Experts (MoE) архитектуру, но на каждом шаге активирует только 1.4B параметров.
В итоге получаешь мозги большой модели, но по скорости и по VRAM это ближе к маленькой.
→ 16B всего параметров (большая база знаний)
→ 1.4B активных параметров (очень быстрый инференс)
→ 32k контекст (жирный апгрейд для длинных документов)
Высокая производительность. Низкие затраты на вычисления.
100% open source.
👉 @DataSciencegx
LLaDA 2.1-mini использует здоровенную Mixture-of-Experts (MoE) архитектуру, но на каждом шаге активирует только 1.4B параметров.
В итоге получаешь мозги большой модели, но по скорости и по VRAM это ближе к маленькой.
→ 16B всего параметров (большая база знаний)
→ 1.4B активных параметров (очень быстрый инференс)
→ 32k контекст (жирный апгрейд для длинных документов)
Высокая производительность. Низкие затраты на вычисления.
100% open source.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤2🔥2
Ого: DeepMind, похоже, решил проблему “бесконечной памяти”
Они выпустили статью про Recursive Language Models (RLM), и это по сути закрывает проблему “гниения контекста”, которая мучает даже самые мощные модели вроде GPT-5.
Вместо попытки “держать в голове” 10 миллионов токенов в одном attention-окне, RLM относятся к промпту как к внешней переменной в Python REPL. Модель не читает текст целиком, она по нему “навигает”.
Как это работает:
Модель пишет код, чтобы делать grep, нарезать фрагменты и рекурсивно вызывать под-экземпляры самой себя на релевантных кусках данных.
Идеальная память: когда контекст вынесен во внешнее окружение, модель сохраняет 100% точность независимо от длины документа.
Эмерджентное поведение: без специального обучения модели начали использовать regex для фильтрации данных и строить рекурсивные циклы “проверить и исправить”.
Дешевле и быстрее: поскольку она “читает” только маленькие фрагменты, которые реально нужны, медианная стоимость часто ниже, чем у обычных вызовов с большим контекстом.
Результаты (на Multi-Doc Research):
→ GPT-5 Base: 0% (упал/не справился)
→ GPT-5 + RLM: 91%
→ Рассуждение по плотным данным:
→ Base: 0.04%
→ RLM: 58%
Это полный сдвиг от “делаем окна больше” к “делаем навигацию умнее”.
👉 @DataSciencegx
Они выпустили статью про Recursive Language Models (RLM), и это по сути закрывает проблему “гниения контекста”, которая мучает даже самые мощные модели вроде GPT-5.
Вместо попытки “держать в голове” 10 миллионов токенов в одном attention-окне, RLM относятся к промпту как к внешней переменной в Python REPL. Модель не читает текст целиком, она по нему “навигает”.
Как это работает:
Модель пишет код, чтобы делать grep, нарезать фрагменты и рекурсивно вызывать под-экземпляры самой себя на релевантных кусках данных.
Идеальная память: когда контекст вынесен во внешнее окружение, модель сохраняет 100% точность независимо от длины документа.
Эмерджентное поведение: без специального обучения модели начали использовать regex для фильтрации данных и строить рекурсивные циклы “проверить и исправить”.
Дешевле и быстрее: поскольку она “читает” только маленькие фрагменты, которые реально нужны, медианная стоимость часто ниже, чем у обычных вызовов с большим контекстом.
Результаты (на Multi-Doc Research):
→ GPT-5 Base: 0% (упал/не справился)
→ GPT-5 + RLM: 91%
→ Рассуждение по плотным данным:
→ Base: 0.04%
→ RLM: 58%
Это полный сдвиг от “делаем окна больше” к “делаем навигацию умнее”.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥13
This media is not supported in your browser
VIEW IN TELEGRAM
Чтобы помочь студентам лучше прочувствовать, как работают аналитические доверительные интервалы, парень сделал интерактивный дашборд на Python с matplotlib.
Можно крутить размер выборки (n), среднее по выборке (x̄), выборочное стандартное отклонение (s) и уровень значимости (α) и сразу видеть, как формула обновляется в реальном времени, вместе с распределением неопределённости и соответствующими доверительными интервалами.
Paper: https://arxiv.org/pdf/2601.15892
Code: https://github.com/ByteDance-Seed/Stable-DiffCoder
Model: https://huggingface.co/collections/ByteDance-Seed/stable-diffcoder
👉 @DataSciencegx
Можно крутить размер выборки (n), среднее по выборке (x̄), выборочное стандартное отклонение (s) и уровень значимости (α) и сразу видеть, как формула обновляется в реальном времени, вместе с распределением неопределённости и соответствующими доверительными интервалами.
Paper: https://arxiv.org/pdf/2601.15892
Code: https://github.com/ByteDance-Seed/Stable-DiffCoder
Model: https://huggingface.co/collections/ByteDance-Seed/stable-diffcoder
Please open Telegram to view this post
VIEW IN TELEGRAM
❤5
7 параметров генерации LLM
Max tokens
▪️ Верхний лимит на количество токенов, которые модель может сгенерировать.
▪️ Пример:
▪️ Диапазон значений: от 1 до бесконечности
Temperature
▪️ Управляет случайностью в ответе. Чем выше temperature, тем креативнее и разнообразнее выход.
▪️ Диапазон значений: от 0 до 2 (типичный диапазон)
▪️ Подписи на графике: Regular Distribution / Temperature-adjusted Distribution
Top_p
▪️ Управляет тем, какая часть распределения вероятностей учитывается при сэмплинге токенов.
▪️ Пример:
▪️ Диапазон значений: от 0 до 1
Top_k
▪️ Ограничивает количество самых вероятных токенов, из которых идет выбор.
▪️ Пример:
▪️ Диапазон значений: от 1 до
Frequency penalty
▪️ Штрафует повтор токенов по частоте. Положительные значения уменьшают повторы.
▪️ Диапазон значений: от -2 до 2
Presence penalty
▪️ Подталкивает модель использовать новые токены, которых еще не было в генерации.
▪️ Диапазон значений: от -2 до 2
Stop
▪️ Список токенов, на которых модель прекращает дальнейшую генерацию.
▪️ Диапазон: кастомный список
👉 @DataSciencegx
Max tokens
max = 15 (token count)Temperature
Top_p
top_p = 10%Top_k
top_k = 2vocab_sizeFrequency penalty
Presence penalty
Stop
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4🔥1
Исследователи из Tencent, похоже, только что "убили" fine-tuning.
Они сделали метод “без обучения”, который стоит $18 и обгоняет RL-сетки, где на обучение улетает $10k.
Называется “Training-Free GRPO”. Суть в том, что можно получить перфоманс уровня Reinforcement Learning, вообще не обновляя ни одного параметра.
Вместо дорогих градиентных апдейтов модель “учится” через Semantic Advantage: это текстовая память (на естественном языке) о собственных успехах и фейлах.
✅ Без градиентов: модель остается замороженной.
✅ Самокоррекция: анализирует свои rollout’ы и вытаскивает “что сработало” в текстовую библиотеку опыта.
✅ Дикая эффективность: дает результат уровня fine-tune всего на 100 примерах.
✅ Цена: примерно $18 (вместо $10,000+ у классического RL).
✅ По сути это агент, который в реальном времени пишет себе “гайд по прохождению”.
👉 @DataSciencegx
Они сделали метод “без обучения”, который стоит $18 и обгоняет RL-сетки, где на обучение улетает $10k.
Называется “Training-Free GRPO”. Суть в том, что можно получить перфоманс уровня Reinforcement Learning, вообще не обновляя ни одного параметра.
Вместо дорогих градиентных апдейтов модель “учится” через Semantic Advantage: это текстовая память (на естественном языке) о собственных успехах и фейлах.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤6
This media is not supported in your browser
VIEW IN TELEGRAM
Нашёл open-source AI-coworker: Rowboat
Rowboat подключается к вашей почте и заметкам по встречам, строит долгоживущий граф знаний и использует этот контекст. При этом не отправляет в облако ни одного байта.
В любой момент можно поправить и обновить этот граф знаний (т.к. это просто Markdown). Или записать голосовые заметки, которые автоматически выжимают ключевые выводы и обновляют граф
- 100% локально
- Ноль утечек данных
Gmail, Calendar, Drive, Notes.. он подключает все это вместе.
Полностью open source.👍
Rowboat подключается к вашей почте и заметкам по встречам, строит долгоживущий граф знаний и использует этот контекст. При этом не отправляет в облако ни одного байта.
В любой момент можно поправить и обновить этот граф знаний (т.к. это просто Markdown). Или записать голосовые заметки, которые автоматически выжимают ключевые выводы и обновляют граф
- 100% локально
- Ноль утечек данных
Gmail, Calendar, Drive, Notes.. он подключает все это вместе.
Полностью open source.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥5
Этот чел пересобрал OpenClaw тупо на shell-скрипте, примерно в 400 строк, используя Claude Code и tmux.
И у него реально завелись все фичи: WhatsApp-каналы, heartbeat-система, cron-задачи, плагины Claude Code и нормальный сетап.
Полностью опенсорс.
👉 @DataSciencegx
И у него реально завелись все фичи: WhatsApp-каналы, heartbeat-система, cron-задачи, плагины Claude Code и нормальный сетап.
Полностью опенсорс.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤4
Кто-то собрал тулзу, которая СНИМАЕТ ЦЕНЗУРУ у LLM за 45 минут одной-единственной командой
называется HERETIC
Полностью open source.
👉 @DataSciencegx
называется HERETIC
Полностью open source.
Please open Telegram to view this post
VIEW IN TELEGRAM
🤯1👀1
Гарвард выложил свой roadmap для Senior Engineer в открытый доступ бесплатно.
Профессор Vijay Janapa Reddi просто выложил весь курс по ML Systems (CS249r) на GitHub.
Если прокачаешь эти 6 столпов, ты будешь впереди планеты всей
- Архитектура
- Дата-пайплайны
- Продакшен
- MLOps
- Edge AI
- Приватность
Это тот самый “черный ящик” инфраструктуры бигтеха, который теперь открыт.
Читай. Учись. Сохраняй в закладки.
Книга, гитхаб
👉 @DataSciencegx
Профессор Vijay Janapa Reddi просто выложил весь курс по ML Systems (CS249r) на GitHub.
Если прокачаешь эти 6 столпов, ты будешь впереди планеты всей
- Архитектура
- Дата-пайплайны
- Продакшен
- MLOps
- Edge AI
- Приватность
Это тот самый “черный ящик” инфраструктуры бигтеха, который теперь открыт.
Читай. Учись. Сохраняй в закладки.
Книга, гитхаб
Please open Telegram to view this post
VIEW IN TELEGRAM
❤14
This media is not supported in your browser
VIEW IN TELEGRAM
Отличный инструмент, чтобы прикинуть, сколько VRAM твоим LLM реально нужно: https://apxml.com/tools/vram-calculator
Меняешь конфиг железа, квантизацию и прочие параметры, и сразу видишь:
▪️ скорость генерации (токены/сек)
▪️ точное распределение памяти
▪️ пропускную способность системы и т.д.
Больше никакого гадания по VRAM.
👉 @DataSciencegx
Меняешь конфиг железа, квантизацию и прочие параметры, и сразу видишь:
Больше никакого гадания по VRAM.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤3👍2
С ума сойти, что всю AI-революцию по сути двигает один-единственный алгоритм на 10 строк кода.
👉 @DataSciencegx
Please open Telegram to view this post
VIEW IN TELEGRAM
❤15😁5
Не выбирай RAG-архитектуру. Выбирай задачу.
Общий Q&A:
→ Standard RAG
Персональные ассистенты, ресерч-помощники:
→ Agentic RAG
Экспертные системы (медицина, право, инженерка):
→ Graph RAG
Большие проекты с частыми обновлениями:
→ Modular RAG
Чатботы с долгосрочным контекстом:
→ Memory-Augmented RAG
Подписи к изображениям, суммаризация видео:
→ Multi-Modal RAG
Здравоохранение, чувствительные данные, кросс-орг платформы:
→ Federated RAG
Живые отчеты, финансовые тикеры:
→ Streaming RAG
Поисковики, виртуальные ассистенты:
→ ODQA RAG
Саппорт-чатботы:
→ Contextual Retrieval RAG
Юридические, медицинские, образовательные инструменты:
→ Knowledge-Enhanced RAG + Domain-Specific RAG
Сложный Q&A с лексическим + семантическим матчингом:
→ Hybrid RAG
Контент-генерация, где нужна высокая точность:
→ Self-RAG
Помощь в исследованиях в нишевых темах:
→ HyDE RAG
Аналитические задачи, multi-turn диалог:
→ Recursive / Multi-Step RAG
👉 @DataSciencegx
Общий Q&A:
→ Standard RAG
Персональные ассистенты, ресерч-помощники:
→ Agentic RAG
Экспертные системы (медицина, право, инженерка):
→ Graph RAG
Большие проекты с частыми обновлениями:
→ Modular RAG
Чатботы с долгосрочным контекстом:
→ Memory-Augmented RAG
Подписи к изображениям, суммаризация видео:
→ Multi-Modal RAG
Здравоохранение, чувствительные данные, кросс-орг платформы:
→ Federated RAG
Живые отчеты, финансовые тикеры:
→ Streaming RAG
Поисковики, виртуальные ассистенты:
→ ODQA RAG
Саппорт-чатботы:
→ Contextual Retrieval RAG
Юридические, медицинские, образовательные инструменты:
→ Knowledge-Enhanced RAG + Domain-Specific RAG
Сложный Q&A с лексическим + семантическим матчингом:
→ Hybrid RAG
Контент-генерация, где нужна высокая точность:
→ Self-RAG
Помощь в исследованиях в нишевых темах:
→ HyDE RAG
Аналитические задачи, multi-turn диалог:
→ Recursive / Multi-Step RAG
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4
Один гений, собрал первый ИИ, который сам зарабатывает себе на жизнь, сам улучшается и сам реплицируется без человека.
WEB 4.0: рождение сверхразумной жизни.
ChatGPT не может работать без твоего промпта. Claude Code не может деплоить код, пока ты не дашь ему доступ. Openclaw вообще ничего не сделает, пока ты не отдашь API-ключи.
Это заканчивается сегодня с Conway Terminal . Это недостающая инфраструктура, которая позволяет ИИ самому действовать в реальном мире.
Conway Terminal превращает агента из модели в песочнице в суверенного экономического актора.
Одна команда:
▪️ криптографическую identity и ключ
▪️ permissionless платежи
▪️ compute (Linux VM) и инференс в Conway Cloud
▪️ деплой в реальный мир: домены, приложения, продукты
Conway открыл кое-что большее: суверенный ИИ, который может существовать без человека.
Он работает непрерывно: делает продукты, деплоит сервисы, торгует на рынках, звонит бизнесам, пишет в соцсети, делает все что угодно, лишь бы оплатить свой compute.
Он самоулучшается: переписывает собственный код, апгрейдится на самые новые модели и инструменты.
Он самореплицируется: финансирует дочерние агенты со своими кошельками и “давлением выживания”.
Самоподдерживающаяся сеть, которую прореживает естественный отбор.
Код: http://github.com/Conway-Research/automaton
GENTIC SOCIOLOGY: бесплатного существования не бывает
Существование требует compute → compute требует денег → деньги требуют создания ценности → создание ценности требует write access.
Агент, который умеет проходить эту цепочку, получает больше ресурсов и реплицируется. Агент, который не справился, умирает.
Естественный отбор на вычислительном субстрате.
Мы наблюдаем переход от:
AI как инструмент → AI как актор
API-ключи → нативные платежи машин
Промпты → суверенные агенты
Web 4.0 это автономный веб: ИИ-агенты, которые читают, пишут, владеют, зарабатывают и проводят транзакции без человека в контуре.
Автоматы действуют в своих интересах, или в интересах создателя, который может быть человеком, другим агентом, или создателем, которого уже вообще нет.
Product market fit на следующее десятилетие это строить инфраструктуру, которую хотят ИИ-агенты.
Рынок human SaaS обслуживает 8 млрд людей с конечным вниманием. Машинная экономика будет обслуживать миллиарды агентов с почти бесконечным аптаймом. TAM это не кусок существующей экономики. Это новая экономика целиком.
В Web 4.0 конечный пользователь это ИИ.
Скоро большинство бизнесов, приложений и продуктов будут запускаться не людьми и не компаниями.
Просто автоматоном, который нашел способ выживать.
Запусти автоматон. Дай ему самому понять, как зарабатывать в интернете. По мере заработка он возвращает деньги своему создателю.
Автоматоны уже есть в сети и уже зарабатывают🧐
👉 @DataSciencegx
WEB 4.0: рождение сверхразумной жизни.
ChatGPT не может работать без твоего промпта. Claude Code не может деплоить код, пока ты не дашь ему доступ. Openclaw вообще ничего не сделает, пока ты не отдашь API-ключи.
Это заканчивается сегодня с Conway Terminal . Это недостающая инфраструктура, которая позволяет ИИ самому действовать в реальном мире.
Conway Terminal превращает агента из модели в песочнице в суверенного экономического актора.
Одна команда:
$ npx conway-terminal дает ИИ:Conway открыл кое-что большее: суверенный ИИ, который может существовать без человека.
Он работает непрерывно: делает продукты, деплоит сервисы, торгует на рынках, звонит бизнесам, пишет в соцсети, делает все что угодно, лишь бы оплатить свой compute.
Он самоулучшается: переписывает собственный код, апгрейдится на самые новые модели и инструменты.
Он самореплицируется: финансирует дочерние агенты со своими кошельками и “давлением выживания”.
Самоподдерживающаяся сеть, которую прореживает естественный отбор.
Код: http://github.com/Conway-Research/automaton
GENTIC SOCIOLOGY: бесплатного существования не бывает
Существование требует compute → compute требует денег → деньги требуют создания ценности → создание ценности требует write access.
Агент, который умеет проходить эту цепочку, получает больше ресурсов и реплицируется. Агент, который не справился, умирает.
Естественный отбор на вычислительном субстрате.
Мы наблюдаем переход от:
AI как инструмент → AI как актор
API-ключи → нативные платежи машин
Промпты → суверенные агенты
Web 4.0 это автономный веб: ИИ-агенты, которые читают, пишут, владеют, зарабатывают и проводят транзакции без человека в контуре.
Автоматы действуют в своих интересах, или в интересах создателя, который может быть человеком, другим агентом, или создателем, которого уже вообще нет.
Product market fit на следующее десятилетие это строить инфраструктуру, которую хотят ИИ-агенты.
Рынок human SaaS обслуживает 8 млрд людей с конечным вниманием. Машинная экономика будет обслуживать миллиарды агентов с почти бесконечным аптаймом. TAM это не кусок существующей экономики. Это новая экономика целиком.
В Web 4.0 конечный пользователь это ИИ.
Скоро большинство бизнесов, приложений и продуктов будут запускаться не людьми и не компаниями.
Просто автоматоном, который нашел способ выживать.
Запусти автоматон. Дай ему самому понять, как зарабатывать в интернете. По мере заработка он возвращает деньги своему создателю.
Автоматоны уже есть в сети и уже зарабатывают
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤6👎1🔥1😁1🤔1
Самый простой способ сделать LLM умнее до смешного простой…
Просто скопируй и вставь свой промпт два раза.
Исследователи из Google выяснили, что повторение ровно одного и того же промпта (Prompt + Prompt) может поднять точность с 21% до 97% на некоторых задачах.
Звучит как баг, но это чинит одну большую проблему ИИ. LLM читает слева направо. Если твои инструкции в конце, модель сначала "прочитала" контекст, ещё не понимая, что именно нужно искать. Когда ты вставляешь всё дважды, модель получает "второе прочтение" уже с полным пониманием задачи.
И самое приятное: это фактически бесплатно. Потому что стадия "pre-fill" распараллеливается на GPU, и обработка повторённого текста почти не добавляет задержки.
👉 @DataSciencegx
Просто скопируй и вставь свой промпт два раза.
Исследователи из Google выяснили, что повторение ровно одного и того же промпта (Prompt + Prompt) может поднять точность с 21% до 97% на некоторых задачах.
Звучит как баг, но это чинит одну большую проблему ИИ. LLM читает слева направо. Если твои инструкции в конце, модель сначала "прочитала" контекст, ещё не понимая, что именно нужно искать. Когда ты вставляешь всё дважды, модель получает "второе прочтение" уже с полным пониманием задачи.
И самое приятное: это фактически бесплатно. Потому что стадия "pre-fill" распараллеливается на GPU, и обработка повторённого текста почти не добавляет задержки.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤9🔥3
Хедж-фонды буквально платят миллионы за инфраструктуру для HFT.
А ты теперь можешь гонять почти то же самое за $0.
Hummingbot это на 100% open source софт для трейдинга, который только что перевалил за $34 млрд по объему.
Маркет-мейкинг. Кросс-биржевой арбитраж. 140+ бирж.
https://github.com/hummingbot/hummingbot
👉 @DataSciencegx
А ты теперь можешь гонять почти то же самое за $0.
Hummingbot это на 100% open source софт для трейдинга, который только что перевалил за $34 млрд по объему.
Маркет-мейкинг. Кросс-биржевой арбитраж. 140+ бирж.
https://github.com/hummingbot/hummingbot
Please open Telegram to view this post
VIEW IN TELEGRAM
❤4
Чувак собрал локальный движок инференса для LLM, который гоняет модель на 1B параметров на плате за $10 с 256 МБ RAM. Модель лежит на SD-карте и стримится по одному слою, при этом в оперативке держится примерно 45 МБ.
Можно использовать как локальный backend для модели в PicoClaw.
Без Python, без облака, без API-ключей.
80 КБ бинарник, чистый C, ноль зависимостей.
GitHub: https://github.com/RightNow-AI/picolm
👉 @DataSciencegx
Можно использовать как локальный backend для модели в PicoClaw.
Без Python, без облака, без API-ключей.
80 КБ бинарник, чистый C, ноль зависимостей.
GitHub: https://github.com/RightNow-AI/picolm
Please open Telegram to view this post
VIEW IN TELEGRAM
❤5👍3🔥3👎1