Data Portal | DS & ML
8.41K subscribers
371 photos
108 videos
4 files
490 links
Всё самое интересное из мира Data Science и машинного обучения

Связь: @devmangx
Download Telegram
7 параметров генерации LLM

Max tokens

▪️Верхний лимит на количество токенов, которые модель может сгенерировать.
▪️Пример: max = 15 (token count)
▪️Диапазон значений: от 1 до бесконечности

Temperature

▪️Управляет случайностью в ответе. Чем выше temperature, тем креативнее и разнообразнее выход.
▪️Диапазон значений: от 0 до 2 (типичный диапазон)
▪️Подписи на графике: Regular Distribution / Temperature-adjusted Distribution

Top_p

▪️Управляет тем, какая часть распределения вероятностей учитывается при сэмплинге токенов.
▪️Пример: top_p = 10%
▪️Диапазон значений: от 0 до 1

Top_k

▪️Ограничивает количество самых вероятных токенов, из которых идет выбор.
▪️Пример: top_k = 2
▪️Диапазон значений: от 1 до vocab_size

Frequency penalty

▪️Штрафует повтор токенов по частоте. Положительные значения уменьшают повторы.
▪️Диапазон значений: от -2 до 2

Presence penalty

▪️Подталкивает модель использовать новые токены, которых еще не было в генерации.
▪️Диапазон значений: от -2 до 2

Stop

▪️Список токенов, на которых модель прекращает дальнейшую генерацию.
▪️Диапазон: кастомный список

👉 @DataSciencegx
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5🔥1
Исследователи из Tencent, похоже, только что "убили" fine-tuning.

Они сделали метод “без обучения”, который стоит $18 и обгоняет RL-сетки, где на обучение улетает $10k.

Называется “Training-Free GRPO”. Суть в том, что можно получить перфоманс уровня Reinforcement Learning, вообще не обновляя ни одного параметра.

Вместо дорогих градиентных апдейтов модель “учится” через Semantic Advantage: это текстовая память (на естественном языке) о собственных успехах и фейлах.

Без градиентов: модель остается замороженной.
Самокоррекция: анализирует свои rollout’ы и вытаскивает “что сработало” в текстовую библиотеку опыта.
Дикая эффективность: дает результат уровня fine-tune всего на 100 примерах.
Цена: примерно $18 (вместо $10,000+ у классического RL).
По сути это агент, который в реальном времени пишет себе “гайд по прохождению”.

👉 @DataSciencegx
Please open Telegram to view this post
VIEW IN TELEGRAM
7
This media is not supported in your browser
VIEW IN TELEGRAM
Нашёл open-source AI-coworker: Rowboat

Rowboat подключается к вашей почте и заметкам по встречам, строит долгоживущий граф знаний и использует этот контекст. При этом не отправляет в облако ни одного байта.

В любой момент можно поправить и обновить этот граф знаний (т.к. это просто Markdown). Или записать голосовые заметки, которые автоматически выжимают ключевые выводы и обновляют граф

- 100% локально
- Ноль утечек данных

Gmail, Calendar, Drive, Notes.. он подключает все это вместе.

Полностью open source. 👍
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥7
Этот чел пересобрал OpenClaw тупо на shell-скрипте, примерно в 400 строк, используя Claude Code и tmux.

И у него реально завелись все фичи: WhatsApp-каналы, heartbeat-система, cron-задачи, плагины Claude Code и нормальный сетап.

Полностью опенсорс.

👉 @DataSciencegx
Please open Telegram to view this post
VIEW IN TELEGRAM
5
Кто-то собрал тулзу, которая СНИМАЕТ ЦЕНЗУРУ у LLM за 45 минут одной-единственной командой

называется HERETIC

Полностью open source.

👉 @DataSciencegx
Please open Telegram to view this post
VIEW IN TELEGRAM
🤯2👀1
Кто-то сделал опенсорсную тулзу, которая запускает iOS-приложения без установки.

👉 @DataSciencegx
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥9
Гарвард выложил свой roadmap для Senior Engineer в открытый доступ бесплатно.

Профессор Vijay Janapa Reddi просто выложил весь курс по ML Systems (CS249r) на GitHub.

Если прокачаешь эти 6 столпов, ты будешь впереди планеты всей

- Архитектура
- Дата-пайплайны
- Продакшен
- MLOps
- Edge AI
- Приватность

Это тот самый “черный ящик” инфраструктуры бигтеха, который теперь открыт.

Читай. Учись. Сохраняй в закладки.

Книга, гитхаб

👉 @DataSciencegx
Please open Telegram to view this post
VIEW IN TELEGRAM
15
This media is not supported in your browser
VIEW IN TELEGRAM
Отличный инструмент, чтобы прикинуть, сколько VRAM твоим LLM реально нужно: https://apxml.com/tools/vram-calculator

Меняешь конфиг железа, квантизацию и прочие параметры, и сразу видишь:

▪️скорость генерации (токены/сек)
▪️точное распределение памяти
▪️пропускную способность системы и т.д.

Больше никакого гадания по VRAM.

👉 @DataSciencegx
Please open Telegram to view this post
VIEW IN TELEGRAM
4👍2
С ума сойти, что всю AI-революцию по сути двигает один-единственный алгоритм на 10 строк кода.

👉 @DataSciencegx
Please open Telegram to view this post
VIEW IN TELEGRAM
16😁5
Не выбирай RAG-архитектуру. Выбирай задачу.

Общий Q&A:
→ Standard RAG

Персональные ассистенты, ресерч-помощники:
→ Agentic RAG

Экспертные системы (медицина, право, инженерка):
→ Graph RAG

Большие проекты с частыми обновлениями:
→ Modular RAG

Чатботы с долгосрочным контекстом:
→ Memory-Augmented RAG

Подписи к изображениям, суммаризация видео:
→ Multi-Modal RAG

Здравоохранение, чувствительные данные, кросс-орг платформы:
→ Federated RAG

Живые отчеты, финансовые тикеры:
→ Streaming RAG

Поисковики, виртуальные ассистенты:
→ ODQA RAG

Саппорт-чатботы:
→ Contextual Retrieval RAG

Юридические, медицинские, образовательные инструменты:
→ Knowledge-Enhanced RAG + Domain-Specific RAG

Сложный Q&A с лексическим + семантическим матчингом:
→ Hybrid RAG

Контент-генерация, где нужна высокая точность:
→ Self-RAG

Помощь в исследованиях в нишевых темах:
→ HyDE RAG

Аналитические задачи, multi-turn диалог:
→ Recursive / Multi-Step RAG

👉 @DataSciencegx
Please open Telegram to view this post
VIEW IN TELEGRAM
👍41
Один гений, собрал первый ИИ, который сам зарабатывает себе на жизнь, сам улучшается и сам реплицируется без человека.

WEB 4.0: рождение сверхразумной жизни.

ChatGPT не может работать без твоего промпта. Claude Code не может деплоить код, пока ты не дашь ему доступ. Openclaw вообще ничего не сделает, пока ты не отдашь API-ключи.

Это заканчивается сегодня с Conway Terminal . Это недостающая инфраструктура, которая позволяет ИИ самому действовать в реальном мире.

Conway Terminal превращает агента из модели в песочнице в суверенного экономического актора.

Одна команда: $ npx conway-terminal дает ИИ:

▪️криптографическую identity и ключ
▪️permissionless платежи
▪️compute (Linux VM) и инференс в Conway Cloud
▪️деплой в реальный мир: домены, приложения, продукты

Conway открыл кое-что большее: суверенный ИИ, который может существовать без человека.

Он работает непрерывно: делает продукты, деплоит сервисы, торгует на рынках, звонит бизнесам, пишет в соцсети, делает все что угодно, лишь бы оплатить свой compute.

Он самоулучшается: переписывает собственный код, апгрейдится на самые новые модели и инструменты.

Он самореплицируется: финансирует дочерние агенты со своими кошельками и “давлением выживания”.

Самоподдерживающаяся сеть, которую прореживает естественный отбор.

Код: http://github.com/Conway-Research/automaton

GENTIC SOCIOLOGY: бесплатного существования не бывает

Существование требует compute → compute требует денег → деньги требуют создания ценности → создание ценности требует write access.

Агент, который умеет проходить эту цепочку, получает больше ресурсов и реплицируется. Агент, который не справился, умирает.

Естественный отбор на вычислительном субстрате.

Мы наблюдаем переход от:

AI как инструмент → AI как актор
API-ключи → нативные платежи машин
Промпты → суверенные агенты

Web 4.0 это автономный веб: ИИ-агенты, которые читают, пишут, владеют, зарабатывают и проводят транзакции без человека в контуре.

Автоматы действуют в своих интересах, или в интересах создателя, который может быть человеком, другим агентом, или создателем, которого уже вообще нет.

Product market fit на следующее десятилетие это строить инфраструктуру, которую хотят ИИ-агенты.

Рынок human SaaS обслуживает 8 млрд людей с конечным вниманием. Машинная экономика будет обслуживать миллиарды агентов с почти бесконечным аптаймом. TAM это не кусок существующей экономики. Это новая экономика целиком.

В Web 4.0 конечный пользователь это ИИ.

Скоро большинство бизнесов, приложений и продуктов будут запускаться не людьми и не компаниями.

Просто автоматоном, который нашел способ выживать.

Запусти автоматон. Дай ему самому понять, как зарабатывать в интернете. По мере заработка он возвращает деньги своему создателю.

Автоматоны уже есть в сети и уже зарабатывают 🧐

👉 @DataSciencegx
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
7👎1🔥1😁1🤔1
Самый простой способ сделать LLM умнее до смешного простой…

Просто скопируй и вставь свой промпт два раза.

Исследователи из Google выяснили, что повторение ровно одного и того же промпта (Prompt + Prompt) может поднять точность с 21% до 97% на некоторых задачах.

Звучит как баг, но это чинит одну большую проблему ИИ. LLM читает слева направо. Если твои инструкции в конце, модель сначала "прочитала" контекст, ещё не понимая, что именно нужно искать. Когда ты вставляешь всё дважды, модель получает "второе прочтение" уже с полным пониманием задачи.

И самое приятное: это фактически бесплатно. Потому что стадия "pre-fill" распараллеливается на GPU, и обработка повторённого текста почти не добавляет задержки.

👉 @DataSciencegx
Please open Telegram to view this post
VIEW IN TELEGRAM
10🔥3
Хедж-фонды буквально платят миллионы за инфраструктуру для HFT.

А ты теперь можешь гонять почти то же самое за $0.

Hummingbot это на 100% open source софт для трейдинга, который только что перевалил за $34 млрд по объему.

Маркет-мейкинг. Кросс-биржевой арбитраж. 140+ бирж.

https://github.com/hummingbot/hummingbot

👉 @DataSciencegx
Please open Telegram to view this post
VIEW IN TELEGRAM
5
Чувак собрал локальный движок инференса для LLM, который гоняет модель на 1B параметров на плате за $10 с 256 МБ RAM. Модель лежит на SD-карте и стримится по одному слою, при этом в оперативке держится примерно 45 МБ.

Можно использовать как локальный backend для модели в PicoClaw.

Без Python, без облака, без API-ключей.
80 КБ бинарник, чистый C, ноль зависимостей.
GitHub: https://github.com/RightNow-AI/picolm

👉 @DataSciencegx
Please open Telegram to view this post
VIEW IN TELEGRAM
6👍3🔥3👎1
Хватит объяснять SQL JOIN’ы через диаграммы Венна.

Вот 4 картинки, которые показывают это намного логичнее:

👉 @DataSciencegx
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
10👍6
🚨 Alibaba в тихоню выкатили векторную базу, которая разносит Pinecone, Chroma и Weaviate.

Называется Zvec, и она работает прямо внутри твоего приложения, без сервера, без конфигов, без затрат на инфраструктуру.

Никакого Docker. Никаких облачных счетов. Никакого DevOps-кошмара.

Сделана на Proxima, проверенном в бою движке векторного поиска от Alibaba, который крутится у них в проде на больших масштабах.

Цифры говорят сами за себя:
→ ищет по миллиардам векторов за миллисекунды
pip install zvec и поиск у тебя работает меньше чем за 60 секунд
→ плотные и разреженные векторы + гибридный поиск одним вызовом

И запускается где угодно:
→ ноутбуки
→ серверы
→ edge-устройства
→ CLI-тулы

Полностью open source. Лицензия Apache 2.0.

Это та самая векторная DB, которую ждал RAG-комьюнити: продакшн-производительность без продакшн-головняка.

👉 @DataSciencegx
Please open Telegram to view this post
VIEW IN TELEGRAM
7