https://podlodka.io/407

Самый интересный подкаст, который я прослушал в январе. В нем достаточно базированный чел рассказывает, как с нуля вкатиться в селф-хостинг. То есть как начать некоторые сервисы выносить к себе на локалку или на свой сервер.

Зачем так делать? Ну например хочешь хранить данные у себя в synology и не вываливать на облака. Или у тебя есть серверок и хочешь меньше платить за подписку, а только за аренду сервера (и запускать больше сервисов для себя по цене одной подписки) или просто тебе нравится деплоить как хобби.

Для меня скорее мотивация в локальном умном доме, к котрому я постепенно присматриваюсь, но пока не вкладываюсь, только изучаю. Об этом как-нибудь еще расскажу.

Вот о чем вы узнаете, если послушаете подкаст (собрано по видео через Google NotebookLM):

* Хоумлабинг (Homelabbing) - создание домашней лаборатории с серверами и сетями для различных задач.
* Пример: Покупка серверов и настройка сети дома для экспериментов и хранения данных.

* Дата хординг (Data hoarding) - хранение больших объемов данных дома.
* Пример: Создание архива фильмов и музыки на домашнем сервере.

* Syncthing - бесплатное программное обеспечение с открытым исходным кодом, которое синхронизирует файлы между платформами.
* Пример: Синхронизация файлов между устройствами без регистрации и подписки.

* RustDesk - бесплатное программное обеспечение с открытым исходным кодом для удалённого управления компьютерами.
* Пример: Удалённый доступ к компьютерам родственников для помощи в решении технических проблем.

* Google Photos - сервис для хранения и организации фотографий.
* Пример: Автоматическое распознавание лиц и поиск по изображениям.

* Галерея (Gallery) - платформа, которую можно использовать для организации библиотеки.
* Пример: Развернуть за несколько минут с помощью контейнеризации на любой доступной платформе.

* Dawarich - программное обеспечение для создания собственной Google Timeline.
* Пример: Использование данных из Google Timeline для визуализации перемещений.

* Google Takeout - сервис для выгрузки данных из сервисов Google.
* Пример: Выгрузка фотографий из Google Photos.

* NAS (Network Attached Storage) - сетевое хранилище данных.
* Пример: Хранение фотографий и других файлов с доступом из разных устройств в сети.

* Raid - технология, которая позволяет одновременно писать вместо одного SSD на два.
* Пример: Использование для повышения надежности хранения данных.

* CDN (Content Delivery Network) - сеть доставки контента.
* Пример: Cloudflare.

* Cloudflare - сервис, предоставляющий защиту от DDoS-атак и другие функции безопасности.
* Пример: Использование для защиты веб-сайта от вредоносного трафика.

* Proxmox - система виртуализации.
* Пример: Разделение домашних приложений в виртуальных машинах.

* LXC контейнеры - позволяют развернуть Docker и Kubernetes.

* Home Assistant - платформа для автоматизации умного дома.
* Пример: Управление устройствами умного дома.

* AdGuard Home - блокировка рекламы и трекеров на уровне всей сети.
* Пример: Блокировка рекламы на всех устройствах в доме.

* Автоматизация мультимедиа (Sonarr, Radarr и др.) - автоматическая загрузка фильмов и сериалов.
* Пример: Автоматическая загрузка новых серий сериалов.

* Calibre - программное обеспечение, которое позволяет читать FB2, EPUB и другие форматы.

* Jellyfin - медиасервер, который позволяет выводить контент на телевизор.
* Пример: Воспроизведение фильмов на телевизоре по беспроводной сети.

* Plex - медиасервер.
*Пример: Вещание в качестве на телевизоре по UPnP протоколу.

* Open Cloud - позволяет организовать свое облако.

* PhotoPrism - альтернатива для фотографии и фотогалереи, которую можно организовать.

* Grafana - инструменты для мониторинга.

* Synology Quick Connect - сервис для доступа к хранилищу Synology из любого места.

* MailPit - Cлушает на 25-м порту, берет все, что ему отправили без авторизации, и делает доставку на почту.

* Community Scripts - репозиторий, где можно почитать об этой штуке.

Список полезных ссылок
Proxmox Virtual Environment https://www.proxmox.com
Proxmox Community Scripts https://community-scripts.github.io/ProxmoxVE/scripts – Reddit: r/selfhosted https://www.reddit.com/r/selfhosted/
Reddit: r/homelab https://www.reddit.com/r/homelab/
Reddit: r/homeassistant https://www.reddit.com/r/homeassistant/
GitHub: awesome-selfhosted https://github.com/awesome-selfhosted/awesome-selfhosted
GitHub: SelfHosting Guide https://github.com/mikeroyal/Self-Hosting-Guide
Мини-ПК декабря 2024 https://habr.com/ru/companies/selectel/articles/864784/
Каталог железок CaseEnd https://caseend.com/
Блог Techno Tim https://technotim.live/
YouTube “Wolfgang's Channel” https://www.youtube.com/@WolfgangsChannel
YouTube “Christian Lempa” https://www.youtube.com/@christianlempa
YouTube “Hardware Haven” https://www.youtube.com/@HardwareHaven
YouTube “Jeff Geerling” https://www.youtube.com/watch?v=yoFTL0Zm3tw
Tailscale https://tailscale.com/
Dawarich (собственный Google Timeline) https://dawarich.app
Селфхостед почта на отправку https://github.com/axllent/mailpit
Селфхостед sms to Telegram https://github.com/kutovoys/sms-to-telegram

#dl #cv

#dl #llm

🔎 Probing GPT model: привет, друзья!

Почему бы и не опубликовать туториал под ночь перед понедельником? Я тоже не вижу препятствий.

Подготовила новый туториал. Карты активации в прошлый раз зашли хорошо, так что по мере сил стараюсь что-то такое интересное добавлять в открытые материалы.

Туториал посвящён зондированию (probing) — простому, но мощному (и красивому иногда) методу для изучения внутренней работы LLM (больших языковых моделей). С его помощью можно получить приближенные знания о паттернах, которые выучивает модель и о том, как эти знания распространяются по слоям.

В туториале рассмотрено:

1. Процесс зондирования на примере GPT2;
2. Анализ информативности скрытых состояний с помощью PCA;
3. Постановку эксперимента (и сам эксперимент) для ответа на вопрос: какой слой по уровню позволяет приближенно решить задачу регресси и хранит информацию по годам?;

Ссылочки:

✔️Код туториала на гитхаб: часть 1, часть 2 (по ссылкам англ версии, но можно провалиться в папку — есть русский).

✔️Статья на Хабр

Добрых вам снов и продуктивной недели!
Ваш Дата-автор!

китайские товарищи предложили еще одну новую идею: не считать всю огромную матрицу внимания, а выбрать из нее только важные блоки; это и до них пытались делать, вспомнить хотя бы BigBird, но тут коллеги предложили делать выбор по принципу смеси экспертов, то есть ввести специальный роутер, который будет отправлять запрос в нужный блок (фактически - на сравнение с нужной фразой); на картинке слева показана принципиальная схема работы самого модифицированного внимания, а справа - в контексте всего трансформера; в заключение хочу отметить вкус коллег в плане названия - MoBA (ждем YoBA)

P.S. стоит отметить, что Moonshot сразу выложили код, за что им отдельный лайк от меня

🚀 PGAI-Vectorizer + SQLAlchemy + LiteLLM: Векторный поиск в PostgreSQL стал простым как никогда

Если вы хотите внедрить векторный поиск в свои проекты, но не готовы разворачивать отдельные сервисы вроде Elasticsearch или Qdrant, то вот хорошая новость. Команда Timescale объединила три мощных инструмента, чтобы вы могли работать с векторными эмбеддингами прямо внутри PostgreSQL. Давайте разберемся, как это работает!

Что в связке?

1. PGAI-Vectorizer
— Расширение для PostgreSQL, которое превращает текст в векторные эмбеддинги напрямую в БД.
— Поддерживает модели из Hugging Face, OpenAI, Anthropic и другие.
— Автоматическое обновление эмбеддингов при изменении данных.

2. SQLAlchemy
— Знакомый ORM для работы с PostgreSQL.
— Позволяет описывать таблицы и векторы как Python-объекты.

3. LiteLLM
— Универсальный интерфейс для 100+ языковых моделей (LLM).
— Единый API для OpenAI, Claude, Cohere и даже локальных моделей (например, Llama 3).

🔧 Как это работает?
1. Генерация эмбеддингов
— Через SQL-запросы или Python-код PGAI-Vectorizer преобразует текст в векторы.
Пример SQL:

SELECT pgai.embed(  
    transformer => 'huggingface',  
    model => 'sentence-transformers/all-MiniLM-L6-v2',  
    text => 'Ваш текст здесь'  
);  

2. Интеграция с SQLAlchemy
— Векторы хранятся как специальные типы данных в таблицах.
— Поиск похожих записей через оператор <=> (косинусное сходство).

3. Гибкость моделей через LiteLLM
— Можно легко переключаться между LLM без изменения кода.
— Пример на Python:

from litellm import completion  
response = completion(  
    model="claude-3",  
    messages=[{"content": "Ваш запрос", "role": "user"}]  
)  

🛠 Пример использования: поиск статей по смыслу

1. Создаете таблицу с колонкой для векторов:

class Article(Base):  
    __tablename__ = "articles"  
    id = Column(Integer, primary_key=True)  
    content = Column(Vector(384))  # Размерность вектора  

2. Генерируете эмбеддинги при добавлении данных:

article = Article(content=pgai.embed("...ваш текст..."))  
session.add(article)  

3. Ищете похожие статьи одним запросом:

SELECT * FROM articles  
ORDER BY content <=> pgai.embed('Искать это')  
LIMIT 5;  

💡 Плюсы подхода
✅ Не нужно обслуживать отдельные сервисы (всё в PostgreSQL).
✅ Меньше boilerplate-кода — эмбеддинги генерируются автоматически.
✅ Масштабируемость — TimescaleDB отлично работает с большими объемами данных.
✅ Снижение затрат — можно использовать бесплатные модели из Hugging Face.

🚨 Когда это не подойдет?
— Для high-load проектов с миллиардами векторов (смотрите в сторону специализированных векторных БД).
— Если нужны сложные метрики поиска (например, HNSW-индексы).

@data_whisperer

#dl #nlp