📌Как превратить систему Grace-Hopper в настольный компьютер.

Занимательная история Дэвида Ноэля о том, как он купил ИИ-оборудование корпоративного класса, разработанное для серверных стоек с жидкостным охлаждением, которое затем переоборудовал под воздушное охлаждение, потом снова переоборудовал под водяное, пережил множество ситуаций, близких к катастрофе, и, в итоге получил настольный компьютер, способный запускать модели с 235 миллиардами параметров дома.

Это рассказ о сомнительных решениях и нестандартном подходе к решению проблем. И немного о том, что происходит, когда пытаешься превратить оборудование для ЦОДа в домашний сетап.

Если вы когда-либо задавались вопросом, что нужно для запуска действительно крупных моделей локально, или если вы просто хотите посмотреть, как кто-то разбирает оборудование стоимостью 80 000 долларов, полагаясь лишь на надежду и изопропанол, то эта статья не оставит вас равнодушным.

🔜 Читать рассказ полностью

@ai_machinelearning_big_data

⚡️ Как AWS реально управляет VPC

AWS VPC - это твоя собственная изолированная сеть в облаке.

Она работает как мини-датацентр, только без физического железа: AWS сам занимается маршрутизацией, безопасностью и масштабированием.

Изоляция VPC
→ Каждый VPC полностью отделён от других.
→ Ты задаёшь свой CIDR-диапазон.
→ Доступ извне возможен только если ты сам его откроешь.

Подсети: публичные и приватные
→ VPC разбивается на субсети в разных зонах (AZ).
→ Публичные субсети выходят в интернет через Internet Gateway.
→ Приватные — через NAT Gateway (только исходящий трафик, без входящего).
→ AWS следит за отказоустойчивостью между зонами.

Как двигается трафик
→ За маршруты отвечают Route Tables.
→ Ты прописываешь правила: интернет, peering, Transit Gateway, VPN и т.д.
→ AWS управляет всей реальной сетевой инфраструктурой — ты только настраиваешь логику.

Защита сети
→ AWS использует две прослойки:
— Security Groups — правила на уровне конкретного ресурса (EC2, RDS и т.д.).
— Network ACLs — фильтрация пакетов на уровне подсети.
→ Все правила строго применяются через виртуализованную сеть AWS.

Внешние подключения
→ Для доступа наружу AWS предлагает:
— Internet Gateway (двусторонний интернет)
— NAT Gateway (доступ из приватных подсетей)
— Egress-Only IGW (только исходящий IPv6)
→ Всё автоматически масштабируется под нагрузку.

Гибридные сети
→ Можно связать VPC с офисом/датацентром:
— Site-to-Site VPN (через интернет)
— Direct Connect (частная линия до 100 Gbps)
→ AWS обеспечивает резервирование каналов для отказоустойчивости.

Общение между сетями
→ VPC Peering — приватный канал между двумя VPC.
→ Transit Gateway — центральный хаб для десятков сетей (VPC + on-prem).
→ AWS управляет маршрутизацией и пропускной способностью автоматически.

Мониторинг
→ VPC Flow Logs — кто куда ходил.
→ CloudWatch — метрики.
→ CloudTrail — кто менял сетевые настройки.
→ Полная прозрачность для аудита, безопасности и диагностики.

AWS делает сложную сетевую архитектуру «невидимой».
Ты управляешь логикой, правилами и доступами — AWS берёт на себя всё остальное.

⚡️ Linux Commands / Cheatsheet

Basic Navigation
pwd - показать текущий каталог
ls - список файлов и директорий
ls -l - подробный формат
ls -a - показать скрытые файлы
cd dirname - перейти в директорию
cd .. - вверх на уровень
cd / - корень
cd ~ - домашняя директория
clear - очистить терминал
history - история команд

File & Directory Management
touch file - создать файл
mkdir dir - создать директорию
rmdir dir - удалить пустую директорию
rm file - удалить файл
rm -r dir - удалить директорию рекурсивно
cp src dest - копировать файл
cp -r src dest - копировать директорию
mv src dest - переместить/переименовать
cat file - вывести содержимое
less file - просмотр с пагинацией
head file - первые 10 строк
tail file - последние 10 строк
tail -f file - потоковый вывод

Permissions & Ownership
chmod 755 file - права доступа
chmod u+x file - сделать исполняемым
chown user:group file - владелец
ls -l - просмотр прав

System Info
uname -a - вся системная инфа
hostname - имя хоста
uptime - аптайм
top - процессы
htop - интерактивный монитор
df -h - дисковое пространство
du -sh * - размеры директорий
free -h - память
lscpu - процессор
lsblk - блочные устройства

Process Management
ps - процессы
ps aux - подробный список
kill PID - завершить процесс
killall name - завершить по имени
bg - в фоне
fg - на передний план
jobs - задания

Networking
ifconfig - сеть
ip a - IP адреса
ping host - проверить связь
ss -tuln - открытые порты
curl url - получить данные
wget url - скачать файл
ssh user@host - удалённый вход
scp file user@host:/path - копирование по SSH

Package Management (Ubuntu/Debian)
sudo apt update - обновить индексы
sudo apt upgrade - обновить пакеты
sudo apt install pkg - установить
sudo apt remove pkg - удалить
sudo apt autoremove - очистка

Package Management (RHEL/CentOS)
sudo yum update
sudo yum install pkg
sudo yum remove pkg
sudo dnf install pkg

Archiving & Compression
tar -cvf file.tar dir - создать tar
tar -xvf file.tar - распаковать
gzip file - сжать
gunzip file.gz - распаковать
zip file.zip files - zip
unzip file.zip - unzip

User Management
whoami - текущий пользователь
who - кто в системе
id - инфо о пользователе
sudo adduser user - добавить
sudo passwd user - пароль
sudo deluser user - удалить
su user - переключиться
logout - выйти

Shutdown & Reboot
sudo shutdown now - выключить
sudo shutdown -r now - ребут
reboot - перезапуск
poweroff - выключение

Searching
find /path -name file - поиск по имени
grep 'text' file - поиск текста
grep -r 'text' dir - рекурсивно
locate file - быстрый поиск
updatedb - обновить базу

Disks & Filesystems
fdisk -l - список разделов
mkfs.ext4 /dev/sdX - форматирование
mount /dev/sdX /mnt - монтировать
umount /mnt - размонтировать

Environment & Variables
echo $PATH - переменная PATH
export VAR=value - установить переменную
env - список переменных

Useful Commands
man cmd - документация
alias ll='ls -la' - алиас
date - дата
cal - календарь
exit - выйти

👣 gdu - быстрый консольный анализатор диска, написанный на Go.

Он сканирует директории и показывает, что именно съедает место, работая особенно шустро на SSD за счёт параллельной обработки. Есть TUI-интерфейс: можно стрелками ходить по каталогам, сортировать по размеру и удалять лишнее прямо из программы.

Установка максимально простая - есть готовые бинарники на GitHub, пакеты в репозиториях (AUR, Homebrew, Snap и др.), так что поставить и проверить свои диски можно за пару минут.

https://github.com/dundee/gdu

🖥 На Stepik вышел курс, который учит работать с Docker на реальных проектах.

Владение Docker - навык, который отличает новичка от профи

Сегодня почти всё разворачивается в контейнерах.

Если ты не умеешь работать с Docker, ты медленнее, зависим от чужих настроек и постоянно ловишь баги «у меня локально работает».

Этот курс покажет:

• разобраны все возможные ошибки при работе c Docker
• как упаковывать проекты в контейнеры
• как поднимать целые системы за минуты
• как избегать типичных ошибок в продакшене
• как делать стабильные и повторяемые окружения

Только практика и реальные кейсы - с нуля до уверенного уровня.

🎁 40 процентов скидка действует 48 часов в честь нового года

👉 Записывайся и сделай Docker своим настоящим рабочим инструментом.