Написал простой (300 строк) сервер на ts для сборки метрик. Деплой на free (512 MB RAM). плане railway - ООМ через пять минут

Взял план на 8 GB Ram - работает. Кушает 4-5 GB чтобы обработать мой трафик.

Ради интереса переписал на gleam (erlang). Час работы агента, результат на скрине.

Все это навело меня на мысль что мы ведь теперь можем писать код вообще на чем удобно. Опус прекрасно умеет смотреть на диф изменений в референсной реализации, понимать что изменилось и потом идти вносить эти изменения в конечный код.

Я понимаю что у меня примитивный сервер, но перспектива интересная.

Логичный вопрос - почему не писать сразу человеческим языком что надо сделать. Ответ - не смогу проверить правильно ли были реализованы мои указания на незнакомом мне ЯП. План на человечьем все еще размытый и его не подебажишь. А иногда нужно.

Либо у меня в ноутбуке будет относительно медленная и потребляющая батарейку память, но зато ее можно будет менять и добавлять. Либо она будет быстрая и энергоэффективная но распаяна на плате - правило существовавшее в моей голове до сегодняшнего дня.

Сейчас, когда девайсы стали поступать в продажу с урезанным количеством памяти, Lenovo очень вовремя придумали как все таки сделать память и быстрой и сменяемой одновременно

Наткнулся на очень интересный цикл статей о современном веб парсинге от Lalit Mishra.

1-10 Части про обод блокировок парсеров
Автор рассказывает как Cloudflare, Akamai, WAF и пр. анализируют трафик уже на транспортном уровне и вычисляют автоматизированные запросы.
Как автоматизированный трафик отличается при анализе порядка запросов. И конечно же как сделать так чтобы ваш питон скрипт делал запросы в точности такие как у хрома или лисы. Как пройти капчу любой сложности.

11-15 Инфраструктура и оптимизация
Рассказывается как построить хорошо скейлящуюся архитектуру для скрапера, от микро оптимизаций flask до работы с Bigdata.

16-18 Использование LLM в парсинге
Любопытные заметки о том как максимально дешево и эффективно парсить html c помощью LLM, как снижать нагрузку, писать промпты для парсера, экономить токены, нормализовать вывод llm в строгую форму.
Как собрать аналитику и агрегировать и строить RAG пайплайны по собранным данным

19-22 Легальность
Про мониторинг работы пауков, как обнаруживать и избегать "токсичных" данных в датасетах чтобы ваc не засудили, что значат все эти сложные юридические термины, что и как скрапить можно а что нет.
разбор судебных исков Reddit против Anthropic, и Meta против Bright Data

Бывает такой что ваш агент что-то хочет заюзать из инструментов, а у вас это не установлено.
А ставить что попало ради одно раза не хочется. Например вчера codex пытался вызывать wasm2wat - тулу из пакета wabt

Если у вас fedora linux то у вас скорее всего уже предустановлен toolbox

# создаем контейнер
toolbox create --container <имя-контейнера>

# заходим в него
toolbox enter

# ставим что там надо (sudo здесь не нужен)
dnf install wabt

exit

Теперь сообщаем агенту что он может вызывать нужный ему тул вот так

toolbox run --container <имя-контейнера> wasm2wat --version

Когда задача будет решена удаляем весь мусор одной командой

toolbox rm <имя-контейнера>

Если удалять пока не хочется можно просто временно остановить чтоб не кушал ресурсы

podman stop <имя-контейнера>

В принипе вы можете и агента там запустить и ide - toolbox автоматически пробрасывает внутрь сеть, графическую сессию сокеты и устройства.
А еще он пробрасывает туда home с rw доступом. Имейте это виду что устанавливаемый туда тулинг может таки "нагадить" у вас в домашней папке своими конфигами
Хотя я вижу в этом логику (настраивать каждый раз не нужно) хотелось бы иметь какой-то флажек отключающий доступ в home

P.S. До меня только сейчас дошло что гадить вам в home скорее всего не будут, потому что внутри контейнера вы работаете от имени рута у которого там уже есть свой home дома (🤡). Вобщем возможность скорее теоретическая чем практическая

Обновился телеграмм.
Ожидание - MTProto обновили чтобы его сигнатуры не детектились
Реальность - кнопка генерации нейрослопа и Screen Reader Mode (кстати говоря - это что за х...я?)

Stormgate RTS внезапно лишилась серверов потому что их хостинг провайдер был куплен другой компанией которая решила что выгоднее вкладывать в хостинг AI.

(Кто не в курсе это RTS сделанная выходцами из близарда по прообразу StarCraft.)

Что особо иронично - в ней есть "бот приятель", по сути игра играет сама в себя, а вы только делайте то что вам интересно в игре делать. Ничего не напоминает?

а вы знали что у asdf есть современная кроссплатфомренная альтрантива на go?
https://vfox.dev/

Милла Йовович (та самая, да) два дня назад выложила свой проект MemPalace в Open Source на github.

По сути это MCP для memory bank но не на графах а на собственном диалекте "AAAK" который (по завяленям из readme) проходит бенчмарк LongMemEval R@5 на 96.6% (100% в Hybrid режиме)

Довольно интересный прецедент в который сходу сложно поверить

Framework опубликовали загадку на своем канале в YouTube
https://youtube.com/shorts/JJPA_iM8Hrs?is=Hy0BxMDdptoEqaCR

Framework анонсировали новую презенташку 21 Апреля, в вместе с ней опубликовали большое письмо о том что они теперь будут так же бороться с попытками затащить все в облако
(полный текст).

Надеюсь что в соотвествии с заявлением они предложат что-то вроде докстанции для подключения парочки внешних видеокарт, поскольку встроенная карта на данный момент выглядит совершенно несерьезно

За кулисами Nvidia пилит аналог apple M чипов - N1X. Нотубчуный CPU от зеленых будет тоже ARM, но с 20 ядрами, 128 GB общей с GPU памяти. Последний по мощности на уровне RTX 5070 c 6144 CUDA ядрами.
Очевидно они хотят сделать ноутбук способный запускать LLM локально. Возможно это будет Dell XPS, по крайней мере известно что они с этим эксперментируют.

Кроме поетнциальной стоимости, меня немного пугает вид утекшой фотографии платы с этим монстром - видите вот эту гиганскую дыру? Это вот такого размера куллер ему нужен? Или это задел под жидкостное охлаждение?

Среди моих подписчиков есть те кто владеет framework 16 и хотел бы себе RGB панельку вместо / вместе с стоковой?

Дело в том что на PCBway заказать 1 шт или 20 стоит одинаковые 29$...

Каждый раз гуглю эту штуку, пришло время сделать зарубку:
Вы зашли на сервер по ssh, открыли файл через micro но все попытки что-то оттуда скопировать в буфер обмена хостовой машины тщетны?

Это потому что micro по дефолту использует xclip или wl-copy
Надо переключить его на OSC 52 последовательность.

mkdir -p ~/.config/micro && echo '{"clipboard": "terminal"}' > ~/.config/micro/settings.json

P.S. если используете tmux ему надо дать явное разрешение на нее

set -g allow-passthrough on

#linux #micro #ssh

Я три месяца разрабатывал библиотеку в рабочем проекте (изначально написанную в основном руками) через LLM.

Библиотека довольно важная, покрыта unit и браузерными тестами. Я единственный автор и вычитывал каждое изменение, но... все равно в конце концов я стал сам в ней путаться.

Мне стало сложно найти логику которая я точно знаю где-то тут есть, влоть до того что быстрее было спросить LLM - где реализация того что я ищу.

Важный момент - код работает, и работает шустро, дело делает, есть слои, абстракции и т.п. - это не какой-то безумный спагетти-код - но читать его самостоятельно стало сложно. Почему?

Я отдохнул на выходных, и решил что это отличный кейс разобрать что же с ним не так. Я взял чашку чая и начал читать его от начала до коцна подмечая вещи которые меня смущают:
1. По прошествии трех месяцев некоторые сущности остались со старыми названиями хотя в корне поменяли свою зону ответственности
2. Файл не был переименован, хотя были переименованы экспортируемые из него обьекты.
3. В файловой структуре больше нет логики - иерархия директорий не соответствует иерархии в логике
4. Неоправданно большой файл - то что легко можно было вынести в три отдельных файла было свалено в один большой на 350 строк.

Все это можно было избежать через отдельное прогоны ревью LLM (которые я периодически запускал) и линтерами.
Проблема не в инструменте, проблема во мне - человеке.

У меня банально нет мотивации это делать, ведь я не вижу эти проблемы:

Во-первых - я делаю ревью изменений, т.е. дифов. А значит, я не вижу каждый раз картинку целиком, я не "загружаю" "карту кода" в голову, как это случается при разработке вручную с погружением в задачу. При работе с LLM у меня в голове более абстрактный образ системы с пунктами плана или какая-то блок схема - и на этом уровне все выглядит вполне хорошо.

Во-вторых - я сам не спотыкаюсь о проблемы с организацией кода и для LLM это не мешает работе - т.е. не получаю фидбэк о проблемах. При разработке в ручную это происходит само собой - "неровности" мешают, отвлекают, усложняют - как следствие, у меня есть мотивация это поправить - так код всегда поддерживается в приемлемом состоянии. Нет нужды в нем ориентироваться - нет потребности ему уделять внимание.

Кстати похожая проблема у меня возникала еще до LLM - когда работа постоянно в режиме спешки, но механика там совсем другая - что-то дополнительно делать кроме прямого выполнения задачи кратчайшим путем, времени просто нет. А боль есть. Разработчики мучаются, им хочется поправить, они копят бэклог и выгорают от того, что не в силах с этим что-то сделать.

Мне кажется что по иронии, именно на таких проектах LLM используется сегодня особенно активно потому что разработчики убивают двух зайцев - не "страдают" от ковыряния в таком коде, и успевают уложится в супер сжатые сроки (на качество в таких условиях всем и так ведь плевать)

Неожиданная новость - издатель крупной AAA MMORPG по известной франшизе Dune менее чем через год после релиза решил в придачу с игрой выдавать весь серверный код для self-hosted деплоя с гайдами, возможностью переноса персонажей с публичных серверов. Не уж то Stop Killing Games таки добились своего? Или это такой хитрый план порезать стоимость хостинга? Обещают что "Funcom will not charge players additional money for this feature", но не понятно как будет проверятся что копия игры подлинная, вероятно для этого все же будет какая-то завязка на сервера Funcom (ситуация напоминает историю minecraft java edition, которая тоже self-hosted и тоже формально только для игроков купивших игру).

Поговорим о бочке дегтя в ложке меда:
Сервер должен быть на windows 10 Pro и запускаться внутри WSL.

Теоретически вы можете попробовать запустить его в Linux напрямую, вместо VM на Windows, но мы это пока не поддерживаем, экспериментируйте

Зачем и ради чего они хостят свои сервера на винде через WSL я даже боюсь представить...

Минимальные спеки для сервера нужны следующие - 20 GB RAM, 100GB SSD, CPU 2017 года (6 cores / 6 thread 3.2 GHz) на 4 игроков. Однако, цитата

CPU and RAM requirements increase rapidly with number of players and number of maps.

Т.е. масштабируется это очень плохо. Вот прямо так далее и написали: на сервер больше чем на 40 человек у большинства людей нет возможности раздобыть мощностей.

Трансляция начнется меньше чем через три часа

#framework

- 10 Гигабитный LAN порт
FW16:
- Цельный модуль для тачпада ❤️
- Полупрозрачная рамка на экран
- AMD Ryzen AI 300
- Oculink модуль вместе с egpu док станцией в который можно воткнуть старый GPU от FW16 🤩
FW13:
- они сделали батарейку которая 24 часа держит ноут показывающий 4к видео с нетфликса онлайн (WAAAT)
Это умеет теперь Framework 13 PRO (Черненький). Intel Ultra Core в кач-ве процессора
- LPCAMM2 RAM
- ЧЕТЫРЕ Thunderbold
- 700 NIT экран
- Сенсорный экран
- Здоровенные (для ноута) Dolby Atmos динамики
- Все его детали совместимы с предыдущей версией 13шки
- Ноутбук теперь официально сертфицирован под Ubuntu и поддерживается каноникалом
- Увеличенный Haptic Touchpad

+ они сделали клавиатуру с тачпадом потому что все существующие на рынке какашка (чистая правда, у меня есть такая и это лучшее что я нашел!)

Более подробно и с картинками здесь