Забавный факт: если бы JavaScript придерживался тех же правил для Unicode-идентификаторов, что и Python 3, уязвимость в React/Next.js было бы гораздо сложнее отфильтровать на уровне WAF. Всё потому, что Python нормализует Unicode-идентификаторы.

👉 @PythonPortal

Когда делаешь парсер или переносишь сайт, на экране часто лежит куча рваной HTML-разметки. Привести это в аккуратный Markdown обычно та еще морока. 🐱

В опенсорсе нашелся удобный инструмент python-markdownify, который как раз решает задачу конвертации HTML в Markdown.

Логика у него проста: берешь громоздкий HTML, на выходе получаешь понятный и чисто структурированный Markdown.

Инструмент хорошо настраивается. Можно вычищать нужные теги, менять формат заголовков, аккуратно обрабатывать таблицы и картинки. Все это конфигурируется.

Ставится через pip. Им можно пользоваться как из Python-кода, так и из командной строки, конвертируя файлы пачками.

При желании можно унаследоваться и переопределить правила преобразования под свои кейсы. С расширяемостью там все ок.

Если приходится гонять большие объемы текста или переносить блог, библиотека экономит кучу времени, которое обычно уходит на ковыряние регулярок.

👉 @PythonPortal

Python-совет:

Чтобы создать поля, которые не должны попадать в сгенерированный метод init, используй field(init=False).
Это удобно для вычисляемых атрибутов.

Пример ниже 👇

from dataclasses import dataclass, field

@dataclass
class Rectangle:
    width: int
    height: int
    area: int = field(init=False)

    def __post_init__(self):
        self.area = self.width * self.height

👉 @PythonPortal

Эта симуляция основана на 7 строках Python.

Адвекция по МакКормаку → мягкий source-терм → подъёмная сила по Буссинеску → пересэмплированное форсирование → проекция на неразрывность через метод сопряжённых градиентов.

Когда semi-Lagrangian + Conjugate Gradient просто берут и работают, это ощущается как читерство над физикой.

👉 @PythonPortal

RIP приватность. ИИ-очки теперь могут распознавать кого угодно и где угодно.

Нидерландский журналист только что протестировал ИИ-очки, которые моментально идентифицируют случайных прохожих на улице.

Без госбаз. Без полицейских систем. Только публичные данные и готовые ИИ-модели.

Ты смотришь на человека и через пару секунд перед твоими глазами уже его имя, LinkedIn и бэкграунд.

Самая жёсткая часть в том, что это почти невозможно остановить.

Можно запретить, зарегулировать, добавить мигающие красные огоньки, но как только такие технологии появились, кто-то всегда найдёт способ их использовать.

Лично для меня это переломный момент.

Мы официально размыли границу между тем, чтобы видеть людей, и тем, чтобы знать их.

Между тем, чтобы просто быть в публичном пространстве, и тем, чтобы быть полностью раскрытым.

И вот главный вопрос.

Когда каждое лицо становится датасетом, как нам защитить само понятие быть человеком?

👉 @PythonPortal

Пройдено

👉 @PythonPortal

Линуксоиды, это вам!

На GitHub есть открытая электронная книга 101 Linux Commands 🧃

Которая предлагает системный и практический подход к изучению Linux-консоли через 101 реальную команду с подробными описаниями, живыми примерами и прикладными сценариями, от базовых операций с файлами до администрирования, сетевой диагностики и мониторинга системы

Доступна в онлайн-версии, PDF и ePub, а также с возможностью запуска локально через Docker, и одинаково полезная как для новичков, так и для опытных разработчиков.

👉 @PythonPortal

Это безумно кайфовая утилита примерно на 100 строк Python.

Живая вебка → сегментация человека через YOLO → кликаешь по любой части тела → она сразу размывается (лицо, торс, руки, волосы… или всё сразу).

Без конфигов. Просто тыкаешь чекбоксы и смотришь, как всё работает.

👉 @PythonPortal

Автономный трактор из Китая взорвал сеть. 🚜

Старение сельского населения и дефицит рабочей силы в Китае заставляют по-новому смотреть на сельское хозяйство, и решение, похоже, уже работает в полях.

Honghu T70, полностью электрический автономный трактор, разработанный в Китае, это уже не прототип. Это серийная машина, которая уже используется по всей провинции Хэбэй, а впереди запланирован всекитайский запуск.

T70 способен полностью автономно выполнять весь сельхозцикл: вспашку, посев, опрыскивание и уборку, без оператора.

Он собирает данные в реальном времени о составе почвы, влажности и состоянии посевов и ориентируется с сантиметровой точностью с помощью китайской спутниковой системы.

Трактор полностью электрический, заряжается от сети или от возобновляемых источников, что делает его удобным решением для сельских регионов.

Если развернуть такую технику в масштабе, небольшими хозяйствами сможет управлять один человек с парком роботов. Это поможет Китаю снизить зависимость от импортной западной техники и открыть экспортные рынки в Юго-Восточной Азии и Африке.

При том, что более 20% рабочей силы страны всё ещё заняты в сельском хозяйстве, автоматизация деревни может высвободить миллионы людей для городов

👉 @PythonPortal

😂😂😂

👉 @PythonPortal

Визуализация того, что находится внутри моделей ИИ. Это представляет слои взаимосвязанных нейронных сетей. И да, со временем формируются паттерны, и они могут образовывать своего рода сигнатуру того, как модель мыслит.

Этот паттерн можно рассматривать как процесс мышления.

👉 @PythonPortal

Microsoft выкатили open-source инструмент для запуска AI-моделей локально

Без облака, подписок и авторизации.
Все на 100% приватно.

И при этом он без проблем встраивается в приложения через OpenAI-совместимый API.

Просто вбиваешь в терминале:

→ winget install Microsoft(dot)FoundryLocal (Windows)
→ brew install microsoft/foundrylocal/foundrylocal (macOS)

Вот официальный веб-сайт со всей документацией и доступными моделями: https://foundrylocal.ai

И репозиторий GitHub: https://github.com/microsoft/foundry-local

👉 @PythonPortal

😊😊😊

👉 @PythonPortal

В сегодняшнем выпуске программистских хорроров…

В документации Python к функции random.seed() сказано:

“Если a — это int, то он используется напрямую.”

Но если задать seed как 3 и как -3, на деле вы получаете один и тот же объект ГПСЧ, который выдаёт полностью одинаковые последовательности. (TIL). В nanochat я использовал знак числа как, как мне тогда казалось, хитрый способ получить разные RNG-последовательности для разбиения train/test. В итоге словил неприятный баг, потому что train внезапно стал равен test.

Я нашёл соответствующий участок кода в CPython в файле cpython/Modules/_randommodule.c. В комментарии на строке 321 написано:

“Этот алгоритм полагается на то, что число беззнаковое. Поэтому: если аргумент — это PyLong, используем его абсолютное значение.”

А дальше идёт строка:

n = PyNumber_Absolute(arg);

То есть seed явно прогоняется через abs(), знак просто отбрасывается.

Но и сам этот комментарий тоже некорректный и вводящий в заблуждение. Под капотом Python использует алгоритм Mersenne Twister MT19937, у которого в общем случае состояние из 19937 ненулевых бит. Python берёт ваш int (или другой объект) и «размазывает» эту информацию по этим битам состояния. В принципе, старший бит знака вполне мог бы участвовать в формировании состояния. В самом алгоритме нет ничего такого, что «требует беззнаковое число».

Просто было принято решение не учитывать знак, и, на мой взгляд, это ошибка. Простейший вариант мог бы быть, например, таким: n → 2*abs(n) + int(n < 0).

В итоге мы упираемся в контракт модуля random в Python, который в документации тоже расписан не до конца. Явно гарантируется только одно:

одинаковый seed ⇒ одинаковая последовательность.

Но нигде не обещается обратное, что разные seed обязательно дают разные последовательности. Формально Python вообще не гарантирует, что, например, seed(5) и seed(6) породят разные потоки RNG. Хотя в большинстве прикладных сценариев это молчаливо предполагается. И да, мы видим на практике, что seed(5) и seed(-5) — это полностью идентичные потоки. Так что использовать знак seed для разделения поведения train/test в машинном обучении точно не стоит.

Один из самых забавных и коварных «подводных камней» в программировании, с которыми я сталкивался за последнее время

👉 @PythonPortal