В наборе данных для обучения ИИ нашли 12 000 ключей API

В наборе данных Common Crawl, который используется для обучения множества ИИ-моделей, обнаружили около 12 000 секретов, в том числе пароли и ключи API.

https://xakep.ru/2025/03/03/common-crawl-secrets/

UX-проектирование на кошке

В статье ниже расскажу, как можно знания разработки продуктов использовать для себя.
Насколько интереснее становится их применять и глубже изучать.

https://habr.com/p/864822/
...

Сотрудник Disney Мэттью ван Андел скачал генератор изображений с GitHub и потерял всё.

Внутри оказался вирус, который передал хакерам все его пароли. Через полгода в сети появился архив на 1 ТБ — внутренняя информация Disney плюс личные данные Ван Андела.

Цена ошибки: увольнение, потеря страховки и бонусов на $200 тыс.

🖥 Репозиторий: Книга сокровенных знаний — это сборник ценной информации.

Книга сокровенных знаний представляет собой коллекцию вдохновляющих списков, инструкций, шпаргалок, блогов, лайфхаков, однострочных кода, веб-инструментов и многого другого.

— Этот репозиторий включает в себя разнообразные материалы и инструменты, которые ежедневно используются в работе. Он содержит много полезной информации.

⏺ Ссылка на GitHub (https://github.com/trimstray/the-book-of-secret-knowledge)

#Book #GitHub
@hackernews_lib

🖥 Репозиторий: Quivr — мозг, усиленный генеративным ИИ

Quivr — это платформа с открытым исходным кодом, основанная на ИИ, созданная для преобразования частных и корпоративных знаний в персонализированные и интерактивные помощники, которые называются "Мозги".

Этот инструмент способен управлять и взаимодействовать с различными типами данных, включая документы, электронные письма и API, предоставляя пользователям ресурс с знаниями, который обучается и развивается.

⏺ Ссылка на GitHub (https://github.com/QuivrHQ/quivr)

#ИИ
@hackernews_lib

🖥 Репозиторий: Huginn — это простая платформа для интеграции

Huginn представляет собой платформу с открытым исходным кодом, предназначенную для создания автоматизированных агентов, которые могут выполнять задачи от имени пользователя.

— Этот инструмент позволяет следить за изменениями на веб-сайтах, получать электронные письма и инициировать действия на основе этих событий.

⏺ Ссылка на GitHub (https://github.com/huginn/huginn)

#Monitoring #Scraper #Web #Agent
@hackernews_lib

🖥 Репозиторий: Руководство по DevOps

Руководство по DevOps включает все конфигурации от этапа разработки до рабочей среды с важными заметками для эффективной отладки.

— Этот репозиторий содержит:
1. Определение DevOps;
2. Дорожную карту DevOps;
3. Практические лабораторные работы по IBM Kubernetes;
4. Как стать DevOps-инженером за шесть месяцев и многое другое.

⏺ Ссылка на GitHub (https://github.com/Tikam02/DevOps-Guide)

#DevOps #GitHub
@hackernews_lib

🖥 Репозиторий: Geospy — определение местоположения по фотографиям

Geospy — это инструмент на Python, который использует геолокационную службу Graylark, основанную на искусственном интеллекте, для определения места, где были сделаны фотографии.

— Этот инструмент не требует никаких метаданных. Нейросеть просто анализирует вид из окна на ваших снимках и определяет ваше местоположение.

⏺ Ссылка на GitHub (https://github.com/atiilla/geospy)

#GeoOSINT #Soft #OSINT #Spy
@hackernews_lib

Под маской банков и маркетплейсов: как распознать фишинговые сайты и защитить свои данные от мошенников
https://rg.ru/2025/03/05/chto-takoe-fishing-chem-opasen-i-kak-zashchitit-sebia-ot-moshennicheskih-shem.html

В МВД объяснили, как при онлайн-покупках распознать сайт мошенников
https://rg.ru/2025/03/04/v-mvd-obiasnili-kak-pri-onlajn-pokupkah-raspoznat-sajt-moshennikov.html

МВД: Мошенники маскируют фишинговые ресурсы под антивирус "Касперский"
https://rg.ru/2025/03/03/mvd-moshenniki-maksiruiut-fishingovye-resursy-pod-antivirus-kasperskij.html
...

Данные в облачных сервисах стали лакомой добычей для кибермошенников
https://rg.ru/2025/02/26/ne-vitajte-v-oblakah.html

Эксперты объяснили, почему iPad все еще круче Android-планшетов

Как же разрывают эти планшеты:
https://click-or-die.ru/2025/03/eksperty-obyasnili-pochemu-ipad-vse-eshhe-kruche-android-planshetov/

Какой iPad взять: базовый или Air? Разбираем новые модели

Разбираемся вместе:
https://click-or-die.ru/2025/03/kakoj-ipad-vzyat-bazovyj-ili-air-razbiraem-novye-modeli/

Вот сколько будут стоить iPad и iPad Air в России. Где покупать и как сэкономить?

Сравнили цены:
https://click-or-die.ru/2025/03/vot-skolko-budut-stoit-ipad-i-ipad-air-v-rossii-gde-pokupat-i-kak-sekonomit/

Новинки Apple уже появились на CDEK.Shopping.

В наличии:

– MacBook Air с чипом M4, 16 ГБ ОЗУ и 256 ГБ памяти. Держит зарядку до 18 часов и работает в два раза быстрее MacBook Air на M1;

– iPad Air с чипом M3, поддержкой Magic Keyboard и ИИ-функций Apple Intelligence. Есть версии диагональю 11 и 13 дюймов;

– Базовый iPad с обновленным процессором А16 и минимальным объемом памяти 128 ГБ.

....

AFFiNE — Obsidian здорового человека / Хабр
https://habr.com/ru/articles/889412/

Полезные ссылки про данные, технологии и не только:
- Kreuzberg [1] библиотека для Python по извлечению текста из документов, поддерживает множество форматов, внутри использует Pandoc и Tesseract OCR. Создано как раз для использования в задачах RAG (Retrieval Augmented Generation) с прицелом на локальную обработку данных и минимумом зависимостей. Лицензия MIT
- Validoopsie [2] другая библиотека для Python для валидации данных. Использует библиотеку Narwhals благодаря которой подключается к почти любым видами дата-фреймов. Выглядит полезной альтернативой Great Expectations, лично для меня в валидации данных глобальный нерешённый вопрос в том что тут правильнее, код или декларативное программирования. Иначе говоря, правила проверки должны ли быть отчуждаемыми от языка разработки. Здесь валидация встроена в код, но поверх можно сделать и декларативный движок. Лицензия MIT
- Scripton [3] коммерческое IDE для Python с необычной фичей визуализации данных в реальном времени. Есть только скриншоты, записи экрана и коммерческая версия для macOS. Для тех кто занимается алгоритмической визуализацией может быть удобно, для остальных задач пока нет такой уверенности.
- New horizons for Julia [4] по сути статья о том что язык программирования Julia ещё жив и развивается. Правда медленно, на мой взгляд, но вроде как есть позитивное движение за пределами научных областей. Лично я почти не сталкивался с Julia кроме как на уровне примеров кода, но хорошо если он кому-то нравится и полезен.
- Data-Driven Scrollytelling with Quarto [5] визуализация дата-историй с помощью движка Quarto, итоги конкурса таких визуализаций с большим числом примеров и победителей. Примеры все от команды компании Posit которая этот open-source движок Quarto и разрабатывает. Скажу отдельно что это очень правильно. Если ты делаешь любой движок по визуализации, то просто обязательно надо проводить такие конкурсы.
- The Best Way to Use Text Embeddings Portably is With Parquet and Polars [6] ещё один обзор о том насколько эффективен Parquet в связке с Polars для работы с данными, в данном случае данными карт Magic of the Gathering. Автор тоже задаётся вопросом о том почему Parquet не поддерживается в MS Excel.
- How to Make Superbabies [7] особенно длинный лонгрид о том как генетическими изменениями можно улучшать человека, создавать супер детей или "оптимизированных детей", как ещё пишет автор. Читать и думать об этом надо потому что всё идёт к тому что скоро это станет ещё одной острой социальной и геополитической темой.

Ссылки:
[1] https://github.com/Goldziher/kreuzberg
[2] https://github.com/akmalsoliev/Validoopsie
[3] https://scripton.dev/
[4] https://lwn.net/Articles/1006117/
[5] https://posit.co/blog/closeread-prize-winners/
[6] https://minimaxir.com/2025/02/embeddings-parquet/
[7] https://www.lesswrong.com/posts/DfrSZaf3JC8vJdbZL/how-to-make-superbabies

#opensource #data #datatools #dataviz #genetics #python

Я не пропустил совсем новость о том что Пр-во России анонсировало национальный проект "Экономика данных и цифровая трансформация государства" на который предполагается что потратят более 1 триллиона рублей до 2030 года [1], но долго думал как прокомментировать.

Меня в этом проекте всегда смущало слово экономика, оно как бы неявно, завуалировано, так сказать, создавало ощущение что где-то здесь, вот тут вот, совсем рядом, надо только вчитаться, но есть экономический эффект, оценка оборота данных, снижение регуляторных барьеров и так далее. Иначе говоря моделирование регуляторного и деятельностного пространства. И, конечно, введение в оборот большего числа/объёма данных находящихся в введении органов власти или напрямую ими регулируемых.

Я долго это искал в нацпроекте Цифровая экономика, но не мог найти. И сейчас не могу найти в новом нац проекте. А вот цифровая трансформация государства представлена в полной мере, здесь вопросов нет, здесь всё понятно.

И, конечно, как всегда, не могу не отметить отсутствие тематики открытых данных в официальной государственной повестке. Это не значит что их нет, это значит что их приоритет улетел куда-то, далеко улетел, но не совсем.

Но давайте я немного отвлекусь. Не все знают, а я напомню, что большая часть Bigtech'ов (Google/Amazon/Microsoft/Facebook) - это дата корпорации. Многие из них легко делятся технологиями и выкладывают их в открытый код потому что для всех из них (кроме разве что Microsoft) данные - это основной актив, важнейший актив. Большая часть из них живут по принципу DINDO (Data-in-no-data-out), по-русски это звучит как "Данные входят, данные не выходят".

Особенность российского регулирования данных и основных инициатив, на текущем этапе, в том что российское государство трансформируется в data корпорацию, в первую очередь на федеральном уровне. Медленнее чем можно было бы подумать, тяжелее чем можно было представить, но последовательнее чем можно было бы ожидать.

Это приводит всех нас в ситуацию когда, к примеру, запрос от бизнеса на государственные данные приводит к контр-вопросу "А Вы нам что?". Государство из распределителя общественного блага превращается в супер-дата-корпорацию не заинтересованную делиться данными потому что, вспоминаем, это ценный актив.

Это уникальное для мира явление и лично мне не нравится эта тенденция. В каждой новой инициативе я пытаюсь разглядеть отход от движения в эту сторону и пока не вижу.

Ссылки:
[1] https://tinyurl.com/data-economy-2025

#data #russia #regulation

Мою презентация с сегодняшнего Дня открытых данных в России можно посмотреть онлайн https://www.beautiful.ai/player/-OKHlQrIzuA3Bba4k-Uz

Она была полностью посвящена Dateno и практике поиска датасетов. Это не первая и не последняя моя презентация по этой теме, но как водораздел обновления Dateno до 22 миллионов датасетов.

#opendata #dateno

Для тех кто интересуется тема приватность и AI с точки зрения управления, юридических нюансов в первую очередь, курс AI Governance 2.0 про Регулирование и комплаенс ИИ-систем стартует завтра: в составе 9 преподавателей, 3 менторов, 1 куратора и 16 слушателей.

Я там тоже преподаю и рекомендую курс для всех кто интересуется темой.

#privacy #ai #education #studies

В рубрике как это устроено у них Суверенное Технологическое Агентство Германии ( Sovereign Tech Agency) [1] специализированное агентство при The Federal Agency for Disruptive Innovation при Правительстве страны со специализацией на поддержке проектов с открытым кодом. Причём поддерживают они не просто раздачей грантовых средств, а то что можно назвать системной поддержкой сообщества.

У агентства действует четыре программы:
- Sovereign Tech Fund - фонд распределяющий грантовые программы на продукты с открытым кодом
- Sovereign Tech Resilience - целевая программа повышения надёжности открытого кода (финансирование исправления ошибок, общей инфраструктуры и тд.)
- Sovereign Tech Fellowship - на русский язык сложно правильно перевести слово fellowship, так что это программа фэллоушипа для разработчиков открытого кода когда их, по сути, берут на работу для того чтобы они 100% занимались только открытым кодом по своим проектам
- Sovereign Tech Challenge - программа целевых конкурсов для разработчиков открытого ПО

Почему это важно? Потому что кроме просто открытого кода общего назначения агентство финансировало и финансирует проекты связанные с данными. Например, curl получил поддержку в 195 тысяч евро в 2022 и 2023 года [2] потому что curl - это инструменты выгрузки данных;) Это более всего похоже на то что пара человек работала над проектом фуллтайм 2 года. А в 2025 и 2026 году агентство будет финансировать команду OpenStreetMap на сумму в 384 тысячи евро [3].

Ограничение агентства в том что они финансирует только заявки от организаций и разработчиков находящихся в Германии, зато это именно финансирование общественного блага именно в той форме которая не вызывает вопросов.

Ссылки:
[1] https://www.sovereign.tech
[2] https://www.sovereign.tech/tech/curl
[3] https://www.sovereign.tech/tech/openstreetmap

#opensource #data #germany

Нейросеть скоро будет писать втрое больше кода за разработчиков
Но результаты работы ИИ нужно проверять, и программист превратится из «кодера» в «архитектора решений»

К 2030 году более 90% разработчиков начнут использовать ИИ для написания и проверки кода — прогноз от первого вице-президента по технологиям МТС Павла Воронина.

Сейчас в компании ~8% кодов создается с помощью искуственного интеллекта. Через два года эта доля вырастет еще в три раза, до 25%.

Тенденция вполне логичная — нейросетям можно делегировать рутину, чтобы заниматься более сложными и креативными задачами.

Полностью заменить айтишников ИИ вряд ли сможет в ближайшее время.
↘️ https://www.vedomosti.ru/technology/articles/2025/03/11/1097183-neiroset-skoro-budet-pisat-vtroe-bolshe-koda-za-razrabotchikov
...

🖥 Репозиторий: IP-Tracer — средство для отслеживания любого IP-адреса

IP-Tracer — это бесплатный инструмент с открытым исходным кодом, который можно найти на GitHub. Он был создан для дистрибутивов Linux, таких как Kali Linux, Parrot и Termux.

— Этот инструмент работает, отправляя запросы на сервер, связанный с IP-адресом, и собирает информацию, включая географическое местоположение, интернет-провайдера и иногда имя хоста сети.

⏺ Ссылка на GitHub (https://github.com/rajkumardusad/IP-Tracer)

#Tool #IP #Linux #GPS
@hackernews_lib

🖥 Репозиторий: AIL framework — это фреймворк для анализа утечек информации

AIL Project представляет собой фреймворк с открытым исходным кодом, который включает различные модули для сбора, сканирования, исследования и анализа неструктурированных данных.

— Этот фреймворк предоставляет расширяемую среду на основе Python для анализа собранной неструктурированной информации с помощью продвинутого менеджера Crawler или из различных источников (таких как Twitter, Discord, провайдеры Telegram Stream) или пользовательских источников.

⏺ Ссылка на GitHub (https://github.com/CIRCL/AIL-framework)

#Framework #Analysis #Leak #Scanning
@hackernews_lib

🖥 Репозиторий: Ghost Framework — удаленное управление устройствами Android

Ghost Framework — это фреймворк для постэксплуатации Android, который использует Android Debug Bridge для удаленного доступа и управления устройствами Android.

— Этот фреймворк предоставляет удобные возможности для удаленного администрирования устройств Android.

⏺ Ссылка на GitHub (https://github.com/EntySec/Ghost)

#Framework #Android
@hackernews_lib