Ivan Begtin
7.97K subscribers
1.8K photos
3 videos
101 files
4.51K links
I write about Open Data, Data Engineering, Government, Privacy, Digital Preservation and other gov related and tech stuff.

Founder of Dateno https://dateno.io

Telegram @ibegtin
Facebook - https://facebook.com/ibegtin
Secure contacts ivan@begtin.tech
Download Telegram
"Искусственный интеллект и предубеждения" (AI and bias) [1] серия статей Брукингского института (США) где на сегодня их опубликовано уже три:
- Challenges for mitigating bias in algorithmic hiring [2]
- Fairness in algorithmic decision-making [3]
- Assessing employer intent when AI hiring tools are biased [4]

Все статьи посвящены актуальной теме алгоритмической дискриминации, с особенным акцентом в алгоритмическом найме людей. Например, там упоминается что из-за того что из-за того что алгоритмы языковых моделей обучаются на Google новостях то и, например, при применении word2vec, инструмента использующего корпус новостных данных, итоговый алгоритм оказывается предубеждённым относительно гендерных ролей в обществе [5]

Хотя и прямо сейчас в России это не кажется самой актуальной темой, однако не стоит её недооценивать. Алгоритмическая этика может "замыкать людей" в их социальных стратах не давая возможности выйти за их пределы.

Ссылки:
[1] https://www.brookings.edu/series/ai-and-bias/
[2] https://www.brookings.edu/research/challenges-for-mitigating-bias-in-algorithmic-hiring/
[3] https://www.brookings.edu/research/fairness-in-algorithmic-decision-making/
[4] https://www.brookings.edu/research/assessing-employer-intent-when-ai-hiring-tools-are-biased/
[5] https://arxiv.org/pdf/1607.06520.pdf

#ai #ethics
Сегодня вышел в свет доклад об этике в цифровых технологиях от Центр подготовки руководителей цифровой трансформации где коллектив авторов написали так много разделов что читать их можно долго, если бы они не были написаны так хорошо что читать их было бы легко и полезно.

Как мог, я тоже влился в его подготовку, и во всех разделах про этику работы с данными выступил как автор.

Доклад можно прочитать по ссылке [1]

Ссылки:
[1] http://ethics.cdto.center/

#digital #ethics #dataethics
В рамках национальной стратегии данных в США опубликованы финальные версии каталога навыков по работе с данными и этический фреймворк по работе с данными [1].

Конечно, весьма бюрократизированные, но интересные документы. В отличие от российских они создавались непосредственно теми кто занимается наймом людей с этими навыками и их обучением в органы власти США. То есть теория уже после практики и это разумно.

Ссылки:
[1] https://strategy.data.gov/news/2020/12/01/data-skills-catalog-and-data-ethics-framework/

#data #ethics #usa
В NewYorker статья "Who Should Stop Unethical A.I.?" [1] о нарастающей тревоге учёных за результаты разработки искусственного интеллекта. Чем лучше идут исследования, чем совершеннее становятся системы автоматического принятия решения, тем больше опасений. Многие начинают избегать направления исследований которые потенциально могут привести к появлению оружия нового поколения.

Там же отсылки про саморегулирование научного сообщества, как это было с исследованиями плутония в 1941 году, когда учёные сознательно, придерживали их до конца войны или с исследованиями связанными с возможностью создания биооружия. Главные риски в том что почти все исследования в области ИИ имеют двойное назначение.

Сейчас Вы разрабатываете автономных дронов для доставки грузов вместо курьеров, а через несколько лет они могут разрушать инфраструктуру противника в гибридных войнах. Сейчас Вы проектируете системы распознавания лиц, поведения и угроз для выявления преступников, а через несколько лет они могут использоваться диктатурами для подавления протестов населения и ужесточения контроля за гражданами. И так далее, это длинный список всех рисков и последствий.

И, действительно, в случае ИИ до сих пор нет "своей Хиросимы", большого знакового события-катастрофы с участием ИИ или автоматической системы принятия решения способного напугать человечество.
Если оно произойдёт то мы получим мощнейший всплеск нео-луддизма с тотальным ограничением всех ИИ исследований по всему миру.

Ссылки:
[1] https://www.newyorker.com/tech/annals-of-technology/who-should-stop-unethical-ai

#ai #ethics
unesco_ai_etic_16-11-2021.pdf
456.3 KB
В ЮНЕСКО приняли Проект Рекомендации об этических аспектах искусственного интеллекта [1]. Документ рамочный, с одной стороны, а с другой довольно четко дающий установки для мониторинга этического внедрения ИИ в странах. О его содержании я хочу написать отдельно и подробно большой лонгрид, а пока обращу внимание на пункт: Прозрачность и объяснимость.

На 13 странице рекомендаций очень недвусмысленно написано о праве на оспаривание решений ИИ, о необходимости аудита и мониторинга, о необходимости контроля соответствия. Эти вопросы можно задавать уже сейчас всем тем кто активно декларирует применение ИИ в чувствительных областях. Соответствуют ли их системы рекомендациям ЮНЕСКО? Что делается обеспечения права гражданина на оспаривание решений ИИ? Какие механизмы правовой защиты предусмотрены? И многое другое.

Спасибо коллегам из @DigitalRightsCenter [2] за наводку

Ссылки:
[1] https://www.unesco.org/en/general-conference/41/commissions/shs
[2] https://t.me/DigitalRightsCenter

#ai #ethics #regulation #un
Городской совет города Нью Йорка обязал проводить обязательный "аудит на предубеждённость" (bias audit) для всех систем ИИ используемых в рекрутинге. Законопроект был внесён в 27 февраля 2020 года и принят городским советом 10 ноября 2021 года [1]. The Protocol пишет [2] что после того как он будет подписан, то с 1 января 2023 года он вступит в силу и за его нарушение предполагается гражданская ответственность.

Ссылки:
[1] https://legistar.council.nyc.gov/LegislationDetail.aspx?ID=4344524&GUID=B051915D-A9AC-451E-81F8-6596032FA3F9&Options=&Search=
[2] https://www.protocol.com/bulletins/nyc-ai-hiring-tools

#ai #ethics #audit #usa
Для тех кто интересуется реакцией правительств на COVID-19 через мобильные приложения для отслеживания, вышел финальный отчет Tracing The Tracers 2021 report: Automating COVID responses [1] от Algrorithm Watch, германской исследовательской группы в области ИИ и приватности.

В отчете много разного полезного, вроде того что утечки данных были не только в российских приложениях и о том какие меры и как предпринимали центральные и региональные власти европейских стран.

Ссылки:
[1] https://algorithmwatch.org/en/tracing-the-tracers/2021-report/

#privacy #covid19 #ai #ethics
В Италии выяснили что местные автостраховщики делают разные оценки процентной ставки в зависимости от того где Вы родились [1]. Для жителей Рима тариф будет одним, для жителей Неаполя другим. Всё это в статье Algorithmic Audit of Italian Car Insurance: Evidence of Unfairness in Access and Pricing от команды исследователей из 3-х итальянских университетов [2].

Дискриминация по национальности и по месту рождения одна из наиболее жёстких. Большинство из нас не имеет возможности выбрать расу, нацию и, особенно, место рождения.

В статье упоминается что эта практика существовала и раньше, а с применением автоматизированных алгоритмов она лишь стала изощрённее.

Ссылки:
[1] https://algorithmwatch.org/en/discriminating-insurance/
[2] http://www.dei.unipd.it/~silvello/papers/2021_aies2021.pdf

#privacy #ai #ethics
Наглядная иллюстрация будущего ИИ которое нас ждёт, нас это в смысле, программистов, инженеров и всех остальных кто с ИТ работает - это ИИ способный читать код.

Саймон Вилсон применил GPT-3 к участкам кода [1]. На скриншотах примеры кода, вопросы и полученные ответы.

Помимо того что это забавно, это ещё и серьёзный шаг вперед. ИИ способный читать код может контролировать качество кода, идентифицировать ошибки, отслеживать прогресс разработки.

Иначе говоря быть эдаким супервайзером кода. Это примерно как со строительством. Роботы сами пока ещё не умеют строить дома (почти), но алгоритмические системы могут определять когда строители работают, а когда курят и расслабляются.

То же самое может ожидать и индустрию разработки. Даже если ИИ не будет писать код сам, следить за твоим кодом он сможет.

Ссылки:
[1] https://simonwillison.net/2022/Jul/9/gpt-3-explain-code/

#ai #ethics
Все ещё не наигрались с искусственными изображениями создаваемыми ИИ MidJourney, а уже появился движок Stable Diffusion от стартапа Stability AI умеющие генерировать изображения людей, например, знаменитостей. В TechCrunch большая статья про потенциальные последствия и возможности этой системы [1].

Опуская технические подробности её реализации, как вы думаете какие последствия для человечества может принести развитие этой технологии?

Ссылки:
[1] https://techcrunch.com/2022/08/12/a-startup-wants-to-democratize-the-tech-behind-dall-e-2-consequences-be-damned/

#ai #ethics
Появились первые отчёты о прозрачности [1] корпораций подписавших Европейский Кодекс практик против дезинформации (The Code of Practice on Disinformation) [2].

А это такие компании как Microsoft, Google, Meta, Adobe, Twitter, TikTok и ещё многие другие.

Отчеты, разные по качеству. Короткий отчет от Twitter, к примеру, и подобные отчеты от Google и Microsoft.

Конечно, добровольность кодекса и этих отчетов не означает что отчетам можно безусловно доверять, но хотя бы они показывают какие компании отнеслись серьёзно к этому упражнению, а для каких даже это оказалось сложно.

Кстати, на примере этого кодекса можно не могу не вернуться к вопросу об отечественном кодексе ИИ и его функциональной бесполезности. Если к кодексу ничего не стоит присоединиться и его выполнение никак не мониторится, то и цена ему невелика. В этом смысле европейский кодекс нагляднее, к нему присоединяются только те кто хотя бы готов на регулярной основе добровольно раскрывать информацию о конкретных действиях.

Ссылки:
[1] https://disinfocode.eu/reports-archive/?years=2023
[2] https://disinfocode.eu/introduction-to-the-code/

#privacy #ethics #disinformation #europe #bigtech
В рассылке AlgorithmWatch рассуждения [1] их репортёра Николя Кайзера-Бриля о том как Twitter опубликовал открытый код ранее. Ключевой вывод - большей открытости раскрытие именно этого кода не даёт, больше пользы от поста в блоге Twitter о том как устроены алгоритмы [2]. Я не до конца с ним согласен, всё таки я ближе к технологическим компаниям по складу ума, но, действительно, прозрачность складывается не только их кода.

Интересно и другое, он рассказывает про примеры раскрытия кода по запросу. Для тех кто не знает, в Европейском союзе действует Digital Services Act (DSA) [3] который позволяет исследователям запрашивать данные в целях общественного интереса у очень больших платформ. И уже была история когда французская организация CNAF отвечающая за государственное соцобеспечение по такому запросу опубликовала 7 миллионов строк кода, без сопровождающей документации и на запросы журналистов делали вид что документации не существует [4].

Всё это к тому что почувствуйте разницу в проблемах. В каких-то странах проблема в том что раскрывается слишком много кода и без документации, а в других что просто ничего не раскрывается. Первый вариант тоже не очень, но второй совсем плохой.

Ещё из полезного чтения:
- В Ирландии правительство пытается протащить быстрым образом закон разрешающий полиции использовать технологии распознавания лиц, но часть парламента сопротивляется [5]
- Во Франции служба аудиторов проверяет расходы в 3 миллиарда евро на стратегию Франции в области ИИ и выяснили что деньги тратили на короткие проекты, вместо долгосрочных [6] таких как образовательные программы
- В Швейцарии, в Лозанне местные власти запретили использовать распознавание лиц в общественных местах [7]

И, наконец, новости из Африки.

О том как Зимбабве строят государство тотальной слежки [8], на больших китайских кредитах, китайских технологиях и тд. Если кратко, то быстро и эффективно внедряют всё что возможно чтобы отслеживать всех без исключения и быстро разбираться со всеми кто имеет признаки оппозиционной деятельности.

А знаете почему Россия не Зимбабве? Потому что в России есть свои технологические компании по массовой слежки и достаточно денег чтобы не брать китайские кредиты.

Кстати, не могу не напомнить про проект по отслеживанию китайских технологических компаний в мире Mapping China’s Tech Giants [9] который делают в The Australian Strategic Policy Institute и собирают данные по всем известным китайским технологическим проектам в мире. Там есть наглядная карта, каждый может найти свою страну.

Они же анонсировали проект Critical Technology Tracker [10], я о нём расскажу через какое-то время. Он может быть даже поинтереснее мониторинга только Китая.

Ссылки:
[1] https://r.algorithmwatch.org/nl3/HCBGLxy-H3KfnMpjebKRLw
[2] https://blog.twitter.com/engineering/en_us/topics/open-source/2023/twitter-recommendation-algorithm
[3] https://eur-lex.europa.eu/legal-content/EN/TXT/PDF/?uri=OJ:L:2022:277:FULL&from=EN&pk_campaign=todays_OJ&pk_source=EURLEX&pk_medium=TW&pk_keyword=Digital%20service%20act&pk_content=Regulation%20
[4] https://www.nextinpact.com/article/28136/106298-les-allocations-familales-nous-ouvrent-code-source-leur-calculateur-daides
[5] https://www.irishtimes.com/crime-law/2023/04/06/oireachtas-committee-wants-to-scrutinise-use-of-facial-recognition-technology-by-gardai/
[6] https://www.nextinpact.com/article/71408/la-strategie-nationale-recherche-en-ia-passee-au-crible-cour-comptes
[7] https://algorithmwatch.ch/fr/lausanne-interdit-reconnaissance-faciale-lespace-public/
[8] https://globalvoices.org/2023/01/10/how-zimbabwe-is-building-a-big-brother-surveillance-state/
[9] https://chinatechmap.aspi.org.au
[10] https://techtracker.aspi.org.au

#privacy #zimbabwe #china #ai #ethics #twitter