Как всякое уважающее себя СМИ, спешу поделиться вестями из Долины. Вот так выглядит колона сотрудников Apple на прайде в СФ 🏳️‍🌈

Ностальгии пост

Читаете Вастрика? Я тут разгребал старые заметки и презентации и наткунлся на тот самый огромный пост Вастрика про машинное обучение написанный тыщу лет назад (олды, так сказать, поймут).

Лушего введения в предмет я до сих пор не встречал, а это на минуточку 2018! Простым языком, без формул и с прикольчиками всякими. Все раскладывает по полочкам, охватывает 90% всего того, что называют машинным обучением даже на сегодняшний день.

Пост Вастрика с тех пор стал легендой, мемом и классикой. Я до сих пор иногда к нему возвращаюсь, чтобы научиться объяснять сложные вещи так же доступно. Чего только стоит вводный абзац "Машинное обучение — как секс в старших классах. Все говорят о нем по углам, единицы понимают, а занимается только препод. Статьи о машинном обучении делятся на два типа: это либо трёхтомники с формулами и теоремами, которые я ни разу не смог дочитать даже до середины, либо сказки об искусственном интеллекте, профессиях будущего и волшебных дата-саентистах." НЕТЛЕНКА!

В общем, если вы такие 🙄 "что за баян?", то сори. Если в машинном обучении и каким-то неведомым мне образом прошли мимо этого поста - марш читать, это чистое удовольствие! То же самое касается тех, кто до сих пор мечтал разобраться, но боялся прикасаться к умным статьям и книжкам. Кстати, еще подойдет для всяких менеджеров, чтобы понимать что там их инженеры делают.

📖 - нетленка на русском и английском

P.S. У Вастрика недавно вышел еще один фундаментальный пост про AI alignment и я тоже советую его почитать примерно всем.

#AI #classic

Ignition (Зажигание)

Вчера мне довелось побывать в одной из самых уникальных и закрытых лабораторий в мире - National Ignition Facility (NIF).

Эта лаборатория знаменита тем, что 5 декабря 2022 года на Национальной установке зажигания (NIF) была достигнута важная веха в термоядерной энергетике: в результате реакции было получено больше энергии термоядерного синтеза, чем было потрачено лазерной энергии, поданной на мишень.

Эта важная веха в истории человечества связана со сложным процессом направления 192 лазерных лучей в крошечную капсулу, содержащую изотопы водорода, что вызывает термоядерный синтез в экстремальных условиях, аналогичных условиям внутри звезд.

Интересно то, что этот прорыв был достигнут (отчасти) благодаря машинному обучению. Машинное обучение помогло проанализировать огромное количество данных, полученных в результате предыдущих экспериментов, что позволило предсказывать экспериментальные результаты, тем самым повышая скорость итераций.

Отдельно хочу отметить стандарты безопасности на объекте - на каждом шкафчике, на каждой детальке этого прибора (а он размером с 4 футбольных поля) висит предупреждение о том, как правильно эту деталь эксплуатировать.

Почитать больше про прорыв можно тут

Знакомимся с Софией!

Оптимизатор Адам долгое время являлся для всех привычным выбором, но теперь у него появилась многообещающая альтернатива - София.

Это упрощенный и легко масштабируемый стохастический оптимизатор второго порядка разработанный ребятами из Стэнфорда 🤓

В результате теста на языковой модели GPT-2 София оказалась в два раза эффективнее Адама по многим параметрам 💨

Это значит, что София может значительно сократить время и затраты на обучение больших языковых моделей💰🦙🤖

📚тыц

@innovationitsme

Шалом хаверим! Я в Израиле до 20ого июля, хочу понять сколько нас тут, что бы организовать встречу (лекцию/семинар/что то еще) напишите в комментарии, если тоже в этих краях

Machine Unlearning

Поскольку обеспокоенность по поводу неправомерного использования данных и нарушения конфиденциальности все больше формирует ландшафт искусственного интеллекта, на первый план выходит новая область машинного обучения - машинное забывание.

Эта концепция предполагает снижение потенциальных рисков, таких как необъективность данных и вторжение в частную жизнь, путем исключения концептов из уже обученных моделей.

Для решения этих проблем исследователи Google Фабиан Педрегоса и Элени Триантафиллу объявили о проведении первого в истории конкурса Machine Unlearning Challenge. Это соревнование, предназначенное для развития передового опыта в области машинного забывания, будет проводиться на Kaggle и направлено на развитие эффективных, действенных и этичных алгоритмов забывания.

Машинное забывание связано с другими областями машинного обучения, такими как дифференциальная конфиденциальность, обучение в течение всей жизни и справедливость.

Конкурс, являющийся частью конкурсного трека NeurIPS 2023, будет проходить с середины июля до середины сентября 2023 года. Его цель - изучить реалистичные сценарии, в которых определенные подмножества концептов должны быть забыты.

😌 Блог-пост
👾 Конкурс
🪛 Starting kit

3 июля в 19:00 присоединяйтесь к тренингу по управлению СДВГ и вечеру знакомств от моих друзей @fsd_tlv.

Синдром дефицита внимания с гиперактивностью (СДВГ) — это состояние, которое влияет на концентрацию, память и поведение.

Знаете ли вы, что симптомы СДВГ напоминают проблемы, с которыми мы сталкиваемся при разработке нейросетей? Мозг - это самая сложная система, которую нужно время от времени отлаживать и дообучать, так же как и самый изощренный алгоритм искусственного интеллекта.

Отлаживать наш мозг мы будем вместе с Сашей Березович, специалистом по СДВГ.

Нас ждет:

* Семинар по вниманию и саморегуляции от Саши Березович
* Практические упражнения для ясности мысли и эмоциональной устойчивости
* Интерактивные мини-сессии мастермайнд для обмена знаниями
* Возможности для знакомства один на один c использованием специального бота

Захватывающий 3-часовой сеанс (100nis, регистрация через @socialize_reg_bot) включает перерыв и легкий перекус.

📍Место проведения: Тель Авив, ул. Кибуц Галиот 21.

Если вас увлекает связь между нейросетями и человеческим сознанием и вы хотите оптимизировать свою сосредоточенность, не пропустите это уникальное мероприятие.

#этополюбви #яунихживу

OpenAI начинает работу над сверхалайнментом

Текущие методы работы с ИИ полагаются на способность людей его контролировать. Но люди не смогут надежно контролировать системы ИИ, когда они станут намного умнее их.

OpenAI объявила о начале работы над сверхалайнментом для управления сверхинтеллектуальным ИИ и предотвращением его выхода из-под контроля. Если очень упрощенно, то сверхалайнмент это суперучитель для моделей ИИ будущего, более умных чем люди 👨‍🏫

Для работы над задачей компания выделит 20%(!) своих вычислительных мощностей на четыре года и создает отдельную команду, которой будут руководить Ilya Sutskever (cofounder and Chief Scientist of OpenAI) и Jan Leike (Head of Alignment).

🌐 блог-пост

@innovationitsme

Посмотрите как беспилотники с искусственным интеллектом и компьютерным зрением собирают яблоки в Израиле ❤️❤️❤️

Deep TDA работает лучше, чем традиционные алгоритмы снижения размерности🔬🧮

Мы вступаем в новую эру анализа данных благодаря прорывному алгоритму - Deep TDA. Этот новаторский метод позволяет добывать инсайты из сложных данных. Он сочетает в себе мощь self-supervised learning (#SSL) и Топологического Анализа Данных (TDA).

Долгое время такие инструменты, как t-SNE и UMAP, были непревзойденными в области снижения размерности. Их роль в анализе сложных наборов данных неоценима, причем t-SNE, разработанный Хинтоном и ван дер Маатеном еще в 2008 году, до сих пор очень популярен.

Но ветер перемен дует! Deep TDA обещает впечатляющие возможности:

1️⃣ Он демонстрирует устойчивость к шуму и выбросам.
2️⃣ Он эффективно масштабируется для сложных, высокоразмерных наборов данных.
3️⃣ Он снимает необходимость в тщательной настройке или глубоком понимании данных.
4️⃣ Он охватывает и отображает более полную картину набора данных.

На картинке сверху сравнительное исследование всех трех техник на временном ряде (исследователи повесили акселерометр на корову, посмотрите как TDA создает кластеры для разных типов движения):

• t-SNE удерживает слишком много структуры, большая часть которой не существует.
• UMAP справился лучше, хотя структура казалась несколько размытой.
• TDA, однако, сработал великолепно, сохраняя детализированную структуру данных.

Deep TDA это еще один важный шаг к светлому будущему анализа данных!

🦾 Блог-пост

Как устроены трансформеры для задач CV на примере ViT

— один из примеров статьи в канале DeepSchool

В нем 15 практикующих инженеров пишут уникальные посты:
- разбирают статьи
- дают советы по обучению нейросетей
- напоминают теорию ML/DL
- и пишут туториалы к сервисам и фреймворкам

Ребята ревьюят посты друг друга, чтобы добавить разные точки зрения, а редактор упрощает текст и убирает лишнее, чтобы вам было легче читать.

Еще больше примеров постов:
❶ Подкаст «Почему растет популярность 3D CV»
❷ Разбор решений Kaggle соревнования по детекции столкновений футболистов
❸ Обзор ключевых идей MobileNet — почему она столь эффективна
❹ Что такое kafka доступным языком и с примером для датасаенс
❺ Вопрос на подумать: как защититься от ленивых разметчиков на краудсорсинг-платформах

Подписывайтесь, чтобы не пропустить полезный совет и развиваться в Deep Learning!

#реклама

ИИ меняет гуманитарные науки, как когда-то микроскопы и телескопы изменили естественные науки

Древние языки хранят культуру и историю прошлого и дают надежду на разрешение тысячелетних споров (например, об историчности Иисуса или аутентичности Библии) на основе исследования форм и жанров древних текстов, семантического анализа, лингвистических аспектов и литературных связей с материальными памятниками культуры.

Естественно, специалистам приходится решать крайне сложные текстовые задачи: от расшифровки утраченных языков и восстановления поврежденных надписей до определения авторства литературных произведений.

MIT сделали всесторонний обзор опубликованных исследований с использованием машинного обучения для изучения древних текстов, написанных на любом языке, письменности и носителе, охватывающих более трех с половиной тысячелетий цивилизаций древнего мира.

Я подозреваю, что авторы невероятные перфекционисты и дома раскладывают носки по цветам. Потому что они ввели таксономию задач на основе этапов изучения древних документов (оцифровка, реставрация, атрибуция, лингвистический анализ, текстовая критика, перевод и дешифровка), и разложили МЛ инструменты по этим полочкам (разпознавание - лучший результат показала ResNet; улучшение качества - GAN и трансформеры хорошо сработали после денойза; для реставрации древне-греческих текстов берите BERT-вдохновенную Ithaca с картами значимости на выходе для explainable AI). В общем, мое восхищение.

У работы три основных вклада:
⁃ упорядочивание научной области на стыке гуманитарных наук и машинного обучения;
⁃ убедительное доказательство, что междисциплинарное сотрудничество - ключ к созданию эффективных и убедительных научных исследований;
⁃ обозначение перспективных направлений исследований в этой области.

📖Статья MIT

🪝Видео похищено у Кирилла Семёновича, вопросы о научной достоверности, пожалуйста, к нему

@GingerSpacetail

🔔 19.07 | Интерактивная встреча «Практические подходы к изучению сознания».

Приходите на нашу уникальную встречу 19 июля, где мы разберем насколько увлекательными и доступными могут быть такие темы как Искусственный Интеллект и сознание. Что такое сознание? Как его можно исследовать? Что мы знаем о сознании у Искусственного Интеллекта? Мы объясним эти вопросы простым и понятным языком, сделав их интересными для каждого из вас!

Важно! У нас ограниченное количество мест – всего 35, поэтому не упустите свой шанс присоединиться к нам.

Встречу проведут:

🔆 Полина Кривых – эксперт в области психофизиологии, со-основатель стартапа по борьбе с выгоранием Revive, автор популярного канала Редакция.Наука

🔆 Алекс Поляков – исследователь в области психоделик-криптографии, автор канала Unstoppable technologies

🔆 Даша Ильяшенко – специалист в области искусства, основательница KakdelArt, со-автор канала Пост-тарбут

🔆 Артемий Новоселов – ученый-исследователь ИИ из Стэнфорда, создатель канала NN for Science

📍 Faktura (Тель-Авив, ул. Левонтин, 6)
🕦 19 июля, в 19:00
💰 Стоимость билета: 60 шек
🍸 Welcome drink

Регистрируйтесь сейчас!

Давайте разберемся кто может, а кто не может называть себя доктором наук

В академической среде существуют различные степени и титулы, которые отражают уровень образования или достижений в научной сфере. Ниже представлены основные степени их взаимосвязь:

Dr. rer. nat. - это степень, присуждаемая в странах германского языка (например, в Германии, Австрии и Швейцарии) в области естественных наук. Это эквивалент PhD (Philosophiae Doctor), присуждаемого в англоязычных странах. Обе эти степени требуют выполнения научного исследования и защиты диссертации. Степень Dr. rer. nat. буквально переводится как "доктор наук", но в России (и некоторых других странах бывшего СССР), она признаётся как эквивалент PhD, а не степени "доктор наук".

PhD (Doctor of Philosophy) - это наиболее распространённая степень в научном сообществе. Она присуждается в большинстве стран мира за вклад в научные исследования. Степень PhD требует проведения оригинального исследования и написания диссертации на его основе. Эта степень признаётся международным сообществом и является требованием для большинства позиций в академической сфере.

Кандидат наук - это степень, присуждаемая в России и некоторых других странах бывшего СССР. Она признаётся международным сообществом как эквивалент степени PhD. Для получения степени кандидата наук требуется проведение научного исследования и защита диссертации.

Доктор наук - это более высокая научная степень, присуждаемая в России и некоторых других странах бывшего СССР. Это существенно более сложная и долгая процедура, чем получение степени кандидата наук, и она обычно требует значительного вклада в научное знание. Степень доктора наук признаётся на международном уровне как почетная и важная степень, но не имеет прямого эквивалента в системах других стран.

Стоит отметить, что Российская система высшего образования и науки включает в себя ВАК (Высшую аттестационную комиссию), которая отвечает за присвоение научных степеней. Степень доктора наук присуждается только с одобрения ВАК (и получается что никаких иностранных докторов наук по этой логике быть не может).

Важно понимать, что каждая страна имеет свою собственную систему образования и научные степени, которые могут отличаться от других. Однако все эти степени признаются на международном уровне и отражают уровень образования и достижений в научной сфере.

Академия Data Science от Тинькофф!

Учитесь у лучших экспертов Тинькофф и других ИТ-компаний в современном кампусе в центре Москвы. Подойдет студентам технических вузов, начинающим ИТ-специалистам и всем, кто мечтает о карьере в Data Science.
Подробнее здесь: https://l.tinkoff.ru/master.ds_2023

#реклама

🦙 Llama-2

Это очень важно: вышла Llama-v2 у которой открытый исходный код и лицензия, разрешающая коммерческое использование!

Это изменит ландшафт рынка LLM.
Llama-v2 доступна на Microsoft Azure и будет доступна на AWS, Hugging Face и других провайдерах.

Доступны предварительно обученные и зафайнтюненые модели с параметрами 7B, 13B и 70B.

Сайт Llama-2
Документ Llama-2

🔥 Совет на лето 2023 - углубитесь в изучение машинного обучения.

Если вы не хотите тратить месяцы и годы на бесполезные материалы, мы собрали для Вас кладезь полезных знаний в одной папке.

- Разбор вопросов с собеседований МО
- Machine learning
- Анализ данных
- Канал с вакансиями и фрилансом DS
и многое другое.

Сохраняйте себе, чтобы не потерять: https://t.me/addlist/2Ls-snqEeytkMDgy

#реклама