ИИ меняет гуманитарные науки, как когда-то микроскопы и телескопы изменили естественные науки

Древние языки хранят культуру и историю прошлого и дают надежду на разрешение тысячелетних споров (например, об историчности Иисуса или аутентичности Библии) на основе исследования форм и жанров древних текстов, семантического анализа, лингвистических аспектов и литературных связей с материальными памятниками культуры.

Естественно, специалистам приходится решать крайне сложные текстовые задачи: от расшифровки утраченных языков и восстановления поврежденных надписей до определения авторства литературных произведений.

MIT сделали всесторонний обзор опубликованных исследований с использованием машинного обучения для изучения древних текстов, написанных на любом языке, письменности и носителе, охватывающих более трех с половиной тысячелетий цивилизаций древнего мира.

Я подозреваю, что авторы невероятные перфекционисты и дома раскладывают носки по цветам. Потому что они ввели таксономию задач на основе этапов изучения древних документов (оцифровка, реставрация, атрибуция, лингвистический анализ, текстовая критика, перевод и дешифровка), и разложили МЛ инструменты по этим полочкам (разпознавание - лучший результат показала ResNet; улучшение качества - GAN и трансформеры хорошо сработали после денойза; для реставрации древне-греческих текстов берите BERT-вдохновенную Ithaca с картами значимости на выходе для explainable AI). В общем, мое восхищение.

У работы три основных вклада:
⁃ упорядочивание научной области на стыке гуманитарных наук и машинного обучения;
⁃ убедительное доказательство, что междисциплинарное сотрудничество - ключ к созданию эффективных и убедительных научных исследований;
⁃ обозначение перспективных направлений исследований в этой области.

📖Статья MIT

🪝Видео похищено у Кирилла Семёновича, вопросы о научной достоверности, пожалуйста, к нему

@GingerSpacetail

🔔 19.07 | Интерактивная встреча «Практические подходы к изучению сознания».

Приходите на нашу уникальную встречу 19 июля, где мы разберем насколько увлекательными и доступными могут быть такие темы как Искусственный Интеллект и сознание. Что такое сознание? Как его можно исследовать? Что мы знаем о сознании у Искусственного Интеллекта? Мы объясним эти вопросы простым и понятным языком, сделав их интересными для каждого из вас!

Важно! У нас ограниченное количество мест – всего 35, поэтому не упустите свой шанс присоединиться к нам.

Встречу проведут:

🔆 Полина Кривых – эксперт в области психофизиологии, со-основатель стартапа по борьбе с выгоранием Revive, автор популярного канала Редакция.Наука

🔆 Алекс Поляков – исследователь в области психоделик-криптографии, автор канала Unstoppable technologies

🔆 Даша Ильяшенко – специалист в области искусства, основательница KakdelArt, со-автор канала Пост-тарбут

🔆 Артемий Новоселов – ученый-исследователь ИИ из Стэнфорда, создатель канала NN for Science

📍 Faktura (Тель-Авив, ул. Левонтин, 6)
🕦 19 июля, в 19:00
💰 Стоимость билета: 60 шек
🍸 Welcome drink

Регистрируйтесь сейчас!

Давайте разберемся кто может, а кто не может называть себя доктором наук

В академической среде существуют различные степени и титулы, которые отражают уровень образования или достижений в научной сфере. Ниже представлены основные степени их взаимосвязь:

Dr. rer. nat. - это степень, присуждаемая в странах германского языка (например, в Германии, Австрии и Швейцарии) в области естественных наук. Это эквивалент PhD (Philosophiae Doctor), присуждаемого в англоязычных странах. Обе эти степени требуют выполнения научного исследования и защиты диссертации. Степень Dr. rer. nat. буквально переводится как "доктор наук", но в России (и некоторых других странах бывшего СССР), она признаётся как эквивалент PhD, а не степени "доктор наук".

PhD (Doctor of Philosophy) - это наиболее распространённая степень в научном сообществе. Она присуждается в большинстве стран мира за вклад в научные исследования. Степень PhD требует проведения оригинального исследования и написания диссертации на его основе. Эта степень признаётся международным сообществом и является требованием для большинства позиций в академической сфере.

Кандидат наук - это степень, присуждаемая в России и некоторых других странах бывшего СССР. Она признаётся международным сообществом как эквивалент степени PhD. Для получения степени кандидата наук требуется проведение научного исследования и защита диссертации.

Доктор наук - это более высокая научная степень, присуждаемая в России и некоторых других странах бывшего СССР. Это существенно более сложная и долгая процедура, чем получение степени кандидата наук, и она обычно требует значительного вклада в научное знание. Степень доктора наук признаётся на международном уровне как почетная и важная степень, но не имеет прямого эквивалента в системах других стран.

Стоит отметить, что Российская система высшего образования и науки включает в себя ВАК (Высшую аттестационную комиссию), которая отвечает за присвоение научных степеней. Степень доктора наук присуждается только с одобрения ВАК (и получается что никаких иностранных докторов наук по этой логике быть не может).

Важно понимать, что каждая страна имеет свою собственную систему образования и научные степени, которые могут отличаться от других. Однако все эти степени признаются на международном уровне и отражают уровень образования и достижений в научной сфере.

Академия Data Science от Тинькофф!

Учитесь у лучших экспертов Тинькофф и других ИТ-компаний в современном кампусе в центре Москвы. Подойдет студентам технических вузов, начинающим ИТ-специалистам и всем, кто мечтает о карьере в Data Science.
Подробнее здесь: https://l.tinkoff.ru/master.ds_2023

#реклама

🦙 Llama-2

Это очень важно: вышла Llama-v2 у которой открытый исходный код и лицензия, разрешающая коммерческое использование!

Это изменит ландшафт рынка LLM.
Llama-v2 доступна на Microsoft Azure и будет доступна на AWS, Hugging Face и других провайдерах.

Доступны предварительно обученные и зафайнтюненые модели с параметрами 7B, 13B и 70B.

Сайт Llama-2
Документ Llama-2

🔥 Совет на лето 2023 - углубитесь в изучение машинного обучения.

Если вы не хотите тратить месяцы и годы на бесполезные материалы, мы собрали для Вас кладезь полезных знаний в одной папке.

- Разбор вопросов с собеседований МО
- Machine learning
- Анализ данных
- Канал с вакансиями и фрилансом DS
и многое другое.

Сохраняйте себе, чтобы не потерять: https://t.me/addlist/2Ls-snqEeytkMDgy

#реклама

С Llama-2 🦙 уже можно поговорить

У французского стартапа Hugging Face 🤗, которые изначально прославились хабом для трансформеров (когда еще это называлось NLP), оказывается есть свой веб-интерфейс для чат моделек.

Он называется Hugging Chat и они только что добавили поддержку Llama-2.

Уже можно идти общаться!

🤗 HuggingChat

В GPT-4 добавили фичу, слухи про которую ходили давно — предзаписанные инструкции/роли, которые модель должна выполнять и отыгрывать. И можно задать желаемый формат ответов (например, всегда отвечать стихами на французском, почему нет?)

Нужно включить в настройках
Settings → Beta features → opt into Custom instructions

Затем перезагрузить страницу, в и меню слева (где настройки) у вас появится отдельная кнопка.

Источник

Привет, Чемпион!

🏆 Хочешь покорить Kaggle и научиться выигрывать соревнования по анализу данных? Тогда наш курс "Введение в соревновательный Data Science" - это именно то, что тебе нужно!

🎯 Что ты получишь?
- Первый русскоязычный курс по соревновательному Data Science с максимальным количеством практики.
- Насыщенная программа, содержащая современные методы для выбивания максимального скора из твоих ML-моделей.
- Более 200 практических заданий.
- Интервью с Kaggle Grand Masters.
- Большое русскоязычное коммьюнити 400+ студентов курса для совместного прохождения и участия в соревнованиях.
- Поддержка преподавателей и даже собственный мерч курса за успехи.

АКЦИЯ: Возвращаем деньги за курс, если выиграешь любую медаль на Kaggle до конца лета!

🔥Скидка 10% по промокоду: TGLETO (Сработает только при переходе по ссылке)
✅ Подписывайся на Канал курса, чтобы узнать подробности и следить за открытыми вебинарами и другими активностями.

#реклама

Каникулы закончились, так что дальше нас ждёт меньше рекламы и больше хороших постов! Всем хорошей недели

Еще немного про LLaMa-2

LLaMa-2 - это самая мощная языковая модель, которая есть в открытом доступе на сегодняшний день. Это дает огромны толчок дальнейшему развитию LLM и их использованию в разных продуктах. Открытй релиз LLaMA-1 породил просто тучу крутых проектов породил, я в предвкушении того, что в ближайшее время сделают на базе LLaMa-2, коротая еще позволяет и свободное коммерческое использование.

В интервью BBC, один из топов Meta, Nick Clegg, сказал, выпуск LLM в open-source делает их «более безопасными», так как привлекает тщательные исследования и анализ извне.
Вот еще несколько интересных мыслей от Ника:

- LLaMa-2 более безопасна, чем любая друга open-source модель на сегодняшний день (и это подтверждается бенчмарками в статье).

- По поводу экзистенциальной угрозы: «Я считаю, что шумиха несколько опережает технологии. Я думаю, что многие экзистенциальные угрозы относятся к моделям, которые в настоящее время не существуют, к так называемым сверхинтеллектуальным, сверхмощным моделям ИИ — вариант, в котором ИИ самостоятельно развивает автономию и свободу действий, где он может думать сам и воспроизводить себя.»

«Модели, исходный код которых мы открываем, далеки от этого. На самом деле, во многом они довольно глупы».

- Ник убежден, что AI должен регулироваться, и добавил, что это «не означает, что все AI модели должны быть открытыми».

За последние 10 лет Мета зарелизила в открытый доступ более 1000 моделей, библиотек и датасетов. Чего стоит только React, PyTorch и, например, недавняя модель Segment Anything. Мне кажется, некоторые другие компании незаслуженно зовутся "Open".

@ai_newz

ClimateLearn - машинное обучение в предсказании климата и погоды

ClimateLearn - это библиотека в питоне для доступа к самым современным климатическим данным и моделям машинного обучения стандартизированным и простым способом. Эта библиотека предоставляет доступ к нескольким наборам данных, зоопарку базовых подходов, а также набору метрик и визуализаций для крупномасштабного сравнительного анализа методов статистического масштабирования и временного прогнозирования.

В этом ноутбуке можно поучиться как пользоваться.

#ML #AI #climate

🔬 МЛ в научных исследованиях: За рамками базовой подготовки

Возможно, кого-то это удивит, но многие научные группы испытывают трудности с тем, что бы их модели машинного обучения работали после того как их обучили.

Сколько бы бессонных ночей вы не смотрели на свой лосс, для модели это лишь начало.

Важнейшее значение имеют инженерные практики, которые, похоже, только сейчас начинают осваивать многие специалисты в области ML. Давайте обсудим три основополагающие практики:

1️⃣ Воспроизводимость. Недостаточно просто сохранить веса моделей. Суть научного исследования заключается в последовательном воспроизведении результатов. Для этого крайне важна подробная запись - исходного кода, конфигураций, гиперпараметров, наборов данных и метрик обучения.

2️⃣ Отладка. Модели не бывают идеальными с первой попытки. Итерационные процессы включают в себя опробование различных алгоритмов и конфигураций. Кроме того, понимание того, с какими данными не справляется модель, может значительно улучшить ее. К сожалению, некоторые команды до сих пор прибегают к использованию электронных таблиц для отслеживания результатов экспериментов (или не ведут никаких записей вообще)

3️⃣ Мониторинг.
Модели не статичны, они могут деградировать. Этот "дрейф" может быть быстрым или постепенным. Регулярные обновления могут смягчить эту проблему, но только при наличии надежной системы мониторинга.

По мотивам

Как думаете, какие еще важные нюансы следует учесть? Пишите в комменты

DeepMind снова практикуется в управлении плазмой с помощью интеллектуальных алгоритмов.

Компания DeepMind, известная тем, что заставляет искусственный интеллект делать то, о чем мы и подумать не могли, вернулась с очередной инновацией. На этот раз речь идет об управлении так называемой "плазмой".

Представьте себе плазму как энергетическое облако, немного дикое и сложное в управлении. Традиционные способы управления ею были хороши, но, прямо скажем, несколько устарели. Компания DeepMind предлагает новый подход.

Они, по сути, переработали методику работы с ИИ:

1. Они отточили навыки ИИ, сделав его гораздо лучше в лепке плазмы - точность повысилась до 65%.
2. Сократили досадные ошибки. Теперь плазма ведет себя так, как должна, а не как попало.
3. Ускорили время обучения. Это все равно, что в три раза быстрее довести свой ИИ от нуля до героя.

И это не просто теория. Они испытали свой метод на реальной машине - токамаке TCV, и результаты оказались верными.

Проще говоря, DeepMind взяли свои наработки прошлого года и все улучшил и допилили.

☢️ Статья

Форум "Передовые модели": Большие шишки объединяются для обеспечения безопасности ИИ

Авторы: OpenAI и компания, а также представители Anthropic, Google и Microsoft.

📅 26 июля 2023 г.

📌 Кратко:

Технологические гиганты, включая Anthropic, Google, Microsoft и OpenAI, объединяют усилия для создания *Фронтирного модельного форума*. Их цель? Обеспечить безопасную, ответственную и полезную для общества разработку моделей ИИ будущего.

📢 Что нового?

1. О Форуме передовых моделей: Это новое отраслевое сотрудничество сосредоточено на самых передовых моделях ИИ, так называемых "пограничных моделях". Считайте, что это болиды "Формулы-1" в мире ИИ - высокопроизводительные, универсальные, но требующие самых высоких мер безопасности.

2. Основные цели:
* Усилить исследования в области безопасности ИИ.
* Выявление лучших практик ответственного развития ИИ.
* Сотрудничество с широким кругом заинтересованных сторон по вопросам безопасности и доверия.
* Применение ИИ для решения крупных общественных проблем, от изменения климата до кибербезопасности.

3. Как попасть в клуб: Форум приглашает к сотрудничеству организации, создающие сложные модели ИИ, приверженные идее безопасности ИИ и стремящиеся к реализации миссии Форума.

4. Следующие шаги: В течение года Форум сосредоточится на таких направлениях, как обмен передовым опытом, расширение исследований в области безопасности ИИ и создание возможностей для обмена информацией.

👌Выводы:

По сути, Frontier Model Forum - это коллективная мудрость. Поскольку ИИ продолжает стремительно развиваться, такой единый подход является многообещающим шагом для преодоления проблем и ответственного использования его преимуществ.

🔗 Ссылка

DeepLearning.AI вместе с Hugging Face запускают курс по генеративному ИИ.

В рамках новой коллаборации DeepLearning.AI и Hugging Face, только что было объявлено о запуске нового курса Создание генеративных приложений ИИ с помощью Gradio.

Gradio, продукт компании Hugging Face, набирает популярность благодаря своей уникальной возможности превращать сложный код в простые в использовании демонстрации на Hugging Face Spaces. Это сотрудничество подчеркивает растущее внимание отрасли к тому, чтобы сделать приложения ИИ и машинного обучения более доступными для широкой аудитории.

Курс под руководством Аполинарио Пассоса, признанного инженера по машинному обучению в компании Hugging Face, предоставит участникам возможность:

1. Разработать приложение для обобщения текста, удобное даже для тех, кто не умеет кодить.
2. Создать приложение для загрузки изображений, которое затем снабжает загруженное изображение подписями.
3. Создать приложение, способное генерировать изображение на основе заданного текста.
4. Интегрировать функции: генерация подписи к загруженному изображению и последующее создание нового изображения на основе этой подписи.
5. Создать интерактивный чат-интерфейс с использованием Falcon - ведущей открытой LLM из рейтинга Open LLM Leaderboard.

DeepLearning.AI подчеркивает, что по завершении программы участники будут обладать ноу-хау для создания интерактивных демонстраций и приложений, что позволит улучшить процесс проверки и ускорить сдачу проекта.

В настоящее время запись на курс открыта, и, что примечательно, он доступен бесплатно.

😻 Записаться

Друзья, конкурс! Задача совместить буквы L, Л и ל в одну и сделать из этого логотип. Кидайте варианты, лучшему приз 1000р?

ТЗ: Разработать логотип для "Лектория", органично объединив три буквы: L из латинского алфавита, Л из кириллицы и ל из еврейского алфавита. Окончательный вариант дизайна должен объединить эти буквы в единый гармоничный символ, олицетворяющий единство разных языков и сохраняющий при этом современную и легко узнаваемую эстетику. Интеграция должна быть плавной, а основные элементы каждой буквы должны быть сохранены, чтобы объединенный дизайн намекал на все три оригинальных символа. Стремитесь к универсальному дизайну, который можно масштабировать под разные размеры, сохраняя при этом его отличительные особенности и четкость.

Еще один этюд на тему поиска статей.

Всем привет! Подписчики канала сделали приложение, которое объединяет все статьи с arXiv, bioRxiv, chemRxiv и medRxiv в одном UI.
Попробовать можно тут: https://synthical.com/

Ключевые функции:
- Similarity search всех статей
- Рекомендации статей на основе истории чтения
- Упрощалка статей с использованием LLM (в данный момент только тайтл и абстракт, в следующей версии - любой кусок статьи, хоть пару страниц целиком)
- Популярные статьи
- Букмарки, комменты
- Можно создавать общие папки со статьями и шерить их со своей командой

Ребята очень хотят услышать от вас комментарии: расскажите, что вам нравится, и чего не хватает.

Потыкать и дать обратную связь

#этополюбви

Мета-Трансформер: Мультимодальное чудо!

Мечтали ли вы когда-нибудь о модели, способной беспрепятственно объединять данные из текстов, изображений, аудио- и видеофайлов и т.д.? Представляем вам Meta-Transformer - новое мультимодальное чудо, которое открывает новые горизонты в мире искусственного интеллекта!

📃 Краткий обзор
- Назначение: преодоление разрыва между различными модальностями, такими как текст, изображения, аудио, видео и даже табличные данные.
- Волшебный элемент: Отсутствие необходимости в парных мультимодальных обучающих данных. Да, именно так!

📌 Основные возможности:

1. Токенизация данных в последовательности: Преобразование различных типов данных в эмбединги токенов в общем пространстве. Будь то эмбединги WordPiece для текста, 3D-свертка для видео или выборка по самой дальней точке для облаков точек - здесь есть все!

2. Унифицированный энкодер: Использует энкодер на основе трансформера (сродни знаменитому ViT) для преобразования токенов в нечто осмысленное. Кроме того, он предварительно обучен на наборе данных LAION-2B.

3. Модально-агностическое обучение: Уникальный подход, который гарантирует, что каждая модальность данных получит заслуженное внимание.

📊 Основные показатели:

- Текст: Хорошие результаты в бенчмарках GLUE, хотя такие мощные решения, как BERT и RoBERTa, по-прежнему лидируют.

- Изображения: В некоторых областях, таких как классификация изображений в режиме zero-shot, превосходит такие модели, как Swin Transformer.

- Аудио: Соревнуется с моделями аудиотрансформеров, демонстрируя точность 97,0%.

- Видео: Не является лидером по точности, но отличается эффективностью за счет меньшего числа обучаемых параметров.

- Временные ряды: Лидирует в таких бенчмарках, как ETTh1 и Traffic.

💡 Примечание: Основная оговорка - это вычислительная сложность, которая составляет O(n^2 x D).

🔗 Код
💾 Статья

Meta-Transformer заново определяет границы возможного в мультимодальном ИИ. Это настоящее свидетельство постоянно развивающегося мира машинного обучения! 🚀