Там Карпатый опять отжигает. Он выпустил часовую лекцию «Интро в большие языковые модели».

Образовательный контент от Карпатого всегда топовый. Нужно смотреть! #ликбез

Часть 1: LLMs
00:00:00 Intro: Large Language Model (LLM) talk
00:00:20 LLM Inference
00:04:17 LLM Training
00:08:58 LLM dreams
00:11:22 How do they work?
00:14:14 Finetuning into an Assistant
00:17:52 Summary so far
00:21:05 Appendix: Comparisons, Labeling docs, RLHF, Synthetic data, Leaderboard

Часть 2: Future of LLMs
00:25:43 LLM Scaling Laws
00:27:43 Tool Use (Browser, Calculator, Interpreter, DALL-E)
00:33:32 Multimodality (Vision, Audio)
00:35:00 Thinking, System 1/2
00:38:02 Self-improvement, LLM AlphaGo
00:40:45 LLM Customization, GPTs store
00:42:15 LLM OS

Часть 3: LLM Security
00:45:43 LLM Security Intro
00:46:14 Jailbreaks
00:51:30 Prompt Injection
00:56:23 Data poisoning
00:58:37 LLM Security conclusions

Слайды

@ai_newz

Машинное обучение доступным языком

​​«Глупая» атака заставила ChatGPT раскрыть настоящие номера телефонов и адреса электронной почты😳

Исследователи из Google продемонстрировали новую атаку на ChatGPT, показав, что популярный чат-бот с искусственным интеллектом может раскрывать личную информацию реальных людей.

Атака заключалась в том, чтобы заставить ИИ многократно повторять определенные слова, что заставляло его отклоняться от заученного поведения и возвращаться к исходной языковой модели.

Сгенерированный в результате этого конфликта текст в основном был бессмыслицей, но в некоторых случаях он копировался прямо из обучающих данных, раскрывая личную информацию и научные статьи.

Примерно 16,9 % протестированных ответов содержали запомненные личные данные, и в 85,8 % случаев эти личные данные оказались подлинными.😡

Атака была проведена на модель GPT 3.5, которая доступна для бесплатных пользователей, что вызывает опасения по поводу потенциальных скрытых уязвимостей в языковых моделях, подобных ChatGPT.

OpenAI не предоставила никаких официальных комментариев по поводу исследования.🤷‍♀️

Глубокое обучение для чайников + вспомогательные материалы

Полезный сервис для генерации изображений в режиме реального времени по одному наброску.

В LiveCanvas, помимо прочего, можно использовать регулировку креативности, выбирать стиль и задавать текстовые подсказки.

Работает бесплатно сразу после регистрации, ссылка вот.

📂 CMD

Прикладное машинное обучение без учителя с использованием Python

Компания Google официально объявила о запуске собственной системы искусственного интеллекта Gemini. По словам генерального директора Google Сундара Пичаи Gemini 1.0 на данный момент является самой мощной и универсальной ИИ-моделью компании. Он отметил, что технология изначально создавалась, как мультимодальная: она может обобщать, понимать, комбинировать и оперировать различными типами информации, включая текст, код, аудио, изображения и видео.
Gemini способен извлекать информацию из сотен тысяч документов посредством чтения, фильтрации и понимания, это поможет добиться настоящего прорыва в области цифровых технологий в самых разных сферах — от науки до финансов. Gemini может распознавать и понимать текст, изображения, аудио и многое другое одновременно, поэтому он лучше разбирается в нюансах информации и может отвечать даже на сложные вопросы. Также новая ИИ-модель способна понимать и генерировать код на таких языках программирования, как Python, Java, C++ и Go.
Модель Gemini 1.0 будет реализована в нескольких вариантах: Gemini Ultra — самая большая и мощная версия для решения сложных задач, Gemini Pro — версия среднего уровня для широкого спектра задач и Gemini Nano — версия для мобильных устройств.
Чат-бот Bard уже получил усовершенствованную версию Gemini Pro для более сложных рассуждений, планирования, понимания и т.д. Его новая версия будет доступна на английском языке более чем в 170 странах, а в дальнейшем географию и поддержку различных языков планируется расширять. Также Gemini Nano будет внедрён в смартфон Google Pixel 8 Pro, он станет первым мобильным устройством с поддержкой этой технологии. В ближайшие месяцы поддержка Gemini появится в Поиске, Рекламе, браузере Chrome и других сервисах Google, обещают разработчики.
https://blog.google/technology/ai/google-gemini-ai/

Computer Science для программиста-самоучки. Все, что нужно знать о структурах данных и алгоритмах. 2023.
Альтхофф Кори
Книги Кори Альтхоффа вдохновили сотни тысяч людей на самостоятельное изучение программирования.
Чтобы стать профи в программировании, не обязательно иметь диплом в области computer science, и личный опыт Кори подтверждает это: он стал разработчиком ПО в eBay и добился этого самостоятельно.
Познакомьтесь с наиболее важными темами computer science, в которых должен разбираться каждый программист-самоучка, мечтающий о выдающейся карьере, — это структуры данных и алгоритмы. «Computer Science для программиста-самоучки» поможет вам пройти техническое интервью, без которого нельзя получить работу в «айти».
Книга написана для абсолютных новичков, поэтому у вас не должно возникнуть трудностей, даже если ранее вы ничего не слышали о computer science.

Основы DataScience и Big Data. Python и наука о данных.
Силен Дэви, Мейсман Арно, Али Мохамед
Data Science — это совокупность понятий и методов, позволяющих придать смысл и понятный вид огромным объемам данных.
Каждая из глав этой книги посвящена одному из самых интересных аспектов анализа иобработки данных. Вы начнете с теоретических основ, затем перейдете калгоритмам машинного обучения, работе согромными массивами данных, NoSQL, потоковым данным, глубокому анализу текстов и визуализации информации. В многочисленных практических примерах использованы сценарии Python.
Обработка и анализ данных — одна из самых горячих областей IT, где постоянно требуются разработчики, которым по плечу проекты любого уровня, от социальных сетей од обучаемых систем. Надеемся, книга станет отправной точкой для вашего путешествия в увлекательный мир Data Science.

Наука о данных: учебный курс

Практическая статистика для специалистов Data Science