Помощь LLM 🦾 в разработке

Прошел мини курс про парное программирование с использованием LLM’ок (~30 min занимает на x2) от deeplearning.ai

Первое, что очень понравилось: интерфейс для ученика. Прям в браузере, рядом с самим видео, загружается Jupyter notebook с кодом, который можно редактировать и запускать. Всё уже настроено и работает, можно сразу приступать к практике.

Это прям очень классный learning experience. По сравнению с написанием преподавателем кода на доске в универе, это прям вау. Конкретно в этом курсе я этим почти не пользовался, но все равно остался под приятным впечатлением)

Теперь про более прикладные штуки. Для лучшего качества промпт настоятельно рекомендуют делать из 3ех частей:

1. Priming - типа "You are an expert at writing clear, concise, Python code." / “I don't think this code is the best way to do it in Python, can you help me?”
2. Запрос
3. Декоратор - типа “work step by step” / “add comment to every line” / “explain in detail what you did” / “explore different solutions”- дополнительные требования, чтобы сделать результат ещё более полезным для себя

Показали самые популярные сценарии:
- улучшение качества текущего кода
- упрощение кода
- написание тестов
- нахождение более эффективных решений
- помощь с дебагом
- объяснение того, что делает куча старого кода на любом языке
- написание документации

Все делается похоже: пишешь нужный прайминг, задаешь вопрос (иногда надо вставить текущий код), добавляешь комменты про то, чего хочешь получить от LLM.

От себя ещё добавлю, что LLM’ки хорошо умеют regexp’ы писать и отлично знают команды unix’а)

Кто использует Copilot/ChatGPT/etc? Как вам? Какие лайфхаки знаете?)

Почему успешные AI-first стартапы появились только сейчас❓

Отличное выступление на канале a16z (топовый венчурный фонд) с кучей интересных мыслей. Некоторые ниже опишу, но очень советую сам видос (15 минут).

Итак, ИИ сделал кучу профита внутри биг теха (мета, нетфликс, гугл, …) - рекомендации, поиск и прочее, но новых больших AI-first компаний не возникло.

Причины:
- ИИ решали очень нишевую проблему (обыграли в Го, например, но ранка под это нет)
- дорогое железо (особенно в робототехнике/селф драйвинге)
- человек отлично справляется
- (самое важное) толстый хвост распределения: много редких кейсов, на которых нужно не ошибаться, а ИИ недостаточно точен

Все эти факторы делали экономически невыгодными такие стартапы: люди дешевле и лучше водят машины, рисуют картинки, делают саммари документов, … Плюс разметка разнообразных редких кейсов дорогая.

Но вот с успехами в Generative-AI все изменилось. Выделились даже 3 больших направления
- Creativity (генерация картинок, сценариев)
- Companionship: цифровой человек друг
- Copilot - помощник с различными задачами

В этих задачах:
1. точность часто не так критична, неточные ответы могут быть даже забавной фичей
2. для разметки многие стартапы уже используют своих пользователей, что тоже экономит кучу денег

И вот за генерацию мультяшного портрета ты платишь не $50 дизайнеру, а 5 центов 🤖

И ещё интересный взгляд: компьютер сделал дешевыми вычисления, интернет - дистрибуцию информации, а ИИ - создание чего либо.
👍
Такие дела :)

Всех с наступающим Новым годом! 🎉 🎊 🎉

Желаю всем найти человека, который будет вас понимать лучше, чем рекомендательные системы и любой сверхсильный ИИ 🤖

И alignment’а с самим собой, конечно же 🧘

Пока Сэм Альтман собирает пару триллоинов долларов на революцию в области полупроводников, самое время разобраться в работе CPU, GPU и прочих железок.

Очень крутые и понятные блогпосты для широкой аудитории: CPU,
GPU, ASICs.

Помимо базы, которая очень кайфого изложена - с аналогиями и примерами, есть и про

- Power - Performance - Area трейдофф при дизайне чипов
- Мера энергоэффективности чипа (performance per watt) - главная метрика
- Power и Efficiency ядра в процессорах
- Фундаментальное отличие CPU и GPU
- ...

Если не до конца ясно, как основной ботлнек на практике в Deep Learning'е может быть не в вычислениях, а в доступе к памяти (для меня это было удивительно, когда узнал :D, про это я ещё упоминал здесь), то прочтение этих блогпостов поможет осознать)

🟢