Мы накопили уже достаточно доказательств и исследований о том, что большие языковые модели (LLM) по умолчанию сами по себе на самом деле не соответствуют человеческим интересам и ценностям. Я уверена, я не первая, кто говорит о том, что такие модели могут быть невероятно предвзятыми. Мы знаем, что они генерируют ложную информацию и «галлюцинируют», демонстрируют политические и моральные предубеждения.

Будущие аналитики данных, BI‑аналитики, ML‑разработчики и Data Scientists используют готовые датасеты для выполнения студенческих заданий, чтобы научиться понимать принципы обработки данных, искать и валидировать гипотезы, строить предсказательные модели.

Однако задачи, которые решают студенты, часто недостаточно полезны как для них самих, так и для владельцев данных. Студенты не получают опыт решения практических задач, а также понимания, что результат их работы может быть полезен для бизнеса. В статье разбираюсь, почему так происходит и как получить опыт, который пригодится в работе.

В этой части мы коротко поговорим о данных, о работе сверточных нейросетей и о глобальных параметрах. От том что такое СГС и почему нельзя решать задачу в виде линейного уравнения. Затронем тему оптимизаторов и ответим на вопрос почему нельзя просто использовать обычный градиентный спуск. В общем обо всех деталях коротко и структурно.

В сценарии существующего процесса клиент обращается к менеджеру по продажам с запросом на ремонт квартиры. Традиционный подход включает предложение клиенту описания работ, мудбордов и стилевых рекомендаций, после чего клиент вступает в процесс с дизайнерами, чтобы увидеть окончательное воплощение идей через определенное время. Вроде бы всё просто и понятно. Но во‑первых, это долго. Во‑вторых, не всегда команды дизайнеров свободны и процесс может растянуться на недели (!). В целом, да, всё сводится к тому, что это долго. А где много человеко‑часов, там ещё и много затрат.

Разберемся с тем, как вообще устроены LLM, затем поговорим о промптах: общие принципы построения, техники оптимизации и промпты для изображений. А на десерт предложим вам продвинутые техники работы с LLM: автоматизированные подходы по улучшению промптов, Retrieval‑Augmented Generation и разметка данных для ML с помощью LLM.

И вот, спустя 2 года, мне пришло в голову, что телеграмм-канал - это довольно необычный источник текстов. Я у мамы дата сайнтист, так что на этих данных и решил устроить себе небольшой NLP-этюд

Что мы хотим в идеале получить от маттинга? Картинку, когда мы берем изображение, убираем все, что относилось к фону, и останется передний план, который можно будет перенести на новое изображение. Если делать это наивно, то просто возьмем альфа-канал, умножим его на изображение и получим что-то похожее на передний план. Но на границе, где альфа-канал не равен 1 или 0, у нас появятся артефакты.