Forwarded from Reliable ML
Как нанять хорошего CDO - Part #2
Обзор книги Carruthers, Jackson - The Chief Data Officer's Playbook - Part #1 здесь
Продолжаю делиться моментами, которые показались интересными в книге CDO Playbook.
В книге есть отдельная большая глава с рекомендациями для бизнеса о том, как нанять хорошего CDO и о том, как ему помочь, чтобы все получилось.
Кого надо нанимать
- Нанимайте специалиста в области данных. Не generalist people.
- Гипер важный навык - способность к переговорам с очень большим набором разных стейкхолдеров. Но первично - быть специалистом.
- Надо определиться, какой тип CDO нужен, по типам, выделяемым в книге - first CDO и second CDO (обсуждали в первой части обзора). Зависит от этапа зрелости компании в части работы с данными. Для каждого из типов CDO важны свой набор техскиллов, опыт и мотивация.
- Подумайте, чем вы можете мотивировать хорошего CDO для работы с вами. Что может повлиять на его мотивацию: оргсетап и близость к CEO (будет подробнее дальше), насколько интересные у вас данные и насколько масштабны проблемы для решения и вообще, что вы хотите сделать с помощью цифровой трансформации.
- Состояние данных может быть настолько плохим, что вам сложно будет кого то найти, или, наоборот, слишком хорошим. Поэтому во всех случаях не стоит затягивать с решением о сетапе роли CDO.
- Чтобы хорошо нанять, важно привлечь тех, кто разбирается. И вообще, рынок жесткий, сложно нанять. Скорее всего, вам точно нужна будет помощь. От того, кто поможет сформулировать описание роли и условия. И кто знает людей на рынке. Авторы книги развивают свой консалтинговый бизнес, разумеется.
Как засетапить CDO
- Очень важно наделить CDO достаточным уровнем полномочий для кросс доменных инициатив, установки политик и стандартов. Часто проблемы с внедрением дата стратегии и движением компании в дата дривен историю случаются из за слишком джуниорного сетапа CDO.
- Чем больше уровней между CEO, Правлением и CDO, тем меньше эффекта от роли будет. И нужно быть уверенным, что CDO репортит тому, у кого реально есть данные. Если CDO находится в департаменте, который только получает, но не производит данные - можно получить много проблем, связанных с оторванностью как CDO, так и его руководителя от реальных проблем.
- Аллергия на сетап внутри IT структуры. Важно разнести, когда пихают дату в ИТ получается не очень. Тут прям у авторов книги аллергия и явно болезненный опыт, связанный с взаимоотношением CDO и IT. Неприятие сквозит через всю книгу про то, что IT и работа с данными - это очень разное и это нельзя смешивать управленчески ни за что и никогда. Хотя стоит отметить, что по статистике сетап CDO внутри IT-департаментов остается пока достаточно распространенным вариантом. По последним доступным обзорам у около 25% компаний CDO размещен под ИТ-директором, а у около 35% компаний - в бизнес-единицах.
Как помочь вашему CDO
- Если вы наняли своего первого CDO, то ему очень важна поддержка во внедрении вижена и дата стратегии. И эта поддержка должна быть всем видна. Engagement бизнеса в дата трансформацию - это в первую очередь ответственность CEO/менеджера. Иначе большой риск быстрого выгорания и ухода CDO. И замену по опыту найти очень трудно.
- Не нужно обделять вниманием важность избавления от легаси дата продуктов и автоматизации ручной отчетности. Важно выделять на это время, чтобы не стопорить дата офис в будущем.
- Дата трансформация это долго и ресурсозатратно. Нужно быть к этому готовым, прежде чем идешь в эту историю. Нужно быть готовым к go slow to speed up подходу (особенно в начале пути), не пытаться съесть слона целиком.
- Дайте CDO свободу делать свою работу. Помогайте найти небольшие кейсы и маленькие победы, которые станут первыми шагами на пути к трансформации бизнеса.
- Почти в каждом пункте подчеркивается важность поддержки. ПОЛНОЙ поддержки. Так капслоком и написано, видно, что выстрадано.
Вот такие вот рекомендации. А что откликается вам?
Ваш @Reliable ML
#business #обзор_книги #cdo
Обзор книги Carruthers, Jackson - The Chief Data Officer's Playbook - Part #1 здесь
Продолжаю делиться моментами, которые показались интересными в книге CDO Playbook.
В книге есть отдельная большая глава с рекомендациями для бизнеса о том, как нанять хорошего CDO и о том, как ему помочь, чтобы все получилось.
Кого надо нанимать
- Нанимайте специалиста в области данных. Не generalist people.
- Гипер важный навык - способность к переговорам с очень большим набором разных стейкхолдеров. Но первично - быть специалистом.
- Надо определиться, какой тип CDO нужен, по типам, выделяемым в книге - first CDO и second CDO (обсуждали в первой части обзора). Зависит от этапа зрелости компании в части работы с данными. Для каждого из типов CDO важны свой набор техскиллов, опыт и мотивация.
- Подумайте, чем вы можете мотивировать хорошего CDO для работы с вами. Что может повлиять на его мотивацию: оргсетап и близость к CEO (будет подробнее дальше), насколько интересные у вас данные и насколько масштабны проблемы для решения и вообще, что вы хотите сделать с помощью цифровой трансформации.
- Состояние данных может быть настолько плохим, что вам сложно будет кого то найти, или, наоборот, слишком хорошим. Поэтому во всех случаях не стоит затягивать с решением о сетапе роли CDO.
- Чтобы хорошо нанять, важно привлечь тех, кто разбирается. И вообще, рынок жесткий, сложно нанять. Скорее всего, вам точно нужна будет помощь. От того, кто поможет сформулировать описание роли и условия. И кто знает людей на рынке. Авторы книги развивают свой консалтинговый бизнес, разумеется.
Как засетапить CDO
- Очень важно наделить CDO достаточным уровнем полномочий для кросс доменных инициатив, установки политик и стандартов. Часто проблемы с внедрением дата стратегии и движением компании в дата дривен историю случаются из за слишком джуниорного сетапа CDO.
- Чем больше уровней между CEO, Правлением и CDO, тем меньше эффекта от роли будет. И нужно быть уверенным, что CDO репортит тому, у кого реально есть данные. Если CDO находится в департаменте, который только получает, но не производит данные - можно получить много проблем, связанных с оторванностью как CDO, так и его руководителя от реальных проблем.
- Аллергия на сетап внутри IT структуры. Важно разнести, когда пихают дату в ИТ получается не очень. Тут прям у авторов книги аллергия и явно болезненный опыт, связанный с взаимоотношением CDO и IT. Неприятие сквозит через всю книгу про то, что IT и работа с данными - это очень разное и это нельзя смешивать управленчески ни за что и никогда. Хотя стоит отметить, что по статистике сетап CDO внутри IT-департаментов остается пока достаточно распространенным вариантом. По последним доступным обзорам у около 25% компаний CDO размещен под ИТ-директором, а у около 35% компаний - в бизнес-единицах.
Как помочь вашему CDO
- Если вы наняли своего первого CDO, то ему очень важна поддержка во внедрении вижена и дата стратегии. И эта поддержка должна быть всем видна. Engagement бизнеса в дата трансформацию - это в первую очередь ответственность CEO/менеджера. Иначе большой риск быстрого выгорания и ухода CDO. И замену по опыту найти очень трудно.
- Не нужно обделять вниманием важность избавления от легаси дата продуктов и автоматизации ручной отчетности. Важно выделять на это время, чтобы не стопорить дата офис в будущем.
- Дата трансформация это долго и ресурсозатратно. Нужно быть к этому готовым, прежде чем идешь в эту историю. Нужно быть готовым к go slow to speed up подходу (особенно в начале пути), не пытаться съесть слона целиком.
- Дайте CDO свободу делать свою работу. Помогайте найти небольшие кейсы и маленькие победы, которые станут первыми шагами на пути к трансформации бизнеса.
- Почти в каждом пункте подчеркивается важность поддержки. ПОЛНОЙ поддержки. Так капслоком и написано, видно, что выстрадано.
Вот такие вот рекомендации. А что откликается вам?
Ваш @Reliable ML
#business #обзор_книги #cdo
Forwarded from Start Career in DS
▶️ Продолжение серии видео от 3Blue1Brown про нейронные сети!
Ранее мы уже писали про серию их постов, переведённую на русский язык, там были видео про работу нейронных сетей в целом, градиентный спуск и обратное распространение ошибки.
Ребята в комментариях дополнили, что у 3B1B на английском есть ещё 3 видео!
Дополняем свою подборку ими. Кроме того, у этих видео есть весьма качественный русский дубляж 🙂
[ENG + RUS] Transformers (how LLMs work) explained visually | DL5
Объясняет что происходит внутри трансформера в начале и в конце обучения. Показывает геометрическое представаление эмбеддинга слов в многомерном пространстве
[ENG + RUS] Attention in transformers, visually explained | DL6
Иллюстрация работы механизмов внимания на примере простого предложения. Показывает взаимодействие эмбеддингов слов в предложении между собой и разницу между self-attention и cross-attention
[ENG + RUS] How might LLMs store facts | DL7
Как устроены многослойные перцептроны. Понятная иллюстрация того, как модель сохраняет факты
Ждём ваших ❤️ и 🔥!
Ранее мы уже писали про серию их постов, переведённую на русский язык, там были видео про работу нейронных сетей в целом, градиентный спуск и обратное распространение ошибки.
Ребята в комментариях дополнили, что у 3B1B на английском есть ещё 3 видео!
Дополняем свою подборку ими. Кроме того, у этих видео есть весьма качественный русский дубляж 🙂
[ENG + RUS] Transformers (how LLMs work) explained visually | DL5
Объясняет что происходит внутри трансформера в начале и в конце обучения. Показывает геометрическое представаление эмбеддинга слов в многомерном пространстве
[ENG + RUS] Attention in transformers, visually explained | DL6
Иллюстрация работы механизмов внимания на примере простого предложения. Показывает взаимодействие эмбеддингов слов в предложении между собой и разницу между self-attention и cross-attention
[ENG + RUS] How might LLMs store facts | DL7
Как устроены многослойные перцептроны. Понятная иллюстрация того, как модель сохраняет факты
Ждём ваших ❤️ и 🔥!
Forwarded from Заскуль питона (Data Science)
Seeing Statistic Theory
😡 Это то, с чего я начинал, когда начал копать в сторону аналитики данных и статистики в целом, так как понимание статистики и теории вероятностей давалось очень тяжело (начинал с курсов по статистике от Анатолия Карпова). Как понимание с оттачиванием практических примеров - кайф. Только нужно сразу закинуть пару примеров и решать в Python, например, без этого никак.
🤑 Сейчас я советую сразу присмотреться к курсу по статистике и теории вероятностей от ФЭН ВШЭ. Много практики, хорошо для общего понимания академической статистики и тервера. Будет тяжело, но на выходе получите помимо знаний, структуры особенный эффект после обучения.
♟ Если хотите, разберу относительной новый курс по прикладной статистике от ААА, делал анонс второй части тут
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Tensor Banana
Flux Redux x3 - смешиваем 3 картинки с указанием силы
Если кто не в курсе, Flux Redux - новая модель для создания вариаций картинки.
Базовый воркфлоу для Flux Redux (вариации по одной картинке) слишком негибкий, поэтому я его адаптировал. Я добавил указание силы для каждой картинки и для промпта. Теперь можно четко контролировать силу каждого фактора.
Рекомендации:
- в моем воркфлоу главная картинка всегда третья, у нее всегда почему-то самое большое влияние на результат, ставьте ей силу 1.0 или близкое значение.
- первая картинка по умолчанию выключена. Если вам надо - можете включить, но контролировать 3 картинки + промпт - сложнее, чем 2.
- Redux неплохо работает с лорами. Тестил на лоре на лицо.
- рекомендую выставлять большое конечное разрешение, например, 800x1400. При меньшем разрешении финальные картинки иногда могут не влезать по высоте, и объект будет обрезаться сверху. Предполагаю, что redux тренировали на разрешении 1400x1400.
- сила промпта также может быть задана, путем уменьшения финальной силы всех картинок. По умолчанию она стоит в 0.40. При 1.00 - промпт будет игнорироваться. При 0.00 - картинки будут игнорироваться.
- картинки на белом фоне проще интегрировать друг в друга.
- у меня там 2 лоры встроены с силой 0. выберите любые или удалите эти ноды если у вас вообще нет скачанных лор.
Все ноды доступны по умолчанию (кроме гуфов, но по умолчанию выключены). Ничего дополнительно устанавливать не надо, просто обновите comfyui (update_comfyui.bat) и перетащите воркфлоу.
Для работы Redux скачать, если не качали:
sigclip https://huggingface.co/Comfy-Org/sigclip_vision_384/blob/main/sigclip_vision_patch14_384.safetensors в папку models/clip_vision
FLUX.1-Redux https://huggingface.co/black-forest-labs/FLUX.1-Redux-dev в папку models/style_models
flux dev, clip_l, t5_xxl, vae надеюсь у вас уже скачаны, если нет то: https://comfyanonymous.github.io/ComfyUI_examples/flux/
Redux x3 воркфлоу https://github.com/Mozer/comfy_stuff/blob/main/workflows/workflow_redux_x3_with_strength.png
Затестить онлайн: https://www.runninghub.ai/post/1860773217928441857
Если кто не в курсе, Flux Redux - новая модель для создания вариаций картинки.
Базовый воркфлоу для Flux Redux (вариации по одной картинке) слишком негибкий, поэтому я его адаптировал. Я добавил указание силы для каждой картинки и для промпта. Теперь можно четко контролировать силу каждого фактора.
Рекомендации:
- в моем воркфлоу главная картинка всегда третья, у нее всегда почему-то самое большое влияние на результат, ставьте ей силу 1.0 или близкое значение.
- первая картинка по умолчанию выключена. Если вам надо - можете включить, но контролировать 3 картинки + промпт - сложнее, чем 2.
- Redux неплохо работает с лорами. Тестил на лоре на лицо.
- рекомендую выставлять большое конечное разрешение, например, 800x1400. При меньшем разрешении финальные картинки иногда могут не влезать по высоте, и объект будет обрезаться сверху. Предполагаю, что redux тренировали на разрешении 1400x1400.
- сила промпта также может быть задана, путем уменьшения финальной силы всех картинок. По умолчанию она стоит в 0.40. При 1.00 - промпт будет игнорироваться. При 0.00 - картинки будут игнорироваться.
- картинки на белом фоне проще интегрировать друг в друга.
- у меня там 2 лоры встроены с силой 0. выберите любые или удалите эти ноды если у вас вообще нет скачанных лор.
Все ноды доступны по умолчанию (кроме гуфов, но по умолчанию выключены). Ничего дополнительно устанавливать не надо, просто обновите comfyui (update_comfyui.bat) и перетащите воркфлоу.
Для работы Redux скачать, если не качали:
sigclip https://huggingface.co/Comfy-Org/sigclip_vision_384/blob/main/sigclip_vision_patch14_384.safetensors в папку models/clip_vision
FLUX.1-Redux https://huggingface.co/black-forest-labs/FLUX.1-Redux-dev в папку models/style_models
flux dev, clip_l, t5_xxl, vae надеюсь у вас уже скачаны, если нет то: https://comfyanonymous.github.io/ComfyUI_examples/flux/
Redux x3 воркфлоу https://github.com/Mozer/comfy_stuff/blob/main/workflows/workflow_redux_x3_with_strength.png
Затестить онлайн: https://www.runninghub.ai/post/1860773217928441857
Forwarded from rzv Data Engineering
#зачем_нужно
Проблемы и решения в очистке данных 4/4
🔶 Нормализация unicode символов
❔ Рассказать в следующем посте про colation настройки БД (или почему иногда сортировка одних и тех же данных может выдавать разный результат) ? :)
🔶 Конвертация часовых поясов
🔶 Обработка спецсимволов в текстовых полях
🔶 Приведение булевых значений к стандартному виду
❕Ну что, как тебе формат? Голосуй реактами и комментами, если хочешь больше такого
Проблемы и решения в очистке данных 4/4
🔶 Нормализация unicode символов
translate(column, 'áéíóúàèìòùãẽĩõũâêîôûäëïöüçñ', 'aeiouaeiouaeiouaeiouaeioucn')
regexp_replace(column, '[^\x00-\x7F]+', '') /* удаление не ASCII символов */
❔ Рассказать в следующем посте про colation настройки БД (или почему иногда сортировка одних и тех же данных может выдавать разный результат) ? :)
🔶 Конвертация часовых поясов
select timestampz_column at time zone 'Europe/Moscow'
coalesce(
try_cast(timestamp_column as timestamp with time zone),
timestamp_column::timestamp at time zone 'UTC'
) /* если не всегда указана временная зона */
🔶 Обработка спецсимволов в текстовых полях
regexp_replace(column, '[^a-zA-Z0-9\s]', '') /* только буквы, цифры и пробелы */
translate(column, '[]{}()*#$%@!?+=/\|', '') /* удаление конкретных символов */
🔶 Приведение булевых значений к стандартному виду
case
when lower(column) in ('1', 'yes', 'true', 'y', 't') then true
when lower(column) in ('0', 'no', 'false', 'n', 'f') then false
else null
end as bool_column
❕Ну что, как тебе формат? Голосуй реактами и комментами, если хочешь больше такого
Forwarded from Quant Researcher
🧢 Зачем изобретать велосипед, если можно форкнуть мотоцикл
finstruments — библиотека для управления финансовыми инструментами на Python. За счёт модульной архитектуры, можно создавать кастомные инструменты для любых типов активов и сохранять их в JSON для интеграции с API и базами данных.
Что внутри:
- Поддержка популярных инструментов: форварды, опционы, позиции, портфели, пр.
- Возможность расширения и кастомизации.
- Сериализация/десериализация в JSON.
- Функции расчета дат, бизнес-дней, выплат и прочих финансовых операций.
🪂 Пример создания опциона на акцию
🧘♂️ Пакет легковесный, ставится одной командой
Идеальный инструмент для новичков, кто хочет подсмотреть, как и с чего начать писать классы для инструментов.
Quant Researcher
finstruments — библиотека для управления финансовыми инструментами на Python. За счёт модульной архитектуры, можно создавать кастомные инструменты для любых типов активов и сохранять их в JSON для интеграции с API и базами данных.
Что внутри:
- Поддержка популярных инструментов: форварды, опционы, позиции, портфели, пр.
- Возможность расширения и кастомизации.
- Сериализация/десериализация в JSON.
- Функции расчета дат, бизнес-дней, выплат и прочих финансовых операций.
🪂 Пример создания опциона на акцию
from finstruments.instrument.equity import EquityOption, CommonStock
from finstruments.instrument.common.option.enum import OptionType
from finstruments.instrument.common.option.payoff import VanillaPayoff
from finstruments.instrument.common.exercise_style import AmericanExerciseStyle
from datetime import date
equity_option = EquityOption(
underlying=CommonStock(ticker='AAPL'),
payoff=VanillaPayoff(option_type=OptionType.PUT, strike_price=100),
exercise_type=AmericanExerciseStyle(
minimum_exercise_date=date(2022, 1, 3),
expiration_date=date(2025, 1, 3)
)
)
🧘♂️ Пакет легковесный, ставится одной командой
pip install finstruments
Идеальный инструмент для новичков, кто хочет подсмотреть, как и с чего начать писать классы для инструментов.
Quant Researcher