Speechless 🥹

https://youtu.be/GvKQKnIVy1I

너무나 쉬워지는 데이터 사이언스 🚀

ChatGPT 덕분에 데이터 사이언스가 놀랍도록 쉬워지고 있습니다. 🤖 이전에는 클러스터링을 이용한 아래 차트를 만들기 위해 필요했던 지식들은 다음과 같았습니다.

## Google Colab 학습 시간 📚:

1. 기본적인 사용법을 익히는데 약 1주 정도의 학습 시간이 필요했습니다.

2. 더 복잡한 작업, 예를 들어 외부 데이터를 불러오거나, 큰 규모의 데이터를 처리하는 방법 등을 학습하는데 추가적인 1~2주의 시간이 필요했습니다.

## 데이터 과학 배경 지식 🎓:

1. 클러스터링: 기본적인 이해를 위해 1~2주의 학습 시간이 필요했습니다.

2. 클러스터링 평가 지표: 각 지표에 대한 기본적인 이해를 위해 1주 정도의 학습 시간이 필요했습니다.

3. 데이터 분석 및 처리: 이 주제는 광범위하므로, 기본적인 데이터 전처리 및 분석 기법을 습득하는 데는 최소한 1~2개월의 학습 시간이 필요했습니다.

## API 지식 💻:

1. Firebase Firestore: Firestore의 기본적인 사용법을 배우는 데는 1~2주의 시간이 소요됐습니다.

## 코딩 스킬 🖥️:

1. 파이썬: 파이썬의 기본 문법을 익히는 데는 약 1~2개월의 학습 시간이 필요했습니다.

2. NumPy: 기본적인 NumPy 기능을 익히는 데는 약 1~2주의 학습 시간이 필요했습니다.

3. Matplotlib: 기본적인 그래프를 그리는 방법을 배우는 데는 약 1주의 학습 시간이 필요했습니다.

위에서 제시한 각 항목의 학습 시간을 합산하면 대략적으로 다음과 같습니다: 데이터 과학 기초: 약 2~4개월, API 지식 (Firebase Firestore): 약 1~2주, 코딩 스킬 (파이썬, NumPy, Matplotlib): 약 2~3개월. 따라서 총 학습 시간은 약 4~7개월 정도로 예상할 수 있습니다. 📈

----

# ChatGPT를 이용하니 다음과 같이 되어버렸습니다. 🔄

AI가 코딩과 실험 설계를 담당하므로 그 부분의 학습 시간은 제외할 수 있습니다. 그러므로, 남은 부분은 데이터 과학에 대한 가벼운 배경 지식과 Google Colab에 대한 이해입니다. 🤔

1. 데이터 과학 배경 지식: AI 비서의 설명과 가이드로, 약 1개월로 단축될 수 있습니다. 경우에 따라서는 2주에도 기본 개념을 훑을 수 있습니다.

2. Google Colab: AI 비서의 도움으로, 학습 시간을 약 1주로 줄일 수 있습니다. - 사실 1시간만 해도 될 것 같긴 해요

이 경우, 총 학습 시간은 약 1~2개월 정도로 추정됩니다. 이미 코딩 스킬과 API 사용에 대한 지식이 있다면, 이 시간은 더욱 단축될 수 있습니다. ⌛

----

결국 초보자의 경우 6개월 코스 -> 1개월 코스가 됩니다. 🎉 데이터 사이언스 배경 지식을 알고 있고 파이썬 라이브러리 사용 방법을 몰랐던 제 입장에서는 3주 정도에서 두시간으로 단축 되었습니다. 😲 이 외에도 데이터 과학 전반을 배우려면 4년도 모자랍니다.

결국 시니어 데이터 사이언티스 한명이 할 수 있는 일이 쥬니어 사이언티스트와 쥬니어 데이터 엔지니어 10명 이상에 해당하는 일이 되어버립니다.

실리콘밸리에서는 이미 쥬니어 데이터 과학자들이 빠른 속도로 직업을 잃고 있습니다. 😱

학교에서의 과정도 바뀌어야 할 것 같습니다. 오히려 같은 시간 내에 더 깊이 있는 이론을 배울 수 있을 것 같습니다. 또한 실제 코딩보다는 연구 방법론에 중점을 두고 교육 설계를 해야 할 것 같습니다. 데이터 사이언티스트들이 실무 기술보다 지식적으로 상향 평준화 되는 상황이 올 것 같습니다.

---

아래 scatter plot을 위해 사용한 prompt:

1. Get the latest 1000 samples from user_tribes collection
2, tribeId is cluster id, x and y are the coordinates.
3. Measure the homogeneity and completeness using colab.
4. Visualize the results.

Kmeans라고 말도 안 했는데 알아서 갖다 쓰네요.

https://www.facebook.com/634740022/posts/pfbid0cuABUXxgECdMwZfQaZ9u88HqXaLoLKzdJxBGLSsfHMfUovKRdQnuybjUYc9sJycsl/?mibextid=jf9HGS

He's the epitome of what a respectable adult in soccer is.

https://youtu.be/h2F9R4tWF-0

😭😭 https://fb.watch/lvphv7XT-u/?mibextid=jf9HGS

스몰토크 잘하는 팁, Conversation Threading

소셜라이징이라는 맥락에서 Conv. Threading 이란, 의도적으로 나에 관한 키워드들을 대화에 추가정보로 흘리므로써 상대방(혹은 그룹내 타인)이 그 키워드들을 줍줍하여 자연스럽게 흠터레스팅한 대화가 이어지도록 하는 행위 또는 대화법.

예를 들어, 고향이 어디세요? 라고하면 일반적으로는 "전남 순천이요." 라고 단답으로 끝낼 수 있는걸 CT를 잘 하는 사람은 “전남 순천이요, 여수 밤바다와 가까운데 순천만습지로 유명하고 생태학습 하시는 분들의 성지에요.” 라고 얘기를 한다. 그러면 그 그룹에서 누구든 쓰레드를 이어갈 수 있다. 여수 밤바다 노래 얘기를 할 수도, 여수 여행간 얘기를 할 수도, 습지 얘기나 생태학습에 대한 질문을 할 수도있다.

과거 내게 영향을 줬던 많은 리더들이 (특히 영어권) 이 스킬을 자연스럽게 사용하는걸 보고 배우려고 노력 많이 했다. 그런데 아직도 TMI 와 흠터레스팅의 선을 구분해서 활용하기 참 어렵다. 어쨌든 키워드를 흘리려고 노력하면, 주변이들의 줍줍하는 상황들에서 자칫 끊길만한 대화가 연결되고 라포를 더욱 쉽게 만들 수 있다.

https://loopward.com/improve-conversation-skills-using-conversational-threads-and-sharing-experiences/

https://www.facebook.com/1150372185/posts/pfbid02ke1dLH2EPwSGkNSSGVL7NutMUkGN5ADNT2Zzeh3cQE8BK1rmHNoiGwz75kVT22v8l/?mibextid=jf9HGS

여성리더분들을 위한 이야기--

여성 리더들과의 토크 모임이 있었다. 제게 남성의 관점에서 여성리더에게 이야기를 해 달라고 해서 한 이야기 중 몇가지를 정리하면~

0. 여성으로 커리어를 쌓는다는 것은 훨씬 기울어진 운동장에서 플레이하는 것임은 분명하다. 다행히도 사회변화에 따라 조금씩 나아지는 듯 하다.

1. 남성 리더를 흉내내지말고 여성으로서의 강점을 활용하는게 어떨까요
- 과거에는 남자같은 스타일, 남자보다 더 쎈 여성들이 리더로 적합하다고 여김
- 불확실하고 다양한 시대, 공감, 수평, 포용의 리더십이 중요한 이때 여성의 강점이 리더로서 점점 필요해짐
- 그러므로 여성으로서의 강점을 마음껏 발휘하자.

2. 자신감 가지고 표현하자
- 부드럽고 공감력이 있다는것과 자신감이 없다는 것은 다름. 부드러워도 함부로 대하는 이들에겐 단호할수 있고 매사 자신감에 가득찰수 있어요.
- 너무 겸손하고 양보하지 말고 당당하고 자신감을 가집시다. 대개 당신보다 실력없는 남성들이 훨씬 더 자신감에 충만하다.

3. 더 큰 책임, 리더십, 프로젝트를 확장합시다.
- R&R에 얽매이고 주저하기보다 성장할수 있고 기여할수 있는 프로젝트, 책임을 과감히 취하시라.

4. 자신에게 책임돌리지말고, 상하거나 폭발하는 감정은 빠르게 회복합시다.
- 자신을 탓하거나 자신에게 책임을 돌리지 마세요. 당신의 잘못이 아니예요.
- 감정은 나쁜 것이 없으나 두려움, 실망, 슬픔, 분노 등의 감정을 오래 두거나 너무 강하게 표출하기 보다는 (운동, 명상, 걷기 등) 스트레스 해소법을 만들어 빠르게 회복하세요.

5. 완벽주의를 떨쳐버립시다.
- 전략적으로 무능하세요
- 모든것을 잘하려 할 필요는 없어요.
- 인생을 숙제하듯 시험보듯 살 필요가 있나요. 직장, 가정, 친척, 시댁, 사회 등 모든것을 100점 맞으려 하면 너무 힘들죠.

6. 괴롭히는 상사, 힘든 사람은 긍휼하게 봅시다.
- 진짜 소시오는 생각만큼 별로없다. 알고보면 대개 평범한 아저씨, 아줌마일뿐.
- 다 생존하기위해 분투하는것일수 있으니 긍휼의 눈으로 보자.

7. 누군가의 무엇이 아니라 스스로의 길을 갑시다.
- 너무 빨리 자신의 커리어를 포기하지 맙시다. 나중에 후회하는 경우가 더 많더군요.
- 누군가의 무엇보다 자신의 커리어와 삶을 삽시다.

p.s. 한 페친이 언급한바와 같이 저는 구조적인 관점보다는 개인의 관점에서 말씀드렸습니다. 아마 개인으로서 어떻게 노력하라는 것보다 사실 사회 구조적 인식과 체계의 변화가 더 필요할 것입니다.

https://www.facebook.com/100006237757461/posts/pfbid02Nuwoy8XghsAmtxmR8vfCRi6naXNwMYVS5V4qybY4pgjbturAb1RHV26YSLYQBoXHl/?mibextid=jf9HGS

AI의 핫한 주제들에 관한 내용인데, 하나하나 다 생각해봐야하는 부분들이고 개인적으로는 전부 동의.

그리고 무엇보다도 결론 내용 너무 맞는말이다... 역시 내 최애 뉴스레터 답군.

다른 사람들의 의견은 열심히 듣되, 판단은 결국 스스로 내려야한다.

https://luttig.substack.com/p/hallucinations-in-ai

Lessons gleaned from my wise bro

- Trust is built through a tapestry of gentle acts and kept promises.

Doug Leone of Sequoia Capital

Trust is forged through a blend of sincerity and excellence. In the absence of either, securing trust becomes challenging. Integrity is essential for fostering a healthy work environment; without it, you risk alienating your team. On the other hand, a lack of excellence hampers trust-building. It sets the tone and vision for a company. Once the company's direction is determined, it's crucial to attract the talent required to turn that vision into reality.

Jeff Bezos:

The founder of Amazon shared his 4-step method for building trust and reputation:
1. Do hard things: Earn trust by doing hard things well over and over again.
2. If you say you're going to do something, do it: Keep your promises and commitments.
3. Take controversial stances: Be willing to take risks and make tough decisions.
4. Have clarity: Be clear in your communication and decision-making.

주의력은 “주변의 불필요한 소음이나 수다”나 “의식 표면 위로 계속해서 떠오르는 자잘하고 잡스러운 생각”_12p을 걸러내는 힘입니다.

주의력이 모자라면, 인간은 혼란에 빠져요. 멍해지면서 주변에서 벌어지는 사건을 알아채지 못하죠. 특히 요즘 우리가 이런 위기를 자주 겪습니다. 스마트폰을 통해 밀려드는 정보와 유혹적인 콘텐츠 때문이죠. 이런 게 우리 주의를 빼앗아요. 나를 산만하게 만듭니다.

사실 한 번뿐인 인생이잖아요. 내가 내 삶에 온전히 몰입하지 못하고 한 발짝 떨어져 있다는 느낌은 인간을 불행에 빠뜨려요. 좌절과 불만, 불안과 공허의 원천이 되죠.

“여기저기 돌아다니는 주의를 스스로 되찾아 오는 능력이 없다면, 누구도 자기 자신의 주인이 될 수 없다.”

“시간 여행은 무척 자연스럽게 이루어진다. 스트레스를 받으면 우리의 주의력은 어떤 기억을 통해 과거로 끌려가고, 그 기억 속에서 반추의 고리에 갇힌다.”_23p

가장 강력하지만, 가장 취약한 주의력
게다가 우리는 부카VUCA 시대에 살고 있어요. 불안정하고Volatility, 불확실하고Uncertainty, 복잡하고Complexity, 모호한Ambiguity 삶의 상황을 견뎌야 하죠. 한마디로 스트레스로 가득한 환경이에요. 이럴 때 좋은 삶을 살려면, 주의력이 필요합니다.

“삶의 스트레스를 피할 수 없는 불확실한 시대 속에서 목표를 이루고, 우리가 되고 싶은 사람이 되고, 우리가 원하는 방식대로 다른 사람과 우리 자신을 이끌어가기 위해 그 어느 때보다 주의력이 절실하다.”_29p

주의력은 통제하는 게 아니다

“주의력은 뇌 활동의 편향을 일으킨다. 주의력은 우리가 선택하는 정보를 상대적 우위로 만든다. 우리가 주의를 기울이는 대상이 무엇이든 간에 그 대상과 관련된 신경 활동이 더 활발해진다. 주의력은 문자 그대로 뇌 기능을 세포 단위에서 변화시킨다. 주의력은 진정한 초능력이다.”


주의를 빼앗기지 않으려면 스트레스를 줄이고, 기분을 잘 살펴야 합니다. ‘오늘 하루만 반값’ 같은 말에 속아 넘어가지 않으면 좋아요. 물론 쉬운 일은 아니죠. 주의를 망가뜨리는 요인들을 잘 알아채는 건 그냥 되지 않습니다.

“우리는 오랫동안 집중을 유지하려고 노력하면 주의력의 저항을 느끼기 시작하고, 나중엔 어떤 식으로든 집중이 흐트러진다.”_153p

다행히 우리는 훈련을 통해 뇌의 배선 상태를 바꿀 수 있습니다. 명상 같은 걸 통해서요. “명상은 특정한 정신적 자질을 계발하기 위해 정해진 순서대로 연습하는 행위”_103p예요. 수천 년간 인류는 철학과 종교, 독서 등의 영역에서 명상 같은 마음의 근력 운동을 해왔어요.

아미시 교수는 이를 마음챙김mindfulness이라 부릅니다. 주의력 훈련을 위한 최상의 수단이라고 강조하죠. 마음챙김은 일종의 정신적 갑옷입니다. “스트레스나 압박감이 심한 상황에서도 주의력이라는 귀한 자원을 보호하고 그 자원을 언제든 사용할 수 있는 상태로 유지”_24p하게 하죠.

“주의력은 중요한 것을 강조하는 동시에 집중을 방해하는 요소를 약화해 우리가 깊이 생각하고, 문제를 해결하고, 계획을 세우고, 우선순위를 정하고 혁신을 하도록 이끈다.”_42p


“더 많은 일을 하려면, 한 번에 한 가지 일만 하세요. 멀티태스킹을 하지 마세요. 과제 전환은 속도를 떨어뜨립니다. 미래를 위해 가장 좋은 계획을 세우려면 여러 개의 시나리오를 가지고 시뮬레이션만 해서는 안 됩니다. 현재를 관찰하고, 현재의 순간에 머물면서 더 나은 아이디어를 수집하세요.”_296p

철학자 에리히 프롬의 말이 떠오르네요. “우리는 늘 분주하지만 집중하지 못한다. 아침을 먹으면서 라디오를 듣고 신문을 읽으며, 그 와중에 아내와 아이들과 대화를 나눈다. 다섯 가지 일을 동시에 하지만 그 어떤 일도 제대로 하지 않는다.” 프롬은 이를 자기 삶을 사랑할 줄 모르는 사람의 대표적인 예로 들었어요.

뇌의 기본 상태는 산만함이고, 필사적으로 애써야 집중할 수 있습니다. 주의력은 우리 마음의 특수한 상태예요.

“우리는 머릿속으로 다음번에 일어날 일을 계획하고 상상하느라 너무나 많은 시간을 사용하기에 현재의 삶을 완전히 놓친다.”_217p

우리는 끝없는 생각에 중독돼 있어요. 현재를 있는 그대로 관찰하고 생각하는 대신, 항상 전략을 짜고 계획을 세우며 살죠. 그러면 지금 이 자리에서 인생을 돌아보며, 의미를 따질 때만 알 수 있는 걸 놓치기 쉬워요.

이를 위해 저자는 ‘하루 12분’을 말해요. 매일 적어도 12분 이상 마음을 돌이켜 챙기면 주의의 질이 높아질 수 있다는 겁니다. 또 우리 행동과 목표가 어긋나지 않게 돼 삶을 더 바람직한 쪽으로 이끌어갈 수 있죠.

아름다운 노을을 천천히 음미하는 일도, 행복한 추억을 세세히 더듬는 일도, 빛나는 앞날을 자유롭게 떠올리는 일도 모두 주의력 덕분에 가능해요. 인생은 한 번뿐이고, 주의력은 저장되지 않아요. 그 순간이 지나면 끝이죠. 주의를 기울이지 않고 산만히 흘려보낸 인생은 돌아오지 않아요. 흐르는 물에 발을 두 번 다시 담글 수 없는 것과 같죠.

Oh? Interesting approach for new smartphone.

https://www.forbes.com/sites/stevenbertoni/2023/06/28/smartphone-startup-nothing-raises-100-million-to-build-the-apple-of-android/

I think this is mostly right.
- LLMs created a whole new layer of abstraction and profession.
- I've so far called this role "Prompt Engineer" but agree it is misleading. It's not just prompting alone, there's a lot of glue code/infra around it. Maybe "AI Engineer" is ~usable, though it takes something a bit too specific and makes it a bit too broad.
- ML people train algorithms/networks, usually from scratch, usually at lower capability.
- LLM training is becoming sufficently different from ML because of its systems-heavy workloads, and is also splitting off into a new kind of role, focused on very large scale training of transformers on supercomputers.
- In numbers, there's probably going to be significantly more AI Engineers than there are ML engineers / LLM engineers.
- One can be quite successful in this role without ever training anything.
- I don't fully follow the Software 1.0/2.0 framing. Software 3.0 (imo ~prompting LLMs) is amusing because prompts are human-designed "code", but in English, and interpreted by an LLM (itself now a Software 2.0 artifact). AI Engineers simultaneously program in all 3 paradigms. It's a bit 😵‍💫

https://twitter.com/karpathy/status/1674873002314563584

[어떻게 AI를 사용해서 10배 좋은 제품을 만들 수 있을까?_Github Copilot]

Copilot을 사용하시는 분들 있으신가요? GitHub Copilot은 GitHub와 OpenAI에서 개발한 AI coding assistance인데요. 제 주변에 Copilot을 한번 사용하신 분들은 대부분 꾸준히 사용하시면서 만족하시더라고요.
내가 작성하는 코드 베이스의 맥락을 자세히 이해하고 실시간으로 적합한 정보를 추천하는 것이 Copilot이 가진 가장 큰 장점이라고 생각하는데요. 이런 기능들은 어떻게 지원할 수 있을까요? AI가 알아서 다 추천해주는 걸까요?
최근에 Parth Thakkar이 쓴 Copilot Internals을 읽고 새롭게 배운 내용과 제 생각 한 스푼을 공유합니다.
Copilot이 내가 작성하는 코드에 맥락을 이해하고 실시간으로 답을 주는 데에는 크게 3가지 비법 소스가 존재합니다.

비법 소스 1: 프롬프트 엔지니어링
- 클라이언트가 프롬프트를 보내면(코드를 작성하면), 코드와 관련된 맥락(접두사[코드 위치, 관련 코드/파일의 스니펫], 접미사(생성된 코드가 들어갈 장소에 대한 맥락), PromptElementRanges(프롬프트가 잘 작동하기 위한 기본 정보들)을 AI Model(Codex)에 보냅니다.

비법 소스 2: 모델 호출(Model Invocation)
- Copilot은 인라인/고스트텍스트 그리고 Copilot패널 두가지 채널을 통해서 AI모델을 호출합니다.
- GitHub Copilot의 인라인/고스트텍스트 인터페이스는 제안 속도를 높이고, 반복적인 모델 호출을 줄이고, 사용자의 입력에 따라 제안을 조정하며, 빠른 입력을 처리하기 위해 디바운싱 메커니즘을 사용합니다. 반면, 코파일럿 패널은 더 많은 샘플을 요청하고, 로그 프로브를 사용하여 솔루션을 정렬합니다. 두 인터페이스 모두는 도움이 되지 않는 완료를 방지하기 위해 검사를 수행합니다.

비법 소스 3: 원격 측정 (Telemetry)
- GitHub Copilot는 원격 측정을 통해 사용자 상호작용을 학습하고 제품을 개선합니다. 이는 제안의 수락이나 거부, 코드에 남아 있는 수락된 제안의 지속성, 제안 수락 후 30초 이내에 캡처된 코드 스니펫 등을 포함하며, 사용자는 개인 정보 보호를 위해 이러한 데이터 수집을 거부할 수 있습니다.


AI를 사용해서 고객에게 10배 좋은 제품을 만드는 창업자로서 무엇을 배울 수 있을까요?
- 고객에게 가치를 전달하기 위해서는 모델 그자체로 충분하지 않습니다. 고객의 문제를 해결하기 위해 모델을 잘 이해하고, 이를 잘 사용할 수 있는 Engineering 역량과 빠른 Iteration이 중요합니다.
- 아직, LLM 혹은 AI를 사용해서 좋은 제품을 만드는 방법이 잘 알려지지 않았고 누구도 답을 알고 있다고 말하기 어렵습니다. 따라서, AI를 잘 이해하면서도 고객의 문제를 해결하기 위해서 AI 모델과 다양한 엔지니어링을 결합하려는 스타트업에게 기회가 있습니다.

더 자세한 내용을 보고 싶다면 아래 링크를 참고해주세요. https://bit.ly/copilotinternal


혹시, Engineering 경험과 지식이 뛰어난 분이나 AI 모델에 대한 이해가 높으신 분들 중에서 고객에게 10배 좋은 가치를 만들어내는 데에 관심있는 분이 있으시다면 DM 혹은 minseok.kim0129@gmail.com으로 어떤 문제를 해결해오셨고 앞으로는 어떤 문제를 해결하고 싶으신지 편하게 알려주셔요 🙏

요즘 AI 서비스들을 사용하면서 PC, 인터넷, 모바일 초창기와 비슷하게 어떤 서비스가 유저에게 가치있을지 몰라서 뭐든 해볼 수 있는시기라고 생각합니다. 마치 모바일 초창기에는 LBS(Location Based Service)라는 개념이 있었지만 지금은 대부분 모바일 서비스에서 GPS를 아주 기본적으로 제공하는 것처럼요.

결국 유저의 변하지 않는 니즈를 발견하고 빠르게 변화하는 기술을 잘 활용해서 10배 좋은 서비스를 지속적으로 만들 수 있는 팀이 좋은 제품 그리고 좋은 회사를 만들 수 있다고 믿습니다.

"Snowflake announced a new container service and a partnership with Nvidia to make it easier to build generative AI applications making use of all that data and running them on Nvidia GPUs."

https://techcrunch.com/2023/06/27/snowflake-nvidia-partnership-could-make-it-easier-to-build-generative-ai-applications/?utm_source=bensbites&utm_medium=newsletter&utm_campaign=ai-partnerships-acquisitions-and-funding&guccounter=1