Dreams come true 😂

김창준님

내가 사업을 하려고 하는데, X를 먼저 제대로 해야할 것 같다. 이럴 때 도움이 되는 확률적 사고 기법.
"X를 잘 했는데도 사업이 망할 확률"과 "X를 잘 못해서 사업이 망할 확률"을 비교해 본다. 만약 전자가 후자보다 수십, 수백배 높다고 느껴지면 X에 쓸 신경을 다른 데로 돌려야 한다.

Ask myself am I working on right problem?

내일 저녁 AI 밋업에서 GPT-4 아키텍쳐에 대해 이야기하려고 했지만, Llama-2 Model로 급선회하게 되서 조사했던 내용 간단히 공유드립니다.

GPT-4 아키텍쳐 유출과 관련된 간단한 정리

1. 전문가 혼합 모델(MoE)
뛰어난 성능을 유지하면서 합리적인 비용을 보장하기 위해 OpenAI는 GPT-4에서 전문가 혼합 모델(MoE)을 구현했습니다. 모델 내에서 각각 약 1,100억 개의 다층 퍼셉트론(MLP) 파라미터로 구성된 16명의 전문가를 활용함으로써 OpenAI는 리소스 할당을 효과적으로 최적화했습니다. 특히 각 포워드 패스 동안 두 명의 전문가만 라우팅하여 결과의 저하 없이 계산 요구 사항을 최소화했습니다. 이러한 혁신적인 접근 방식은 모델의 효율성과 비용 효과를 극대화하려는 OpenAI의 노력을 보여줍니다.

2. 간소화된 MoE 라우팅 알고리즘
이 모델은 종종 각 토큰을 처리할 전문가를 선택하기 위해 고급 라우팅 알고리즘을 탐색하지만, 현재 GPT-4 모델에서 OpenAI의 접근 방식은 더 간단한 것으로 알려졌습니다. AI가 사용하는 라우팅 알고리즘은 비교적 간단하지만 그럼에도 불구하고 효과적인 것으로 알려져 있습니다. 약 550억 개의 관심 매개변수가 공유되어 모델 내에서 적절한 전문가에게 토큰을 효율적으로 분배할 수 있습니다.

3. 효율적인 추론
GPT-4의 추론 프로세스는 효율성과 계산 능력을 보여줍니다. 단일 토큰을 생성하는 각 포워드 패스는 약 2,800억 개의 파라미터와 560 TFLOP(초당 테라 부동소수점 연산)을 사용합니다. 이는 순수 고밀도 모델에서 포워드 패스당 1.8조 개의 파라미터와 3,700 TFLOP을 사용하는 GPT-4의 엄청난 규모와는 완전히 대조적입니다. 리소스의 효율적인 사용은 과도한 계산 요구 사항 없이 최적의 성능을 달성하기 위한 OpenAI의 헌신을 보여줍니다.

4. 광범위한 훈련 데이터 세트
GPT-4는 약 13조 개의 토큰으로 구성된 방대한 데이터 세트로 학습되었습니다. 이러한 토큰에는 고유 토큰과 에포크 번호를 설명하는 토큰이 모두 포함되어 있다는 점에 유의해야 합니다. 학습 과정에는 텍스트 기반 데이터에 대한 두 개의 에포크와 코드 기반 데이터에 대한 네 개의 에포크가 포함됩니다. OpenAI는 모델의 성능을 개선하기 위해 ScaleAI와 내부에서 제공한 수백만 행의 명령어 미세 조정 데이터를 활용했습니다.

5. 8K에서 32K까지 미세 조정을 통한 성능 개선
GPT-4의 사전 훈련 단계에서는 8K 컨텍스트 길이를 사용했습니다. 그 후 모델은 미세 조정을 거쳐 32k 버전으로 완성되었습니다. 이 과정은 사전 학습 단계를 기반으로 모델의 기능을 향상시키고 특정 작업에 맞게 조정합니다.

6. 병렬 처리를 통한 GPU로 확장
OpenAI는 GPT-4의 병렬 처리 기능을 활용하여 A100 GPU의 잠재력을 최대한 활용했습니다. NVLink의 한계인 병렬 처리를 극대화하는 8방향 텐서 병렬 처리를 사용했습니다. 또한 성능을 더욱 향상시키기 위해 15방향 파이프라인 병렬화를 활용했습니다. ZeRo 1단계와 같은 특정 기술이 사용되었을 가능성이 높지만, 정확한 방법론은 아직 공개되지 않았습니다.

7. 훈련 비용 및 활용 과제
GPT-4 훈련은 광범위하고 리소스 집약적인 노력이었습니다. OpenAI는 90일에서 100일 동안 약 25,000개의 A100 GPU를 할당하여 약 32%에서 36%(가장 자주 사용되는)의 활용률로 작동했습니다. 훈련 과정에서 수많은 오류가 발생하여 체크포인트에서 자주 재시작해야 했습니다. A100시간당 1달러로 추산하면 이 훈련에 소요된 비용만 약 6,300만 달러에 달합니다.

8. 전문가 혼합의 장단점
전문가 혼합 모델을 구현하는 데는 몇 가지 장단점이 있습니다. GPT-4의 경우 OpenAI는 더 많은 수의 전문가 대신 16명의 전문가를 선택했습니다. 이러한 결정은 우수한 손실 결과를 달성하는 것과 다양한 작업에서 일반화 가능성을 보장하는 것 사이의 균형을 반영한 것입니다. 전문가가 많으면 작업 일반화 및 융합 측면에서 문제가 발생할 수 있습니다. 전문가 선택에 신중을 기하는 OpenAI의 선택은 안정적이고 강력한 성능에 대한 그들의 약속과 일치합니다.

9. 추론 비용
이전 모델인 1,750억 개의 매개변수를 가진 다빈치 모델과 비교했을 때 GPT-4의 추론 비용은 약 3배 더 높습니다. 이러한 차이는 GPT-4를 지원하는 데 필요한 더 큰 클러스터와 추론 중에 달성되는 낮은 사용률 등 여러 가지 요인에 기인할 수 있습니다. 추정치에 따르면 8k로 GPT-4를 추론할 때 128개의 A100 GPU의 경우 토큰 1,000개당 0.0049센트, 128개의 H100 GPU의 경우 토큰 1,000개당 0.0021센트의 대략적인 비용이 소요되는 것으로 나타났습니다. 이 수치는 비용 최적화를 위해 중요한 고려 사항인 적절한 활용률과 높은 배치 크기를 가정한 것입니다.

10. 다중 쿼리 주의(Multi Query Attention)
OpenAI는 현장에서 널리 사용되는 기술인 다중 쿼리 주의(MQA)를 GPT-4에서도 활용합니다. MQA를 구현하면 모델에 하나의 헤드만 필요하므로 키-값 캐시(KV 캐시)에 필요한 메모리 용량을 크게 줄일 수 있습니다. 이러한 최적화에도 불구하고 32k 배치 GPT-4는 40GB A100 GPU에 수용할 수 없으며 8k는 최대 배치 크기에 제약을 받는다는 점에 유의해야 합니다.

11. 연속 배치
지연 시간과 추론 비용 간의 균형을 맞추기 위해 OpenAI는 가변 배치 크기를 모두 통합합니다.

논의해볼만한 주제

1. 모델 규모, 비용, 훈련의 용이성 사이의 Golden spot은 어디인가?
- GPT-4는 조 단위의 파라미터 모델을 훈련하는 데 필요한 막대한 계산 리소스를 보여줍니다. 연구자는 모델 규모, 비용, 훈련 복잡성 간의 절충점을 신중하게 평가해야 합니다. 전문가 혼합과 같은 아키텍처는 비용 관리에 도움이 되지만 복잡성을 증가시킵니다.

2. 인프라 및 시스템 최적화를 위한 다양한 엔지니어링 방법
2.1. 전문가 혼합(MoE) 사용
- OpenAI의 MoE 사용은 이 접근 방식이 비용과 복잡성을 관리하는 데 유용할 수 있음을 보여주었습니다. MoE 모델을 사용하면 모델 계산의 일부를 여러 전문가에게 분산하여 각 전문가가 문제의 특정 부분에 집중할 수 있습니다. 이를 통해 계산 효율성을 높이고 잠재적으로 모델 성능을 개선할 수 있습니다. 그러나 이러한 전문가를 관리 및 동기화하고 적절한 로드 밸런싱을 보장하는 측면에서 복잡성이 증가합니다.

- OpenAI가 GPT-4에 사용하는 간단한 라우팅 방법은 복잡성보다 효율성의 중요성을 강조합니다. 이는 각 토큰을 라우팅할 전문가를 선택하는 데 항상 고급 알고리즘이 필요한 것은 아니며, 여전히 인상적인 결과를 얻을 수 있음을 나타냅니다.

2.2. GPT-4의 훈련은 ZeRO, 파이프라인 병렬 처리, NVLink와 같은 고급 하드웨어와 같은 최적화에 크게 의존합니다. 훈련을 효율적으로 확장하려면 모델 혁신뿐만 아니라 시스템 수준의 엔지니어링도 필요합니다. 연구자들은 엔드투엔드 시스템 최적화에 집중해야 합니다.

2.3. OpenAI가 GPT-4에 사용하는 간단한 라우팅 방법은 복잡성보다 효율성의 중요성을 강조합니다. 이는 각 토큰을 라우팅할 전문가를 선택하는 데 항상 고급 알고리즘이 필요한 것은 아니며, 여전히 인상적인 결과를 얻을 수 있음을 나타냅니다.

2.4. GPT-4의 추측 디코딩은 확인되지 않았지만 디코딩 프로세스의 속도를 높여 효율성을 높일 수 있는 잠재적인 기술입니다(https://shaankhosla.substack.com/p/gpt-4-architecture-leak-and-explanation) 하지만 예측이 틀릴 경우 배치가 폐기되어 컴퓨팅 리소스가 낭비될 수 있습니다.

3. 정확도와 추론 효율성의 균형을 어떻게 맞출 수 있는가? 앞으로는 어떻게 될 것인가?
GPT-4와 같은 대규모 모델은 높은 정확도를 달성하지만, 계산 비용으로 인해 추론에 많은 비용이 소요될 수 있습니다. 추측 디코딩과 같은 기법은 추론 시 정확도와 속도 사이에서 균형을 유지합니다. 정확도와 효율성의 균형을 맞추려면 철저한 벤치마킹이 필요합니다.

4. 다양한 고품질 데이터 세트의 필요성
- GPT-4가 대학 교과서 데이터 세트로 학습되었다는 것은 전문 지식을 갖춘 AI 모델을 만드는 데 있어 도메인별 데이터의 역할을 암시합니다. 그러나 이러한 모델은 실제 이해력이나 지능이 아닌 학습 데이터로 인해 이해력이 '착각'을 일으킬 수 있습니다. 이는 도메인별 응답을 제공하는 모델의 능력과 도메인에 대해 진정으로 이해하거나 추론하는 능력의 차이를 강조합니다.
- 13조 개의 토큰을 사용했음에도 불구하고 GPT-4는 여전히 이상적인 훈련 데이터 분포가 부족할 수 있습니다. 연구자들은 데이터를 다양화하고 사람의 검증을 통해 품질을 향상시키기 위한 노력을 계속해야 합니다. 데이터 수집과 큐레이션은 여전히 미해결 과제로 남아 있습니다.

5. 멀티모달 기능
- GPT-4의 비전 기능을 활용하려면 모달리티를 통합하기 위한 아키텍처 혁신이 필요합니다. 멀티모달 AI는 텍스트 전용 모델에 구워진 가정을 다시 생각해야 합니다. 이는 향후 연구의 중요한 영역입니다.
- 개방형 연구와 생산 시스템 간의 상호 작용: GPT-4의 세부 사항은 공식적인 기술 논문이 아닌 공개 연구와 유출을 통해 드러납니다. 대형 모델의 연구부터 생산까지의 경로는 여전히 불투명합니다. 투명성이 높아지면 연구 커뮤니티에 도움이 될 것입니다.
- GPT-4는 별도의 비전 인코더와 크로스 어텐션을 통합하여 AI 시스템에서 [멀티모달 기능의 중요성을 강조](https://www.scientificamerican.com/article/what-the-new-gpt-4-ai-can-do/)합니다.

읽을 거리

1. https://www.semianalysis.com/p/gpt-4-architecture-infrastructure](https://www.semianalysis.com/p/gpt-4-architecture-infrastructure
2. https://threadreaderapp.com/thread/1678545170508267522.html
3. https://mpost.io/gpt-4s-leaked-details-shed-light-on-its-massive-scale-and-impressive-architecture/
4. https://thealgorithmicbridge.substack.com/p/gpt-4s-secret-has-been-revealed
5. https://www.reddit.com/r/LocalLLaMA/comments/14wbmio/gpt4_details_leaked/
6. https://youtu.be/ODMhtPIifkQ
7. https://youtu.be/a9BtoD3n8Gs

행동경제학의 대부이자 ‘생각에 관한 생각’ 의 저자로 유명한 ‘대니얼 카너먼’ 의 강연입니다.

결과로 원인을 판단하는 실수, 운과 실력을 착각하는 실수, 인지적 편향에 매몰되는 실수… ‘신의 한 수’ 에 집착하는 대신 ‘인간의 실수’ 를 줄이라는 그의 조언이 인상깊네요. 워렌 버핏은 '12번의 좋은 결정이 지금의 성공을 만들었' 다고 말했습니다. 그러니, 좋은 의사결정을 위해 생각하는 시간, 투자하는 시간, 공부하는 시간은 하나도 아깝지 않은 투자이지 않을까 합니다. 책을 접하지 못하셨어도 미니 버전처럼 가볍게 들으시면 도움이 되실겁니다.

https://youtu.be/0SrYGLO7XkM

불확실성 속에서 의사결정 과정을 재정의하다.

바야흐로 불확실성의 시대입니다. 이렇게 불확실한 시대에 잘못된 의사결정은 조직과 기업에 치명적인 영향을 주기도 하지만, 판을 바꾸는 의사결정이 되기도 합니다. 모두가 예상가능할 때 새로운 1등이 되기는 어렵지만, 모든 것이 불확실 할 때 새로운 게임의 룰이 만들어지는 것처럼 누구에게는 위기일수도 누구에게는 기회일 수도 있는 시기입니다. 이런 시기에 탁월한 의사결정은 단순한 스킬이 아닌 기업의 핵심 경쟁력이 될 수 있습니다. 그간 좋은 의사결정에 대해서 오랜 연구를 했던 분들의 관점을 바탕으로 리더가 불확실한 시기에 어떻게 의사결정을 내려하는지 살펴보려고 합니다.

불확실성은 비즈니스와 인생의 필수적인 부분입니다. 나심 니콜라스 탈렙은 그의 책 "Fooled by Randomness"에서 우리가 운과 무작위성의 역할을 자주 과소평가한다고 강조합니다. 비즈니스 세계에서는, 성공적인 제품 출시나 유리한 투자를 완전히 스킬에 의한 것으로 착각하는 경향이 있습니다. 그러나 운의 요소를 인정하는 것이 현실적인 접근법과 전략을 형성하는 데 도움이 됩니다.

또한, 롤프 도벨리의 "The Art of Thinking Clearly"에서 소개된 인지 편향에 대해 알아봅니다. 예를 들어, 이미 큰 투자를 한 프로젝트가 실패하고 있음에도 불구하고 계속해서 투자를 하는 창업자를 볼 수 있는데, 이는 '투입비용의 오류'라는 인지 편향 때문입니다. 이러한 편향을 인지하고 이해하는 것이 더욱 논리적이고 판단력 있는 결정을 내리는 데 도움이 됩니다.

카네만의 이론에 따르면, 우리의 생각은 두 가지 시스템에 의해 이루어집니다: 빠르고, 본능적이며, 감정적인 시스템 1과 느리며, 심사숙고하는, 논리적인 시스템 2입니다. 리더들은 특히 복잡한 의사 결정 상황에서 본능적인 반응보다 심사숙고를 필요로 하는 시스템 2의 사고를 촉진해야 합니다.

결정 과정의 질에 초점을 맞춘 카네만의 방식을 채택하면, 리더들은 신중한 검토, 위험 평가, 그리고 적응력을 중요시하기 시작합니다. 이는 새로운 시장으로 확장하는 등의 결정을 내릴 때 특히 중요한 요소가 됩니다.

그럼 어떻게 리더들은 자신의 의사 결정 능력을 향상시킬 수 있을까요?

1. 불확실성을 받아들입니다: 운의 역할을 인정하십시오. 이는 현실적이고 회복탄력적인 전략을 개발하는 데 도움이 됩니다.

2. 인지 편향을 인정하고 다양한 의견이 나올 수 있는 환경을 만듭니다: 팀 내에서 개방적인 토론과 피드백을 장려합니다. 모든 주장이 가지고 있는 가설이 잘못될 수 있음을 인정합니다.

3. 시스템 2 사고를 장려하기 위해, 논리적인 사고를 강조하고 기록하세요.: 신중한 심사와 논리적인 결정을 위한 문화를 육성하세요. 많은 의사결정들을 기록하는 것이 시스템 2 사고를 만드는 데에 도움이 됩니다.

4. 과정에 초점을 맞추세요: 나쁜 과정이지만 결과가 좋은 것은 단기적으로 좋을 수 있지만 좋은 프로세스를 만드는 것에는 좋지 않고 장기적으로 해당 조직은 좋은 결과물을 만들기 쉽지 않습니다. 좋은 의사결정 프로세스를 만드는 데에 집중하세요.

5. 좋은 코치를 두세요: 성공의 경험이 있는 사람일수록 과거 자신의 성공 경험이 발목을 잡을 수 있습니다. 본인의 상황을 자기객관화할 수 있게 돕는 좋은 코치를 주변에 두세요.

불확실성을 두려워하지말고 직면하고, 운의 역할을 인정하고, 우리가 다양한 편견에 빠져있을 수 있다는 인지 편향에 대한 도전을 받아들이고, 좋은 의사결정 프로세스를 만든다면, 리더는 빠르고 좋은 의사결정을 내릴 수 있는 개인으로 성장하고 조직은 변화에 빠르게 반응할 수 있을 수 있습니다.

References
[1]: Fooled by Randomness: The Hidden Role of Chance in Life and in the Markets
[2]: https://www.goodreads.com/book/show/16248196-the-art-of-thinking-clearly
[3]:System 1 and System 2 Thinking
[4]: https://www.jstor.org/stable/1914185
[5]: https://hbr.org/2007/09/performing-a-project-premortem
[6]: https://www.youtube.com/watch?v=0SrYGLO7XkM&feature=youtu.be

컨텐츠를 비즈니스의 어디에 두는지에 따라 역할이 다르다.

1. 컨텐츠 그 자체를 파는 경우에는 돈을 받기 때문에 품질이 중요하다.
- 예를들어 The Information의 경우에는 일반사람들이 도저히 인터넷에서 수집하기 어려운 정보들을 제공하기 때문에 연간 30-1000만원씩 내면서 구독을 한다.
- 컨텐츠 자체로 안정적인 매출원이 될 수는 있으나 엄청 큰 수익원이 되기 어려워 보통 다른 비즈니스(컨퍼런스, Private Information, 교육/컨설팅, 제품 판매) 등을 병행한다.
- 컨텐츠를 판매하는데, 품질이 좋지 않거나 오랜기간 업데이트가 없으면 고객의 만족도가 떨어져 불만이 나옵니다.
2. 컨텐츠로 돈을 벌지 않고, 다른 비즈니스를 하는데에 필요한 고객/파트너를 소싱하거나 본인의 레퓨테이션을 올리는 데에 사용하는 경우.
- 개인적으로 컨텐츠를 만든다면 이 방향으로 만들어야한다고 믿고 있는데, 유저들에게는 좋은 정보를 무료로 제공해서 좋은 평판을 얻을 수 있을 뿐만 아니라 본업(주로 창업과 투자)와 관련된 주요 고객/파트너를 비교적 쉽게 확보해볼 수 있음.
1. All in podcast
- Angel부터 Late Stage에 투자하는 투자자들이 본인들의 경험, 생각, 최근에 읽은 글, 만난 사람들에 대한 이야기를 나눕니다. 해당 정보들이 일반 투자자, 창업자 관점에서는 접하기 어려운 컨텐츠이고 컨텐츠 제공자는 컨텐츠 자체로 돈 벌 생각이 없기 때문에 훨씬 쉽고 효과적으로 바이럴이 됩니다.
- 이들은 투자자로서 좋은 투자처를 잘 소싱하고 본인 투자 펀드에 돈을 맡길 LP들을 잘 소싱하는 것이 중요합니다. 이런 컨텐츠 덕분에 투자처/LP 소싱도 더 수월해지고 좋은 명성을 얻으면서 비즈니스를 하는데에 도움을 받을 수 있습니다.
2. No Priors
- 똑같은 공식이지만 분야가 AI로 특화되어 있습니다.

결국 벤처투자펀드는 높은 Multiple을 기대하기에 출자하는 부분이 굉장히 크기에 그 톤 조절을 철저하게 해야겠다고 느끼고 그 첫 단추로 사업의 동기가 중요한 것 같습니다.

현재 시장에서 외면 받는 큰 목표와 꿈이 있으신가요? 덜 논리적이고 그 꿈이 실현 가능성이 낮아보이기 때문에 외면 받는 것이지 벤처투자의 본질에는 큰 목표와 꿈이 있으니 분명히 통할것이니 목표와 꿈에 맞춰 움직이시면 좋을 것 같습니다.

미국 - 실리콘밸리 시장은 그런 맹목적인 모습을 가지고 결과를 만들어온 사람들이 만들어온 환경이자 시장이라고 느꼈습니다.

작은 꿈이나 큰 꿈이나 둘 다 이루기 어려우면 왜 작은 꿈을 꿔야하는가?

https://www.romanceip.xyz/huge_dream/?ref=nangtupa-letter-newsletter

헬리녹스의 첫 제품은 의자가 아니었어요. 우리는 텐트폴로 만들 수 있는 모든 걸 상상해 봤어요. 알루미늄 폴대의 장점은 두 가지잖아요. 가볍고, 작게 접을 수 있다는 것. 200g짜리 등산용 스틱, 210g짜리 우산이 차례로 나왔죠. 하지만 시장을 흔들 정도로 주목받지는 못했습니다.

의자는 개발실 구석에서 한참 굴러다니던 아이템이었어요. 텐트를 뒤집어 놓은 모양의 패브릭에 다리 네 개를 달면 되겠다는 아이디어만 분명했죠.

문제는 가격이었어요. 그땐 캠핑 의자가 보통 20~30달러였어요. 우리가 생각한 의자를 만들려고 하니 아무리 계산해도 도저히 팔 수 없는 가격이 나오는 거예요.

어느 날 아버지가 플라스틱으로 허브hub를 만들어오셨어요. 의자 양쪽 아래에서, 다섯 방향으로 뻗어나가는 폴대를 잡아주는 장치였어요. 여러 개의 축으로 폴대를 접었다 펼 수 있었죠. 어떤 기술자가 와도 ‘이건 제대로 설계했다’고 할 정도로 멋진 부품이었어요. 개발실의 아이디어를 구현하기 위해, 아버지는 수십, 수백번 설계도를 고쳐 그리신 거예요.

이거면 되겠다고 생각했어요. 여전히 시장가보다 세 배는 비쌌지만, 제대로 만들 수 있을 것 같다고요.

공장을 찾아다니기 시작했어요. 서울의 원사 회사부터 대구의 제직 공장까지 찾아갔죠. 오래 앉아도 뒤틀리거나 늘어나지 않을, 아주 튼튼한 원단이 필요했어요. 봉제를 잡는 과정은 정말 어려웠습니다. 중국의 봉제 공장에서 초기 물량 5000개에 모두 앉아보기도 했어요. 앉은 느낌이 편안하면 “예스yes”, 어디 한곳이 틀어졌거나 어색한 느낌이 들면 “노no”를 외쳤죠. 그렇게 불량을 골라내 1000개가 넘는 제품을 버렸어요. 어떻게 박음질을 해야 할지 공장과 함께 찾아나간 거예요.

그렇게 만든 의자의 판매 가격은 99달러(약 12만8000원). ‘너무 비싸지 않을까’ 두려웠는데 괜한 우려였어요. 제품을 본 아웃도어 유통사들은 모두 관심을 보이더라고요. 미국 최대 아웃도어 매장 REI가 “PB 제품을 내자”고 제안할 정도로요. 체어원은 잘 팔렸습니다. “REI에서 첫 1년 동안 팔린 체어원 매출이 전년도 REI의 캠핑 퍼니처 전체 매출과 맞먹을 정도”라는 과장섞인 칭찬도 들었어요.

체어원이 왜 인기였을까, 가끔 생각해봅니다. 초반에 저희 의자에 열광했던 이들은 백팩커Back Packer로 불리는 아웃도어 마니아들이었어요. 차나 자전거 없이, 배낭에 모든 생존 물품을 챙겨 산을 오르는 이들이었죠. 이들에게 체어원은 ‘세상에 없던 제품’이었다고 하더군요. 이 정도 휴대성에, 이 정도 편안함을 동시에 갖춘 의자가 그동안은 없었던 거예요.

그때 확인했어요. 일단 돈을 생각하지 말고 제대로 제품을 만드는 게 먼저란 걸 말이에요. 헬리녹스의 의자(체어제로)는 2017년 ‘백팩커스 에디터스 초이스’와 ‘아웃도어 어워즈 골드위너’ 상을 받았어요. 유럽 아웃도어 시장에서 최고라는 인정을 받기까지 5년도 채 걸리지 않은 셈이에요.

# 세상이 끝날 것처럼 제품에 매달린다는 것

제가 하는 일이 무엇일까, 생각한 적이 있습니다. 제품을 설계하는 데 참여하니 디자이너designer라고 할까, 아니면 제품을 만드니 제조업자manufacturer라고 할까. 지금은 그냥 사업가business man라고 소개합니다. 결국 모든 걸 다 합친 게 사업이니까요.

헬리녹스와 가장 잘 어울리는 단어는 장인artisan이라고 생각해요. 좋은 물건을 만드는 일에 진심을 다해 몰입하는 사람. 아버지는 장인이세요. 저는 아버지와 제가 많이 다르다고 생각했는데, 남들은 똑같다고 하더군요.

장인에 대한 존경심이 있습니다. 제대로 물건을 만드는 사람만큼 멋진 사람들은 없어요. 예전에 영광스럽게도 에르메스의 경영진을 만난 적이 있어요. 6대손이란 여성분을 만나 이야기도 들었고요.

인상적인 건, 세계적인 브랜드를 만들어놓고 지금도 이 사람들은 오로지 제품에 매달려 살고 있다는 거였어요. 세상 진지하게요. 이걸 제대로 못 만들면 세상이 끝날 것처럼요. 저런 마음으로 6대를 내리 살면 이런 브랜드가 되는구나, 하는 생각이 들었어요.

# 컬래버레이션 : 꽃은 나비를 따라가지 않는다

헬리녹스는 처음부터 해외를 노리고 만든 브랜드예요. 한국에선 오히려 조금 느리게 알려졌죠. 한국에서 헬리녹스가 유명해진 건 2016년 슈프림과의 컬래버레이션 때였을 겁니다. 이후 세계적 브랜드와의 협업이 이어졌어요. 셀 수 없이 많이요. 100곳은 넘는데 200곳이 넘는지는 잘 모르겠어요. 가장 최근엔 스타벅스와 손잡고 사이드 테이블을 만들어 내놨죠.

저희는 매체 광고를 하지 않아요. 마케팅에 큰돈을 써본 적이 없어요. 그런데도 헬리녹스를 아는 분이 많은 건, 브랜드와의 협업으로 매번 새로운 이야기를 전했기 때문일 거예요. 헬리녹스가 어떤 브랜드와 무엇을 만들었는지, 사람들은 궁금해해요. 협업으로 탄생한 제품은 한정적이니 매력이 더 올라가죠. 자연히 광고하지 않아도 이야기가 퍼지더군요.

어떻게 이렇게 많은 곳과 컬래버를 할 수 있었냐고요. 헬리녹스가 먼저 협업을 제안한 경우는 거의 없어요. 저희는 작은 브랜드잖아요. 큰 브랜드에 제안해 봐야 잘 성사되지도 않을 거예요. 글로벌 브랜드가 보통 저희에게 제안을 하죠. 슈프림도, 나이키와 포르쉐도 그랬어요.

그런 제안을 받을 때면 전 아버지가 하시는 말씀이 떠올라요. 할아버지가 생전에 늘 그러셨대요. “꽃이 나비를 따라가지 않는다”고요. “제품을 만드는 사람은 제품을 잘 만들면 된다, 그러면 영업이며 마케팅은 저절로 된다”는 말씀이셨어요. 아버지는 늘 그 말씀을 실천하며 사셨죠.

아버지와 함께 바이어를 만나러 다니면서 봤어요. 아버지는 늘 이렇게 말씀하셨어요. “어떤 제품을 만들고 싶은지 들려달라. 어떻게 만들지는 내가 제안할게.” 기술은 기술자가 아는 게 아니냐는, 자부심이 담긴 목소리였어요. 바이어가 고민을 털어놓으면 노트북을 열어 시안을 보여주셨죠. “이런 게 필요한 거 아니냐”면서요. 아버지의 노트북엔 늘 100개 넘는 시안이 들어 있었어요. 마치 미리 숙제를 하듯이 시안을 만들어 놓으셨던 거예요.

컬래버 논의를 할 때, 어느새 저도 같은 말을 하고 있더군요. “사람들에게 어떤 걸 보여주고 싶은지 얘기해 주세요. 우리가 뭘 할 수 있는지 제안해 드릴게요.”

잊을 수 없는 협업은, 지난달 나온 베어브릭BE@RBRICK과의 컬래버 장난감이에요. 파란색 알루미늄으로 베어브릭을 만들고 가슴에 헬리녹스의 심벌을 새겨 넣었죠.

드물게 저희가 먼저 제안한 컬래버였어요. 제가 베어브릭을 좋아하거든요. 이 회사가 원목 베어브릭은 일본 최고 가구회사인 가리모쿠Karimoku와, 크리스털 베어브릭은 유명 크리스털 브랜드인 바카라Baccarat와 이미 만들었더군요. 그렇다면 알루미늄 제품은 꼭 우리가 만들어야겠다고 생각했어요. 3년 반 동안 조금씩 손을 봐서 완성했고, 528만원에 한정판 출시했어요. 딱 50개만 만들었죠.

알루미늄으로 만든 아트토이가 아웃도어 브랜드와 무슨 상관이 있냐고요. 영혼을 담아 만든 물건은 어디에 둬도 멋지고, 영감을 전해줍니다. 그게 헬리녹스의 정신과 맞닿아 있어요. 그걸 보여줄 수 있으면 충분히 좋은 컬래버레이션 아닐까요.

https://www.longblack.co/note/747

지난번 AI세션에서 패널로 참여해주신 분이 코드 인터프리터라는 기능은 예상했지만 막상 써보려고 하니 뭘 해야할지 몰랐다는 이야기가 생각났네요.

지금 많은 기업이 LLM 기반의 자체 챗봇 많이 만들고 있는데 멀티 모달 + Agent(AI가 알아서 업무를 자동화 하거나 다른 AI와 협업하고 자연어가 아닌 코드, 혹은 자체 언어를 사용하는 수준)이 되면 챗 기반의 서비스도 많이 바뀔 거라는 이야기네요. 그럼 결국 챗봇도 앞으로 2-3년간 초기 모습처럼 나타났다가 다른 형식으로 바뀌겠죠? ㅎㅎ

https://twitter.com/tszzl/status/1682291042245115905

트위터 본문
지식 작업 채팅 도우미는 길어야 몇 년 동안만 사용할 수 있는 로컬 최소한의 기능입니다. 자체 언어 모델 채팅 도우미를 만들기 위해 경쟁하는 기업들은 요점을 놓치고 있습니다. 이것은 웹 검색이나 다른 것들처럼 20 년 동안 중요 할 좁은 제품 범주가 아닙니다. 제품은 말 그대로 AGI입니다. 채팅은 첫 번째 근사치입니다. 점점 더 많은 기능을 갖추게 될 것이며 지원은 대행사로 바뀔 것입니다.코드 인터프리터는 놀랍습니다! 스스로 프로그래밍과 통계 작업을 수행합니다! 하지만 '자율 데이터 과학자' 시장이 활성화될 때까지는 '데이터 과학자 보조' 시장의 보급률도 낮을 것이라는 게 사실입니다. 기본적으로 인간에게 새로운 기술을 가르치는 것은 어렵지만, 기계에게 새로운 기술을 가르치는 것은 매우 간단하다는 것이 밝혀졌습니다.

Wells Fargo also offers LLM based services.
트위터 댓글이 웃긴데 ㅋㅋㅋ 어떻게 만들었을까 하는 질문에 대한 답변 :기쁨:
Probably a huge if/else tree
https://newsroom.wf.com/English/news-releases/news-release-details/2022/Wells-Fargos[…]Assistant-Fargo-to-Be-Powered-by-Google-Cloud-AI/default.aspx
Google Cloud로 만들었다고 합니다.

조금 오래 전 (1달쯤?) 정보이지만 OpenAI가 공개한 Function call이 가지는 의미

OpenAI는 최근 GPT-4 및 GPT-3.5 터보 모델**[1](https://openai.com/blog/function-calling-and-other-api-updates)**을 위한 "함수 호출"이라는 새로운 기능을 발표했습니다. 함수 호출을 통해 개발자는 JSON 스키마를 통해 모델에 함수를 설명할 수 있으며, 모델은 해당 함수를 호출하기 위한 인수가 포함된 JSON 객체를 지능적으로 출력하도록 선택할 수 있습니다**[1](https://openai.com/blog/function-calling-and-other-api-updates)**.

이 기능을 사용하면 모델에서 보다 구조화된 데이터를 출력할 수 있으므로 개발자가 AI 기능을 애플리케이션에 더 쉽게 통합할 수 있습니다**[2](https://medium.com/@s_eschweiler/revolutionizing-ai-interactions-unpacking-openais-function-calling-capability-in-the-chat-b0a6b71a9452)**.

함수 호출은 여러 가지 방식으로 가치를 창출할 수 있습니다:

1. 외부 도구 및 API와의 상호 작용 개선: 함수 호출을 사용하면 AI 모델이 외부 도구 및 API와 보다 효과적으로 상호 작용할 수 있으므로 개발자는 보다 인터랙티브하고 동적인 애플리케이션을 개발할 수 있습니다**[2](https://medium.com/@s_eschweiler/revolutionizing-ai-interactions-unpacking-openais-function-calling-capability-in-the-chat-b0a6b71a9452)**.
2. 구조화된 데이터 출력: 정형 데이터 출력을 제공함으로써 함수 호출은 개발자가 비정형 텍스트**[6](https://towardsdatascience.com/an-introduction-to-openai-function-calling-e47e7cd7680e)**를 파싱할 필요 없이 애플리케이션에서 출력을 직접 사용할 수 있으므로 AI 생성 콘텐츠로 작업하는 것이 더 쉬워집니다.
3. 향상된 AI 기능: 함수 호출은 대화 컨텍스트**[5](https://towardsdatascience.com/the-power-of-openais-function-calling-in-language-learning-models-a-comprehensive-guide-cce8cd84dc3c)**에 따라 이메일 전송, 데이터베이스에서 데이터 가져오기, 다른 서비스와의 상호 작용과 같은 작업을 수행할 수 있도록 함으로써 AI 모델의 기능을 향상시킬 수 있습니다.

함수 호출은 다음과 같은 이유로 사용자에게 유용합니다:

1. 보다 역동적이고 인터랙티브한 애플리케이션을 구현할 수 있습니다: AI 모델이 함수를 호출하고 사용자 입력에 대한 응답으로 구조화된 데이터를 제공할 수 있으므로 사용자는 AI 기반 애플리케이션과 더욱 자연스럽게 상호 작용할 수 있습니다**[2](https://medium.com/@s_eschweiler/revolutionizing-ai-interactions-unpacking-openais-function-calling-capability-in-the-chat-b0a6b71a9452)**.
2. 데이터 검색 간소화: 사용자는 명시적인 쿼리 공식화 없이도 대화식으로 데이터를 검색할 수 있어 정보와 서비스에 더 쉽게 접근할 수 있습니다**[5](https://towardsdatascience.com/the-power-of-openais-function-calling-in-language-learning-models-a-comprehensive-guide-cce8cd84dc3c)**.
3. 인공지능 모델의 활용성을 높인다: 함수 호출은 AI 모델의 동적 유용성을 높여 더 광범위한 작업을 수행하고 사용자에게 더 많은 가치를 제공할 수 있도록 합니다**[5](https://towardsdatascience.com/the-power-of-openais-function-calling-in-language-learning-models-a-comprehensive-guide-cce8cd84dc3c)**.

전반적으로 OpenAI 모델의 함수 호출은 보다 상호작용적이고 동적이며 유용한 AI 기반 애플리케이션을 가능하게 함으로써 개발자와 사용자 모두에게 상당한 이점을 제공합니다.

OpenAI recently announced a new feature called "function calling" for their GPT-4 and GPT-3.5-turbo models**[1](https://openai.com/blog/function-calling-and-other-api-updates)**. Function calling allows developers to describe functions to the model via JSON Schema, and the model can intelligently choose to output a JSON object containing arguments to call those functions**[1](https://openai.com/blog/function-calling-and-other-api-updates)**. This feature enables more structured data output from the model, making it easier for developers to integrate AI capabilities into their applications**[2](https://medium.com/@s_eschweiler/revolutionizing-ai-interactions-unpacking-openais-function-calling-capability-in-the-chat-b0a6b71a9452)**. Function calling can create value in several ways:

1. Improved interaction with external tools and APIs: Function calling allows AI models to interact with external tools and APIs more effectively, enabling developers to create more interactive and dynamic applications**[2](https://medium.com/@s_eschweiler/revolutionizing-ai-interactions-unpacking-openais-function-calling-capability-in-the-chat-b0a6b71a9452)**.
2. Structured data output: By providing structured data output, function calling makes it easier for developers to work with the AI-generated content, as they can directly use the output in their applications without having to parse unstructured text**[6](https://towardsdatascience.com/an-introduction-to-openai-function-calling-e47e7cd7680e)**.
3. Enhanced AI capabilities: Function calling can enhance the capabilities of AI models by allowing them to perform tasks such as sending emails, fetching data from databases, or interacting with other services based on the context of the conversation**[5](https://towardsdatascience.com/the-power-of-openais-function-calling-in-language-learning-models-a-comprehensive-guide-cce8cd84dc3c)**.

Function calling is beneficial for users because it:

1. Enables more dynamic and interactive applications: Users can interact with AI-powered applications more naturally, as the AI models can call functions and provide structured data in response to user inputs**[2](https://medium.com/@s_eschweiler/revolutionizing-ai-interactions-unpacking-openais-function-calling-capability-in-the-chat-b0a6b71a9452)**.
2. Simplifies data retrieval: Users can retrieve data conversationally without the need for explicit query formulation, making it easier for them to access information and services**[5](https://towardsdatascience.com/the-power-of-openais-function-calling-in-language-learning-models-a-comprehensive-guide-cce8cd84dc3c)**.
3. Enhances the utility of AI models: Function calling increases the dynamic utility of AI models, allowing them to perform a wider range of tasks and provide more value to users**[5](https://towardsdatascience.com/the-power-of-openais-function-calling-in-language-learning-models-a-comprehensive-guide-cce8cd84dc3c)**.

Overall, function calling in OpenAI models offers significant benefits to both developers and users by enabling more interactive, dynamic, and useful AI-powered applications.

I think that we are just beginning of the AI era. So many expectations existed 6 month ago. Let’s recap and think about some years in front of us. Let’s remind that it only passed 6 month and a lot of things which might be unexpected will be going on for sure.

He elaborate this one well. https://twitter.com/0xSamHogan/status/1680725207898816512

지난 세션에서 한 참여자 분께서 너무 중요한… 질문해주셨는데요. 기술 좋은데, 돈은 어떻게 벌 건데요?

대부분의 AI 회사가 찾아야할 가장 중요한 질문이라고 생각합니다. 올해 1월을 기준으로 AI Craze가 한 6개월정도 지난 것 같은데요. 큰 변화가 일어나기엔 짧은 기간임에도 많은 일이 일어난 것 같습니다.

Sam Hogan이라는 친구가 지난 6개월간 있었던 일들을 짚어줬는데요.

https://twitter.com/alfongj/status/1680753794320089089

1. 벤처캐피털의 지원을 받는 기업들이 어려움을 겪고 있습니다. 기업이 더 많은 자금을 조달할수록 더 많은 고통을 느끼고 있습니다.
- 간단한 Prompt engineering + UX 개선만 가지고는 지속적인 비즈니스를 만들기 어렵다. (Jasper)

2. 기존 기업들과 시장 선두주자들은 내부 팀과 오픈소스 기성 기술을 이용해 최첨단 AI를 빠르게 배포하는 데 능숙해지면서 VC의 지원을 받는 스타트업에게 좋은 기회가 될 수 있는 기회를 차단하고 있습니다.
- LLM Ops하는 스타트업이 쉽지 않다. 큰 기업들도 들어오고 있고 대기업들이 AI Infra를 만들 때 작은 스타트업에 의존하려고 하지 않아서.
- 대기업들도 모두 AI가 큰 변화라는 걸 알아서 많은 돈, 인재를 집중 투자하고 있다. 과거의 인터넷 때 대기업들이 당한 것과는 상황이 다르다.
- 자체적으로 만들 때 Langchain이나 Chroma를 쓰기도 한다.
—> 지난 저희 세션에서 이야기한 것처럼 Production 서비스를 만든다면 Langchain으로만은 안될거라고 생각합니다.

3. 인디 개발자들은 틈새 시장에 AI 기반 제품을 빠르게 출시하여 소규모의 현금 유동성 있는 비즈니스를 구축하고 있습니다.
- 1명이 연 10억 버는 mini SaaS 부터 30명 미만의 SaaS 기업이 1000억 매출을 만드는 경우도 나올 수 있습니다.
- 마찬 가지의 논리로 AI를 잘하는 새로운 PE가 등장할 수 있습니다. 이미 특정 해자(유통)등이 있는 기업을 인수해서 내부 효율화(AI 자동화)를 해서 기업의 이윤을 높일 수 있습니다.

4. 검증되지 않은 기술을 보유한 소수의 유망한 문샷 기업이 VC 규모의 수익을 창출할 가능성이 가장 높습니다.
- 엄청난 상상의 영역으로 B2C로는 게임, 데이팅, 컨텐츠 등 다양한 시도들이 있고, B2B로도 Enterprise Software를 제외하고더라도 방산, 제약, 의료 등 특정 도메인의 문제를 해결하는 기회는 여전히 존재합니다.

AI 산업에서 스타트업이 승리할 수 있는 영역에 대해서 고민을 좀 더 해보려고 하는데요. 관련되어 생각할만한 글, 영상, 혹은 오래된 책(혁신 관련) 이 있으면 추천해주실 수 있나요?

개인적으로 아래 글, 영상들이 도움이 되었습니다.

1. Elad AI: Startup Vs Incumbent Value: https://blog.eladgil.com/p/ai-startup-vs-incumbent-value
2. Elad Defensibility & Competition https://blog.eladgil.com/p/defensibility-and-competition
3. Sam How to Start a Hard Tech Startup with Sam Altman @ MIT https://youtu.be/r7HyWFJMAxg
4. Perplexity Founders interview: https://youtu.be/ajkAbLe-0Uk, https://youtu.be/7iU6K7NccXk
5. No priors Q&A: https://youtu.be/eTFUcPiodGU