https://m.youtube.com/watch?v=fUeVRcCurfQ

Apoorva Mehta - Founder of Instacart tried > 20 ideas before landing on grocery delivery.

This is how he evaluates ideas:
- Identify 10 ways why your idea won't work
- Wait a week
- Identify 10 more
If you're still interested in the idea, that might be a winner

Most startup leaders should watch this.

얼마전 Sam Altman이 Brian Chesky에 대해서 트위터에서 이야기한 내용인데요. 창업이란 여정 자체가 거절과 어려움이 많고 외로운 여정이기에 주변에 있는 창업자들이 큰 힘이 될 때가 많은 것 같습니다. ㅎㅎ 한국에서도 성공적인 AI 스타트업들과 창업자 커뮤니티가 더 많아지길 바라고 저도 기여할 수 있으면 좋겠네요 🙂

지난 1 년 동안 많은 사람들이 도움과 조언을 제공하기 위해 연락을 취했습니다.
Brian chesky를 능가하는 사람은 없습니다.

그는 언제든 자정에 전화를 받고, 어떤 주제에 대해 몇 시간씩 작업하고, 어려운 질문에 정확하고 명확하게 답변하고, 인트로를 만드는 등의 작업을 해줍니다.

아마도 가장 중요한 것은 나쁜 날에도 변함없는 지원을 제공한다는 것입니다.

조용히 뒤에서 묵묵히 일하며 AI에 대해 배우는 것 외에는 아무것도 요구하지 않습니다.

대부분의 회사에는 이런 사람이 있지만 충분한 인정을 받지 못합니다. 고마워요, 브라이언.

10x thinking 이 중요한 이유: 사람들을 푸시하려는게 아니라, 10배를 달성한다는 목표를 생각하면 아예 다른 방향으로 문제를 보기 시작함. 깊게 이해하고 이를 first principle thinking 으로 분해해서 본다. "adding a zero"

growth mindset 조직이 되자. 너는 포텐이 있어 더 잘 할 수 있어라고 말 해주자

브라이언이 더 디테일하게 챙기기 시작하니까 본인의 업무 시간이 오히려 줄어든 패러독스. 꼼꼼하게 피드백하니까 오히려 미팅이 줄고 같은 방향으로 노를 젓기 시작. 내가 미팅룸에 없어도 우리가 나아가야할 방향을 알기 때문. 컨플릭트가 있을 때 어떻게 푸는지 알게 된다.
번아웃 안 오는 방법: 주말엔 절대 일 안 함. 주중엔 빡시게. 운동 매일 20분씩 카디오. 헬씨 밀. 좋은 퀄리티의 수면, 좋은 관계들. (관계가 가장 중요 https://www.forbes.com/.../harvard-research-reveals.../...)

reactive 한 관계가 되는 CEO 가 되지 말자. 아침에 일어나자마자 이메일에 응답, 미팅해달라고 하는 직원에게 수동적인 예스 등등. say no to fake work -> 아무런 영향력/애드 밸류 못 한 미팅에 8시간 들어가 놓고선 "아 오늘도 보람찬 하루였다" 라는 놈은...; introvert 는 당신한테 만나달라고 안 할 텐데 그런 친구들 잘 챙기자

'라파엘로처럼 그리기 위해서는 4년이 걸렸지만, 아이처럼 그리기 위해서는 평생이 걸렸다. -피카소. 프레시아이로 호기심을 가지자. not afraid to reach out for help. 내가 오늘 말 한것의 30%는 언젠가 내 생각을 바꾼 사람이 되고 싶다. 그게 배움의 증거니까

Credit: Symson

Sequoia Capital CEO Camp
캘리포니아의 사막에서 세코야의 CEO들이 모여서 캠핑을 했다.
실질적인 경영 전략, 미국에서의 네트워크, 위기순간 회사들의 흥망성쇠에 대해서 정말 많이 배웠다.
낮에는 36도이고 밤에는 5도까지 떨어지는 사막기후에서 끊임없이 이야기를 했다. 서로의 실패담들을 이야기하면서 눈물을 보이기도 하고 성공 이야기를 공유하기도 했다.
너무나 주옥같은 이야기가 많았는데 한 가지 이야기만 꼽자면 Parker Conrad대표님이 자기가 전 회사를 창업하고 어떻게 a16z라는 투자회사가 자기를 속이고 공개적인 능욕으로 이끌었는지 그리고 어떻게 자기가 그 많은 협박 속에서 다시 새로운 회사를 만들어냈는지 이야기가 남극점을 인간의 힘만으로 찍고 온 Ben의 이야기보다도 더 고통스럽게 들렸다.
Roelof Botha의 마지막 스피치:
Do not ever give up
이 순간은 많은 다른 대표님들과 공유하고 싶었다. 스티브 잡스의 말처럼 우리는 세상에 이빨자국을 남기기 위해서 이 일을 하고 있다.
개인적 순간들:
캠핑에서 함께 떠들고 놀던 Eric Yuan (Zoom의 대표)는 이제 거대한 회사의 회장님이 되어서 돌아왔다. 이런저런 조언을 해줘서 고마웠다.
Keller (Zipline)은 이제는 정말 날아오를 준비가 되어있었다. 아마존과의 경쟁에서도 이길 수 있을 것 같은 모습에 이제는 친구가 아니라 존경하는 대표님으로 대하게 되었다.
수많은 친한 대표들과 이야기를 많이 나누면서 도움이 될 이야기들을 하고 (서로의 실패를 공유하고 또 잘 한 부분들을 이야기하고) 응원을 하면서 정말로 많은 힘을 얻었다.
룰라프와 정말 많은 이야기를 했다. 웃는 시간이 대부분이라도 눈물 흘릴 슬픔도 있었고 새무친 외로움의 순간도 분노의 순간의 이야기도 있었는데, 결국 마지막 말은 포기하지 말고 계속 나아가라는 말이었다.

건우님 페북

사우스 샌프란의 바이오텍 대표님과 점심 대화
이 분은 대학생 때에 초기 제넨텍에서 인턴을 했단다. 그리고 언젠가는 제넨텍 옆에 회사를 세우겠다는 꿈을 가지게 되었다. 긴 시간이 흐르고 그는 회사를 시작하게 되었고 그 회사에서 근 20년 동안 약을 개발해왔고 이제 첫번째 약의 허가를 앞두고 있다.
몇 년전에 제넨텍 옆의 땅이 개발이 된다는 소식을 들었을 때에 바로 회사를 그 곳으로 이사하겠다는 결심을 했다. 길었던 공사가 끝나고 멋들어진 단백질 구조체 장식이 가득한 회사가 완성이 되었다. 코로나 때문에 첫 게스트와 점심이라면서 불러주셨는데 그 모습에 자부심이 가득했다.
제넨텍 옆에 회사를 만들겠다는 꿈을 이루기 위해 수십년이 걸렸는데 참 멋져 보였고 첫 약이 허가받는 순간을 참 기대하게 된다. Respect

https://stibee.com/api/v1.0/emails/share/ANshm5OhUCxKDf8E4KqBaon-AU4gYl0?fbclid=IwAR2DlyzS1dgBkxIdF1BqO28eXttAXvZUVCVNZ1933SneARkMr7aS6yuDwGI_aem_AWFZp7M8MwcRU3dYZ2URomem12UFywK-trFnd4ZAm1HELierMU2TgpL0lly25oSSzaI

첫 번째, 영화 속 한 장면은 여기서 등장합니다. 당시 공산국가였던 헝가리 정부는 국외로 나가는 사람은 1인당 50달러만 가지고 나갈 수 있도록 제한했다고 해요. 그래서 커리코와 그녀의 남편은 딸의 테디 베어 인형의 배를 가르고, 차를 팔아 확보한 900파운드(약 1246달러)를 넣은 뒤 꿰매 미국으로 향합니다

영화 속 두 번째 장면은 미국에서의 삶을 보여줍니다. 별 거 없습니다. 오로지 '연구'만 합니다. 커리코는 템플대학교에서 3년간 일했는데요, 오전 6시에 일어나 일과를 시작하고 도서관이 문을 닫는 밤 11시까지 논문을 읽었습니다. 사무실 바닥에 침낭을 깔고 자는 일도 부지기수였어요(기사). 돈은 매일 없었습니다. 그녀의 딸 수잔은 “부모님이 쉬는 모습을 본 적이 없다”고 이야기합니다. 

이어 1989년에 페실베니아대학교의 연구 조교수로 취직합니다. 정교수는 아니었습니다. 연구비를 따와야 하는데, 쉽지 않았습니다. mRNA 연구는 당시만 해도 실현 가능성이 거의 없다고 학계에서 비판받던 분야였기 때문이에요. 그녀와 연구를 함께하던 엘리엇 바네이선 박사는 당시를 회고하며 이렇게 말했습니다. “대부분의 사람이 우리를 비웃었습니다.”  

영화로 만들 수 있는 세 번째 장면입니다. 연구비를 따지 못하다 보니 결국 펜실베니아대학은 커리코에게 mRNA 연구를 계속하고 싶다면 하위 연구직으로 강등하겠다는 의사를 전합니다. 하필 이 시기에 커리코 박사는 암에 걸립니다.

영화의 네 번째 장면, 바로 노벨 생리의학상을 공동 수상한 와이즈먼 박사를 만나게 된 일이에요. 

1997년 펜실베니아대학교의 한 복사기 앞에서 커리코와 와이즈먼이 마주칩니다. 두 사람은 최근 나온 과학 논문을 복사해 읽는 취미(?)를 가지고 있었는데요, 그날 도 복사를 위해 줄을 서서 기다리면서 서로의 연구에 대해 한 마디 두 마디 이야기를 나누기 시작합니다(기사). 

와이즈먼은 HIV 백신을 만들고 싶다고 이야기했고, 커리코는 “mRNA가 그 답을 줄 수 있다”고 말합니다. 와이즈먼은 실제로 자신이 생각한 백신 설계에 있어서 mRNA가 도움이 될 것이라고 생각합니다. 둘은 손을 잡기로 하죠.

하지만, 10년의 성과도 너무 앞선 것이었습니다. 와이즈먼은 논문 발표 이후, 이렇게 이야기합니다. “우리의 전화는 울리지 않았습니다. 아무도 신경 쓰지 않았어요.” “제약회사와 벤처캐피탈리스트에게 이야기했습니다. 아무도 신경 쓰지 않았습니다.” “우리는 소리를 지르고 있었는데, 아무도 듣지 않았습니다.” "하지만, 우리는 이 잠재력을 알고 있었습니다. 노력을 멈출 수 없었습니다.”

2013년, 커리코는 결국 펜실베니아대학을 떠나 독일의 작은 기업, 바이오엔테크로 이직합니다. 당시 두 사람의 기술을 알아준 유일한 기업이 바로 바이오엔테크였어요. 영화의 여섯번째 장면입니다. 사람들은 커리코를 다시 무시합니다. "그 회사는, 웹사이트도 없는 곳이야(기사)” 여전히 영화에서는 답답하고 안타까운 음악이 흐릅니다. 

이때쯤 미국의 바이오벤처 ‘모더나’도 등장해야 할 듯합니다. 2005년, 커리코와 와이스만의 논문이 공개됐을 때 데릭 로시 박사(당시 스탠퍼드대 박사후연구원)가 이 논문을 흥미롭게 살펴봅니다. 그는 2010년 하버드, MIT 등 짱짱한 대학의 교수 그룹과 함께 모더나라는 생명공학 회사를 창업합니다. 커리코와 와이즈먼의 연구가 기반이 된다면 mRNA 기반의 백신 설계가 가능하다는 믿음 때문이었습니다. 커리코와 와이즈먼은 몰랐겠지만 조금씩, 그들의 연구에 관심을 보이는 사람들이 생겨납니다. 

모더나는 2020년 1월 10일, 코로나바이러스의 유전자 서열이 공개되고 난 뒤 이틀 만에, 바이오앤텍은 불과 몇 시간 만에 코로나19 백신 디자인을 마무리합니다(기사).

모더나에서 임상 1상에 필요한 백신을 만드는 데 걸린 시간은 단 25일이었다고 해요. 임상시험을 시작한 것은 코로나바이러스의 유전정보가 밝혀지고 난 뒤 63일 만의 일이었습니다. 이전에 인류가 만든 백신이 개발돼 유통되기까지 걸린 시간은 최소 4년이었는데 말이죠(기사). 

To do this, Martian trained a model on prompts and their corresponding outputs from different large-language models. In doing so, the model was able to learn what kinds of tasks certain LLMs can handle better than other models. For instance, Upadhyay and Ginsberg found that Anthropic’s Claude 2 model can understand foreign languages better than OpenAI’s GPT-4, they told me.

Though startups that help developers evaluate the performance of AI models already exist (one example is Autumn8, which has raised $2 million in funding from Sage Hill Investors), there are few rivals who do that and then route requests to different models in real time based on those evaluations.

So the biggest threat to Martian will likely not come from other young startups, but from cloud providers such as Amazon Web Services or model hubs like Hugging Face that could develop a similar service. They also have deep pockets and a multitude of AI developers as customers.

Martian is still small, but its model-routing system has handled as many as 1 million requests per day, Today, Martian’s customers receive $10 in free model routing credits, with the startup taking a 20% fee on top of each additional request beyond those. (And contrary to what you might think, Martian still imposes a fee for “free” open-source models since they require computing resources to run on.)

https://www.theinformation.com/articles/nea-leads-funding-of-startup-that-helps-customers-cut-ai-costs-a-chinese-startup-seizes-on-metas-open-source-llama-model?rc=ocojsj

Model Aggregator는 General한 모습으로도 나오지만 Specific한 Task를 잘 수행하기위해서 여러 모델을 잘 쓰게 도와주는 그러면서 비용은 적절한 수준으로 유지하는 서비스들도 나오고 있다.

[LLM에 있어서 비싼 고성능 칩을 사용해야 결국 저비용, 저전력으로 연결된다]

nvidia를 비롯해서 AMD, 인텔 등은 점점 더 고성능 스펙을 지원하고 이를 위해, 더 빠른 메모리, 더 막대한 계산 유닛을 넣어서 칩당 가격을 더 높이고 있습니다. 덕분에 LLM은 반대로 더욱 저렴한 가격, 저전력으로 서비스가 가능합니다.

반도체를 목적이 아닌 AI를 위한 도구로 보아야 이 도구가 결국 알고보면 비싼 것인지 결국 싼값에 잘 사고있는 것인지가 결정이 될텐데요, nvidia만 하더라도 칩당 단가는 올라가지만 결국 서비스 비용이 저렴해지고 있습니다.
즉 "nvidia가 시장에서 각광을 받는 이유는 전체 비용이 가장 저렴하기 때문"이라고 볼 수 있습니다. 간혹 GPU는 너무 비싸고 너무 전력을 많이 먹는다고 문제제기를 하는 경우가 많은데, 반대입니다.
회사 입장에서는 가장 전력을 덜 먹고 가장 싼 솔루션을 사용할 수 밖에 없고, 이 점에 있어서 nvidia가 독점이라고 생각합니다. AI 반도체를 진정한 도구로 본다면 어떤식으로 AI 반도체가 발전하고 있을까요?

1. 메모리 용량이 커져야 한다 --> 저비용, 저전력의 핵심
GDDR부터 이어지는 (1:1 컨트롤러와 메모리 구성의 스펙기반) 메모리 기술은 메모리 bandwidth(처리속도)를 높이기 위해 메모리 용량(capacity)을 희생했다고 볼 수 있습니다. 그래서 PC에서 사용하는 DDR에 비하면 용량이 작습니다.. 용량이 작으면 모델 사이즈가 커질수록 여러개의 반도체를 사용해야 합니다. 이러면 정말 문제가 커지는데요.....

2. 여러개의 반도체를 사용해야 서비스가 가능하다? --> chip-to-chip 통신 비용 문제 발생
NVLink같은 고성능의 chip-to-chip 통신이 있지만 그래도 HBM 같은 메모리에 비하면 몇배 느립니다. 반면 전력은 굉장히 많이 먹죠. 여러개의 칩을 사용하면 그래서 속도도 느리고 전력도 더 많이 먹게 됩니다. 결국 메모리 용량이 큰 반도체일수록 하나의 칩으로 지원가능한 모델 사이즈가 커지기 때문에, 초거대 AI 모델로 갈수록 하나의 칩이 (비록 단가는 비싸더라도) 얼마나 많은 메모리를 가지고 있는지가 중요해집니다. 조금 싼 칩을 여러개 쓰는 것보다 강력한 칩 하나를 쓰는 것이 결국 저비용 저전력으로 이어지게 됩니다

3. 메모리 속도도 빨라야 한다
모델 크기는 점점 커지기 때문에 주어진 시간에 읽어들여야할 데이터 양도 급격히 증가하고 있습니다. 모델을 쪼개서 여러개의 칩을 써야하는 것은 위에서 서술한 메모리 용량 뿐 아니라, 메모리 속도가 부족할때도 발생할 수 있습니다 (여러 칩이 동시에 메모리를 읽어내는거죠.. 물론 이때도 칩간 통신이 발생을 합니다) 그래서 메모리의 속도와 용량은 결국 초거대 AI 모델을 구동하기 위해 몇개의 칩을 써야하는지를 결정하는 요소가 됩니다. memory wall이라는 문제 때문이라도 (즉, 메모리는 공정이 발전함과 별개로 성장하고 상대적으로 발전속도가 느림) 이 문제는 점점 더 커지고 있습니다. 메모리 기술은 5nm, 3nm, 이런 공정 발전과 별개로 초고속 회로 기술의 발전, 아날로그 회로 기술의 발전에 연동되고 패키지 기술과 밀접한 관련이 있어서 아무래도 공정기술 발전속도를 따라가지 못해서 점점 더 메모리에서 관련 문제점들이 나오기 마련입니다.

4. 비싸지만 초고성능 칩을 쓰는 것이 그래서 결국 저비용 저전력의 핵심이 된다
전에도 한번 공유드린 적이 있지만, 옮겨야 할 모래가 10만톤 있다고 할 때 30톤 트럭과 1톤 트럭을 이용한다고 할 때 어떤 도구가 더 저렴한 것이라고 볼 수 있을까요? 단연 30톤 트럭 효율이 훨씬 좋고 전체 비용도 저렴합니다. 그래서 LLM 시장에서는 더욱 더 강력하고 빠르고 큰 칩을 원하고 있고 이것은 성능 때문일수도 있지만 결국 저비용으로 연결되기 때문입니다.

많은 경우 칩 하나만을 보고 비싸다, 전력을 많이 먹는다 등등의 메세지를 전달하기도 하지만, AI 서비스를 본다면 어떤 칩을 쓰는 것이 결과적으로 어떤 비용을 가져오는 지는 큰 그림에서 보아야한다고 생각합니다.

AI에 있어서 반도체는 목적이 아닌 도구로 봐야한다는 메세지 전달드려봅니다. 그래야 최근 발표되는 AI 반도체들에 대해 적절한 평가가 가능하지 않을까 싶습니다.