Sequoia Capital CEO Camp
캘리포니아의 사막에서 세코야의 CEO들이 모여서 캠핑을 했다.
실질적인 경영 전략, 미국에서의 네트워크, 위기순간 회사들의 흥망성쇠에 대해서 정말 많이 배웠다.
낮에는 36도이고 밤에는 5도까지 떨어지는 사막기후에서 끊임없이 이야기를 했다. 서로의 실패담들을 이야기하면서 눈물을 보이기도 하고 성공 이야기를 공유하기도 했다.
너무나 주옥같은 이야기가 많았는데 한 가지 이야기만 꼽자면 Parker Conrad대표님이 자기가 전 회사를 창업하고 어떻게 a16z라는 투자회사가 자기를 속이고 공개적인 능욕으로 이끌었는지 그리고 어떻게 자기가 그 많은 협박 속에서 다시 새로운 회사를 만들어냈는지 이야기가 남극점을 인간의 힘만으로 찍고 온 Ben의 이야기보다도 더 고통스럽게 들렸다.
Roelof Botha의 마지막 스피치:
Do not ever give up
이 순간은 많은 다른 대표님들과 공유하고 싶었다. 스티브 잡스의 말처럼 우리는 세상에 이빨자국을 남기기 위해서 이 일을 하고 있다.
개인적 순간들:
캠핑에서 함께 떠들고 놀던 Eric Yuan (Zoom의 대표)는 이제 거대한 회사의 회장님이 되어서 돌아왔다. 이런저런 조언을 해줘서 고마웠다.
Keller (Zipline)은 이제는 정말 날아오를 준비가 되어있었다. 아마존과의 경쟁에서도 이길 수 있을 것 같은 모습에 이제는 친구가 아니라 존경하는 대표님으로 대하게 되었다.
수많은 친한 대표들과 이야기를 많이 나누면서 도움이 될 이야기들을 하고 (서로의 실패를 공유하고 또 잘 한 부분들을 이야기하고) 응원을 하면서 정말로 많은 힘을 얻었다.
룰라프와 정말 많은 이야기를 했다. 웃는 시간이 대부분이라도 눈물 흘릴 슬픔도 있었고 새무친 외로움의 순간도 분노의 순간의 이야기도 있었는데, 결국 마지막 말은 포기하지 말고 계속 나아가라는 말이었다.

건우님 페북

사우스 샌프란의 바이오텍 대표님과 점심 대화
이 분은 대학생 때에 초기 제넨텍에서 인턴을 했단다. 그리고 언젠가는 제넨텍 옆에 회사를 세우겠다는 꿈을 가지게 되었다. 긴 시간이 흐르고 그는 회사를 시작하게 되었고 그 회사에서 근 20년 동안 약을 개발해왔고 이제 첫번째 약의 허가를 앞두고 있다.
몇 년전에 제넨텍 옆의 땅이 개발이 된다는 소식을 들었을 때에 바로 회사를 그 곳으로 이사하겠다는 결심을 했다. 길었던 공사가 끝나고 멋들어진 단백질 구조체 장식이 가득한 회사가 완성이 되었다. 코로나 때문에 첫 게스트와 점심이라면서 불러주셨는데 그 모습에 자부심이 가득했다.
제넨텍 옆에 회사를 만들겠다는 꿈을 이루기 위해 수십년이 걸렸는데 참 멋져 보였고 첫 약이 허가받는 순간을 참 기대하게 된다. Respect

https://stibee.com/api/v1.0/emails/share/ANshm5OhUCxKDf8E4KqBaon-AU4gYl0?fbclid=IwAR2DlyzS1dgBkxIdF1BqO28eXttAXvZUVCVNZ1933SneARkMr7aS6yuDwGI_aem_AWFZp7M8MwcRU3dYZ2URomem12UFywK-trFnd4ZAm1HELierMU2TgpL0lly25oSSzaI

첫 번째, 영화 속 한 장면은 여기서 등장합니다. 당시 공산국가였던 헝가리 정부는 국외로 나가는 사람은 1인당 50달러만 가지고 나갈 수 있도록 제한했다고 해요. 그래서 커리코와 그녀의 남편은 딸의 테디 베어 인형의 배를 가르고, 차를 팔아 확보한 900파운드(약 1246달러)를 넣은 뒤 꿰매 미국으로 향합니다

영화 속 두 번째 장면은 미국에서의 삶을 보여줍니다. 별 거 없습니다. 오로지 '연구'만 합니다. 커리코는 템플대학교에서 3년간 일했는데요, 오전 6시에 일어나 일과를 시작하고 도서관이 문을 닫는 밤 11시까지 논문을 읽었습니다. 사무실 바닥에 침낭을 깔고 자는 일도 부지기수였어요(기사). 돈은 매일 없었습니다. 그녀의 딸 수잔은 “부모님이 쉬는 모습을 본 적이 없다”고 이야기합니다. 

이어 1989년에 페실베니아대학교의 연구 조교수로 취직합니다. 정교수는 아니었습니다. 연구비를 따와야 하는데, 쉽지 않았습니다. mRNA 연구는 당시만 해도 실현 가능성이 거의 없다고 학계에서 비판받던 분야였기 때문이에요. 그녀와 연구를 함께하던 엘리엇 바네이선 박사는 당시를 회고하며 이렇게 말했습니다. “대부분의 사람이 우리를 비웃었습니다.”  

영화로 만들 수 있는 세 번째 장면입니다. 연구비를 따지 못하다 보니 결국 펜실베니아대학은 커리코에게 mRNA 연구를 계속하고 싶다면 하위 연구직으로 강등하겠다는 의사를 전합니다. 하필 이 시기에 커리코 박사는 암에 걸립니다.

영화의 네 번째 장면, 바로 노벨 생리의학상을 공동 수상한 와이즈먼 박사를 만나게 된 일이에요. 

1997년 펜실베니아대학교의 한 복사기 앞에서 커리코와 와이즈먼이 마주칩니다. 두 사람은 최근 나온 과학 논문을 복사해 읽는 취미(?)를 가지고 있었는데요, 그날 도 복사를 위해 줄을 서서 기다리면서 서로의 연구에 대해 한 마디 두 마디 이야기를 나누기 시작합니다(기사). 

와이즈먼은 HIV 백신을 만들고 싶다고 이야기했고, 커리코는 “mRNA가 그 답을 줄 수 있다”고 말합니다. 와이즈먼은 실제로 자신이 생각한 백신 설계에 있어서 mRNA가 도움이 될 것이라고 생각합니다. 둘은 손을 잡기로 하죠.

하지만, 10년의 성과도 너무 앞선 것이었습니다. 와이즈먼은 논문 발표 이후, 이렇게 이야기합니다. “우리의 전화는 울리지 않았습니다. 아무도 신경 쓰지 않았어요.” “제약회사와 벤처캐피탈리스트에게 이야기했습니다. 아무도 신경 쓰지 않았습니다.” “우리는 소리를 지르고 있었는데, 아무도 듣지 않았습니다.” "하지만, 우리는 이 잠재력을 알고 있었습니다. 노력을 멈출 수 없었습니다.”

2013년, 커리코는 결국 펜실베니아대학을 떠나 독일의 작은 기업, 바이오엔테크로 이직합니다. 당시 두 사람의 기술을 알아준 유일한 기업이 바로 바이오엔테크였어요. 영화의 여섯번째 장면입니다. 사람들은 커리코를 다시 무시합니다. "그 회사는, 웹사이트도 없는 곳이야(기사)” 여전히 영화에서는 답답하고 안타까운 음악이 흐릅니다. 

이때쯤 미국의 바이오벤처 ‘모더나’도 등장해야 할 듯합니다. 2005년, 커리코와 와이스만의 논문이 공개됐을 때 데릭 로시 박사(당시 스탠퍼드대 박사후연구원)가 이 논문을 흥미롭게 살펴봅니다. 그는 2010년 하버드, MIT 등 짱짱한 대학의 교수 그룹과 함께 모더나라는 생명공학 회사를 창업합니다. 커리코와 와이즈먼의 연구가 기반이 된다면 mRNA 기반의 백신 설계가 가능하다는 믿음 때문이었습니다. 커리코와 와이즈먼은 몰랐겠지만 조금씩, 그들의 연구에 관심을 보이는 사람들이 생겨납니다. 

모더나는 2020년 1월 10일, 코로나바이러스의 유전자 서열이 공개되고 난 뒤 이틀 만에, 바이오앤텍은 불과 몇 시간 만에 코로나19 백신 디자인을 마무리합니다(기사).

모더나에서 임상 1상에 필요한 백신을 만드는 데 걸린 시간은 단 25일이었다고 해요. 임상시험을 시작한 것은 코로나바이러스의 유전정보가 밝혀지고 난 뒤 63일 만의 일이었습니다. 이전에 인류가 만든 백신이 개발돼 유통되기까지 걸린 시간은 최소 4년이었는데 말이죠(기사). 

To do this, Martian trained a model on prompts and their corresponding outputs from different large-language models. In doing so, the model was able to learn what kinds of tasks certain LLMs can handle better than other models. For instance, Upadhyay and Ginsberg found that Anthropic’s Claude 2 model can understand foreign languages better than OpenAI’s GPT-4, they told me.

Though startups that help developers evaluate the performance of AI models already exist (one example is Autumn8, which has raised $2 million in funding from Sage Hill Investors), there are few rivals who do that and then route requests to different models in real time based on those evaluations.

So the biggest threat to Martian will likely not come from other young startups, but from cloud providers such as Amazon Web Services or model hubs like Hugging Face that could develop a similar service. They also have deep pockets and a multitude of AI developers as customers.

Martian is still small, but its model-routing system has handled as many as 1 million requests per day, Today, Martian’s customers receive $10 in free model routing credits, with the startup taking a 20% fee on top of each additional request beyond those. (And contrary to what you might think, Martian still imposes a fee for “free” open-source models since they require computing resources to run on.)

https://www.theinformation.com/articles/nea-leads-funding-of-startup-that-helps-customers-cut-ai-costs-a-chinese-startup-seizes-on-metas-open-source-llama-model?rc=ocojsj

Model Aggregator는 General한 모습으로도 나오지만 Specific한 Task를 잘 수행하기위해서 여러 모델을 잘 쓰게 도와주는 그러면서 비용은 적절한 수준으로 유지하는 서비스들도 나오고 있다.

[LLM에 있어서 비싼 고성능 칩을 사용해야 결국 저비용, 저전력으로 연결된다]

nvidia를 비롯해서 AMD, 인텔 등은 점점 더 고성능 스펙을 지원하고 이를 위해, 더 빠른 메모리, 더 막대한 계산 유닛을 넣어서 칩당 가격을 더 높이고 있습니다. 덕분에 LLM은 반대로 더욱 저렴한 가격, 저전력으로 서비스가 가능합니다.

반도체를 목적이 아닌 AI를 위한 도구로 보아야 이 도구가 결국 알고보면 비싼 것인지 결국 싼값에 잘 사고있는 것인지가 결정이 될텐데요, nvidia만 하더라도 칩당 단가는 올라가지만 결국 서비스 비용이 저렴해지고 있습니다.
즉 "nvidia가 시장에서 각광을 받는 이유는 전체 비용이 가장 저렴하기 때문"이라고 볼 수 있습니다. 간혹 GPU는 너무 비싸고 너무 전력을 많이 먹는다고 문제제기를 하는 경우가 많은데, 반대입니다.
회사 입장에서는 가장 전력을 덜 먹고 가장 싼 솔루션을 사용할 수 밖에 없고, 이 점에 있어서 nvidia가 독점이라고 생각합니다. AI 반도체를 진정한 도구로 본다면 어떤식으로 AI 반도체가 발전하고 있을까요?

1. 메모리 용량이 커져야 한다 --> 저비용, 저전력의 핵심
GDDR부터 이어지는 (1:1 컨트롤러와 메모리 구성의 스펙기반) 메모리 기술은 메모리 bandwidth(처리속도)를 높이기 위해 메모리 용량(capacity)을 희생했다고 볼 수 있습니다. 그래서 PC에서 사용하는 DDR에 비하면 용량이 작습니다.. 용량이 작으면 모델 사이즈가 커질수록 여러개의 반도체를 사용해야 합니다. 이러면 정말 문제가 커지는데요.....

2. 여러개의 반도체를 사용해야 서비스가 가능하다? --> chip-to-chip 통신 비용 문제 발생
NVLink같은 고성능의 chip-to-chip 통신이 있지만 그래도 HBM 같은 메모리에 비하면 몇배 느립니다. 반면 전력은 굉장히 많이 먹죠. 여러개의 칩을 사용하면 그래서 속도도 느리고 전력도 더 많이 먹게 됩니다. 결국 메모리 용량이 큰 반도체일수록 하나의 칩으로 지원가능한 모델 사이즈가 커지기 때문에, 초거대 AI 모델로 갈수록 하나의 칩이 (비록 단가는 비싸더라도) 얼마나 많은 메모리를 가지고 있는지가 중요해집니다. 조금 싼 칩을 여러개 쓰는 것보다 강력한 칩 하나를 쓰는 것이 결국 저비용 저전력으로 이어지게 됩니다

3. 메모리 속도도 빨라야 한다
모델 크기는 점점 커지기 때문에 주어진 시간에 읽어들여야할 데이터 양도 급격히 증가하고 있습니다. 모델을 쪼개서 여러개의 칩을 써야하는 것은 위에서 서술한 메모리 용량 뿐 아니라, 메모리 속도가 부족할때도 발생할 수 있습니다 (여러 칩이 동시에 메모리를 읽어내는거죠.. 물론 이때도 칩간 통신이 발생을 합니다) 그래서 메모리의 속도와 용량은 결국 초거대 AI 모델을 구동하기 위해 몇개의 칩을 써야하는지를 결정하는 요소가 됩니다. memory wall이라는 문제 때문이라도 (즉, 메모리는 공정이 발전함과 별개로 성장하고 상대적으로 발전속도가 느림) 이 문제는 점점 더 커지고 있습니다. 메모리 기술은 5nm, 3nm, 이런 공정 발전과 별개로 초고속 회로 기술의 발전, 아날로그 회로 기술의 발전에 연동되고 패키지 기술과 밀접한 관련이 있어서 아무래도 공정기술 발전속도를 따라가지 못해서 점점 더 메모리에서 관련 문제점들이 나오기 마련입니다.

4. 비싸지만 초고성능 칩을 쓰는 것이 그래서 결국 저비용 저전력의 핵심이 된다
전에도 한번 공유드린 적이 있지만, 옮겨야 할 모래가 10만톤 있다고 할 때 30톤 트럭과 1톤 트럭을 이용한다고 할 때 어떤 도구가 더 저렴한 것이라고 볼 수 있을까요? 단연 30톤 트럭 효율이 훨씬 좋고 전체 비용도 저렴합니다. 그래서 LLM 시장에서는 더욱 더 강력하고 빠르고 큰 칩을 원하고 있고 이것은 성능 때문일수도 있지만 결국 저비용으로 연결되기 때문입니다.

많은 경우 칩 하나만을 보고 비싸다, 전력을 많이 먹는다 등등의 메세지를 전달하기도 하지만, AI 서비스를 본다면 어떤 칩을 쓰는 것이 결과적으로 어떤 비용을 가져오는 지는 큰 그림에서 보아야한다고 생각합니다.

AI에 있어서 반도체는 목적이 아닌 도구로 봐야한다는 메세지 전달드려봅니다. 그래야 최근 발표되는 AI 반도체들에 대해 적절한 평가가 가능하지 않을까 싶습니다.

<오늘 하루를 열심히 살아야, 내일이 보입니다!>

1. 나(=이나모리 가즈오)는 교세라를 창업한 이래 줄곧 1년 단위로만 경영 계획을 세워왔다.

2. 3년 또는 5년 후의 일은 정확히 예측하기 어렵지만, 1년 후의 일이라면 그나마 틀리지 않게 전망할 수 있기 때문이다. 그래서 나는 1년간의 경영 계획은 어떻게든 달성하기 위해 노력했다.

3. “오늘 하루를 열심히 일하고 나면 내일이 보이고, 이번 한 달을 열심히 일하고 나면 다음 달이 보인다. 그렇게 올해를 열심히 일하면 내년이 보인다”, 이런 식으로 생각하고 매일의 목표와 월별 목표, 그리고 연간 목표를 꾸준히 달성하기 위해 노력에 노력을 거듭했다.

4. (빅 피처를 강조하는) 경영 컨설턴트들은 나에게 “그런 방식으로는 큰 사업을 할 수 없다”고 입을 모아 말했다. 하지만 나는 (이에 굴하지 않고) 매년 1년간의 구체적인 목표를 세우고 그것을 수행하고 작업이 완료되면, 또 다음 해의 명확한 목표를 세웠다.

5. 그렇게 철저하게 목표를 이루고 우직하게 실천해오면서 사업을 해마다 성장시켜왔다. 이처럼 교세라는 애벌레처럼 성장한 기업이다.

6. (또한) 내가 장기 계획을 세우지 않은 이유 중 하나는, 어설픈 장기 계획은 비용 낭비만을 부르기 때문이다.

7. (거의 모든 계획에서 수익은 예상만큼 늘지 않은 경우가 대부분이지만, 비용은 계획만큼 무조건 쓰게 되고, 심지어 비용은 계획보다 더 쓰게 되는 경우도 많다)

8. (즉) 장기 계획을 세우면 비용은 계획대로 증가하지만, 수입은 그에 맞춰 늘지 않은 경우가 발생한다.

9. (그래서 아름다운 장기 계획을 세우고, 이에 따라 신나게 비용을 쓰다가, 계획대로 이익이 발생하지 않아 사라진 기업은 부지기수다) 이 때문에 나는 장기 계획을 세우지 않기로 했다.

10. (그 대신 매년 살아남기 위해, 조금이라도 더 성장하기 위해 치열하게 노력했다)

- 이나모리 가즈오, <마지막 수업> 중

#SomewonYoon

https://www.facebook.com/100000921646788/posts/pfbid0UfDvhM87vCbpt89EZoVjmCGS7Aempjc7SxZqKP7eraBbed7ykYBsZdw3tqzv69KMl/?mibextid=ydkPgX

Europe faces hurdles in breaking free of China EV supply chain

As Europe tries to cut its Chinese dependence for electric vehicles, U.K. battery makers' financial woes highlight the profound challenge the region faces in building its own supply chain.

Read more here

Thai cosmetics brands seek fans abroad with budget-friendly items

Thai cosmetics companies are pushing further into Japan and other Southeast Asian markets, following in the footsteps of South Korean and Chinese players with a similar small-but-affordable strategy.

Read more here

In a statement, the board of directors said: “OpenAI was deliberately structured to advance our mission: to ensure that artificial general intelligence benefits all humanity. The board remains fully committed to serving this mission. We are grateful for Sam’s many contributions to the founding and growth of OpenAI. At the same time, we believe new leadership is necessary as we move forward. As the leader of the company’s research, product, and safety functions, Mira is exceptionally qualified to step into the role of interim CEO. We have the utmost confidence in her ability to lead OpenAI during this transition period.”

OpenAI’s board of directors consists of OpenAI chief scientist Ilya Sutskever, independent directors Quora CEO Adam D’Angelo, technology entrepreneur Tasha McCauley, and Georgetown Center for Security and Emerging Technology’s Helen Toner.

As a part of this transition, Greg Brockman will be stepping down as chairman of the board and will remain in his role at the company, reporting to the CEO.

Mr. Altman’s departure follows a deliberative review process by the board, which concluded that he was not consistently candid in his communications with the board, hindering its ability to exercise its responsibilities. The board no longer has confidence in his ability to continue leading OpenAI.