📸 Look at this post on Facebook https://bbycroft.net/llm?fbclid=IwAR1RIjUR6m0JgTrevURAukP-W4Y0r7CImMhbkL-VOQG4MEzTp4NjueX5Ozo_aem_AQoBPkLroRxNqh_JCIWDpHMJqmets5HA1yZaw0_9q8hYksV7ZrvcFWmZ0-XzdeY4WQA

미국에서 지내면서 들었던 여러가지 생각들을 적어봤습니다. 두서없는 기록들이지만 나중에 돌이켜 봤을 때에 이 때의 저를 기억할 수 있는 수단일 것 같아 기록했고 혹시 누군가에게 도움이 될 수 있을까 해서 공개합니다.

왜 미국에 왔는지 와서 어떤 것을 보고 느끼고 있는지, AI에 대해서는 어떤 생각을 가지고 있는지, 미국에서 해볼만한 사업의 기회에 대해서, 미국에서 다시 신용을 쌓아가는 상황, 좋은 인생을 살기 위해 노력하는 것들, 찰리 멍거가 남긴 Legacy, 재밌게 읽었던 글에 대해서 메모해봤습니다.

https://www.notion.so/matthewcontinuouslearning/23-Oct-Nov-9fdc28312ac54dd0b975c495ee4bfff9?pvs=4

단백질 프로그래밍 플랫폼 구축하는 Cradle, $24M 규모의 Series A 자금 조달
- 단백질의 아미노산 서열이 ‘외계의 프로그래밍 언어와 비슷하다’는 통찰을 바탕으로 AI 모델에 분자 구조 학습

Stability AI, 회사 매각 검토 중(블룸버그)
- 기업의 불안정한 재무 상태에 대한 투자자들의 압박과 CEO 사임 촉구 등으로, 회사 매각을 검토 중

https://news.hada.io/topic?id=12187&utm_source=slack&utm_medium=bot&utm_campaign=T05AXQMJY68

전세계 논문을 AI가 자동으로 한글 번역, 요약, 분석, QnA를 한방에!!!
*ArXiv는 글로벌 논문 검색 포털 서비스입니다.

ArXiv GPT 유튜브 소개 동영상: https://youtu.be/-kpz0mjAd3Y

ArXiv의 전세계 모든 논문을 AI가 한글로 전문 번역, 요약, 분석, QnA를 지원합니다.
ArXiv는 글로벌 논문 검색 포털 서비스입니다.

MS, Copilot의 출시 예정 기능 공개
- 향후 몇 주 내에 GPT-4 turbo 기능 탑재
- Bing 이미지 검색, GPT-4 Vision, 웹 검색 데이터를 결합한 멀티모달 검색 기능과 코드 인터프리터 기능 탑재 예정
- 사용자의 질문에 대한 의도를 파악하여, 의도에 맞게 확장된 검색을 진행하는 ‘Deep Search’ 기능 탑재 예정

프랑스의 LLM 구축 스타트업 Mistral AI, 설립 반 년 만에 곧 유니콘 등극
- 약 $2B(약 2조 6,000억 원)의 기업 가치로 a16z 주도의 투자 협상 진행 중(블룸버그)

(글로벌 톱 과학자 + 투자자 + $50mil. 자금 받은 후 설립 2년 만에 문닫는 바이오텍)

============
하버드/MIT의 브로드연구소, David Liu 교수가 창업한 설립 2년된 Resonance Medicine가 문을 닫는다.

이 회사는 Atlas Venture, ARCH Venture Partners, F-Prime Capital, GV, Newpath Partners과 같이 쟁쟁한 바이오 전문 VC들로부터 $50mil. 이상의 투자유치를 받았고, 아직 스틸스 모드에 있었다.

David Liu 교수는 유전자 편집 분야의 글로벌 톱 과학자이며. 이 분야 톱 바이오텍 Editas Medicine, Beam Therapeutics, Prime Medicine 의 창업자이기도 하다.

그런데 지난 금요일에 임직원들에게 회사를 문닫기로 했다고 통보했다고 한다.

===========
Resonance은 특정 단백질을 타겟으로 한 단백질 분해제(protease)를 엔지니어링하여 치료제로 개발하려고 했었다.

유전자 편집 분야는 아니지만 Liu 교수는 효소 엔지니어링 전문 생화학자이므로 관련이 있다.

회사를 왜 접는지 밝히지는 않았으나 외부 펀딩 환경 때문은 아니라고 하니, 아마 기술적인 이슈일 것으로 추정된다. 펀딩 환경이 아무리 어려워도 David Liu 교수의 유명세와 투자자 리스트를 볼 때, 기술만 제대로 증명되면 크게 투자유치를 할 수 있었을 것이다.

아무리 글로벌 톱 과학자, 투자자, 자금이 있어도 기술이 안된다고 판단하면 빨리 정리하는 게 이익이라고 생각한 듯 하다.

==========
(written by 심수민, 파트너스인베스트먼트)

텔레그램 채널: https://t.me/global_biohealthcare_news

https://endpts.com/scoop-resonance-medicine-a-protease-biotech-from-david-lius-lab-shuts-down/

"Mamba: Linear-Time Sequence Modeling with Selective State Spaces" is a research paper by Albert Gu and Tri Dao that introduces a new neural network architecture called Mamba. This architecture is designed to address the computational inefficiency of Transformer models, particularly when dealing with long sequences of data

What is Mamba?
Mamba is a sequence model that integrates a selection mechanism into state space models (SSMs), leading to improved results in general sequence modeling, including language. It is a simplified end-to-end neural network architecture that does not rely on attention or multilayer perceptron (MLP) blocks.

The key innovation in Mamba is the introduction of selective SSMs, which allow the model to selectively propagate or forget information along the sequence length dimension depending on the current token. This selection mechanism enables context-dependent reasoning, which is a significant improvement over previous models that struggled with content-based reasoning.

Mamba is designed to be efficient, with fast inference and linear scaling in sequence length. It achieves up to 5 times higher throughput than Transformers. It also performs well on real data up to million-length sequences.

Performance and Applications
Mamba has demonstrated state-of-the-art performance across several modalities such as language, audio, and genomics. In language modeling, the Mamba-3B model outperforms Transformers of the same size and matches Transformers twice its size, both in pretraining and downstream evaluation. This makes Mamba a promising foundational model for different domains, especially those that require processing of long context sequences.

Limitations
While the paper and the Mamba model have shown promising results, it's important to note that these are initial findings. As with any new model or approach, replication and further testing by the broader scientific community are necessary to fully understand its strengths and limitations. The model's performance on a wider range of tasks and its adaptability to different settings and requirements need to be explored.

Conclusion and Future Work
Mamba represents a significant step forward in sequence modeling, offering a compelling alternative to the widely-used Transformer architecture. Its ability to handle long sequences efficiently and its strong performance across various modalities make it a promising tool for a range of applications.

As for future work, further exploration and testing of Mamba's capabilities are needed. This includes applying the model to a wider range of tasks, exploring its adaptability to different settings, and refining its architecture and algorithms based on feedback and results from these tests. The authors have made the Mamba codebase available for use and further development, which will facilitate these future explorations.

오늘 미라클 레터(이덕주 기자님) 글에서 인상적인 부분

실리콘밸리 투자 구루 비노드 코슬라

첫째, 발표를 시작한지 60초 안에 내가 하고싶은 얘기가 무엇인지를 투자자들이 알아야해요. (서론이 길지 말고 바로 본론으로 들어가야한다는 것이죠)

두번째, “내가 이것을 입증하면 이런 멋진 일이 벌어진다”는 걸 보여줘야해요. (투자자들에게 가능성과 스토리를 보여줘야해요)

세번째, 공략하는 시장이 매우 크거나, 아니면 새롭고 흥미로운 시장이라는 걸 보여줘야해요. (큰 시장 혹은 미지의 시장을 보여줘서 투자자들의 탐욕을 자극하는거죠)

네번째, PMF(Product Market Fit) 을 입증했거나 입증할 수 있다는 걸 보여줘야해요.
(스타트업이란 결국 PMF 를 찾는 것!)

다섯번째, 기술적인 문제는 관리할 수 있고, 시장도 명확하다는 걸 보여줘야해요.

좋은 팀을 갖고 있다는 것은 마지막에 얘기해주면 된다고 합니다.

코슬라는 피칭 덱을 만들 때 가장 처음 해야할 일을 ‘우리 회사에 투자해야할 이유’와 ‘투자하지 말아야할 이유’를 브레인스토밍하는 것이라고 했어요.

이날 그의 강연 내용 중에 가장 인상 깊었던 부분. 바로 성공하는 창업자가 공통적으로 가진 능력은 바로 '빠른 학습능력'이라는 것이었어요. 창업자들은 많은 사람을 만나고, 많은 정보를 수집해서, 최대한 많은 인풋을 스스로에게 투입한다고 해요. 그리고 수많은 인풋을 바탕으로 중요한 의사결정을 내립니다. 누구의 영향도 받지 않고 스스로의 생각으로 결정을 내립니다. 이런 결정을 위해서 중요한 것은? 바로 많은 인풋!

찰리 멍거의 추천도서 목록

1. 로버트 치알디니, 설득의 심리학
2. 말콤 글래드웰, 아웃라이어
3. 리처드 도킨스, 이기적 유전자
4. 제레드 다이아몬드, 총균쇠
5. Peter Bevelin, Seeking Wisdom
6. 벤자민 프랭클린, 프랭클린 자서전
7. 론 처노, 부의 제국 록펠러
8. 앤드류 그로브, 편집광만이 살아남는다.
9. 윌리엄 손다이크, 현금의 재발견
10. 윌리엄유리&로저 피셔, YES를 이끌어내는 협상법
11. 존 보글, 모든 주식을 소유하라
12. 스티븐 레비, In The Plex 0과 1로 세상을 바꾸는 구글, 그 모든 이야기
13. 매트 리들리, 생명 설계도, 게놈
14. James Wallace, Hard Drive
15. 맥스 베이저만, 판단과 결정
16. 데이비드 랜즈, 국가의 부와 빈곤
17. Garrett hardin, Living Wihtin Limits
18. 로버트 치알디니, 설득의 심리학3 (Yes!)
19. 존 그리빈, 빙하기
20. Herbert A.Simon, Models of My Life
21. Lawrence M.Krauss, A Universe of Degrees
22. 로버트 해그스트롬, 워렌 버펫 포트폴리오
23. Gino Segre, A matter of Degrees
24. 로버트 라이트, 3인의 과학자와 그들의 신
25. 존 그리빈, 딥 심플리시티
26. Connie Bruck, Master of the Game
27. Arthur Herman, How the scots Invented the Modern World
28. Frank Partnoy, Fiasco:파생금융상품 세일즈맨의 고백
29. Carl Van Doren, Benjamin Franklin
30. Gregory Zuckerman, The Greatest Trade Ever
31. 재러드 다이아몬드, 제3의 침팬지
32. Joseph Frazier Wall, Andrew Carnegie
33. Rober Caro, The Years of Lyndon Johnson (4 books)
34. Istvan Hargittai, The Martians of Science
35. 로버트 해그스트롬, 워렌버핏 포트폴리오
36. Roger Done, Getting It Done
37. Les Schwab, Pride in Performance
38. 월터 아이작슨, 아인슈타인 삶과 우주
39. 월터 아이작슨, 벤자민 프랭클린
40. Lawrence M. Krauss, A Universe from Nothing
41. Joe Nocera, A Piece of Action
42. 낸시 포브스, 패러데이와 맥스웰
43. 리처드 도킨스, 눈먼시계공

벌써 몇 년 전 일이다. NCSL 연구실 후배의 결혼식을 계기로 연구실 사람들이 예식장에 모였다. 후배의 결혼식이 끝난 후 지도교수님과 나눴던 이야기 중에 꼬리가 길어져 지금까지도 머릿속 한 편에 붙잡힌 주제가 있다.

결국 지금 일을 계속했을 때의 목표와 비전이 뭔가? 라는 질문을 받았다. 앞으로 올 것으로 생각하는 시대에 “machine-driven science” 시대라는 이름을 붙이고 설명해 보았다.

그 때는 미래에 대한 생각이었지만, 2023년엔 그 미래가 이제 눈앞까지 왔다.

실용인공지능학회에서 감사하게도 평소에 이야기할 기회가 별로 없는 주제를 꺼낼 수 있는 시간을 만들어주셨다. 내일 오전 키노트를 준비하는 중 오래된 기억과 생각이 몰려와 잠시 적어둔다.

*

기술 주도의 과학 발전 시대
The era of technology-driven science

이 강연에서는 과학의 발전이 더 이상 인간의 손으로만 이루어지지 않는 시대의 도래에 대해 이야기합니다. 인류는 19세기, 20세기를 지나며 과학의 발전과 함께 놀라운 업적을 달성했습니다. 20세기에는 석탄에서 전기로의 에너지 전환, 증기기관에서 로켓으로 이어진 운송 수단의 변화 등 동역학 분야의 혁신이 있었습니다. 동시에 인류는 눈에 보이지 않는 미디움을 구축했습니다. 전신, 컴퓨터, 네트워크로 이어지는 정보 체계의 진화는 20세기 및 21세기 초를 통틀어 일어난 거대한 변화를 이끌었습니다. 이제 우리는 정보 처리 분야의 혁신이 딥 러닝을 통해 정보 생성 분야로 이어지는 시점에 와 있습니다. 인간은 상상하고 상상을 통해 학습하는 능력이 있습니다. 딥러닝의 진화와 합성 데이터 및 언어 모델의 거대화가 어떻게 상호 연결되어 새로운 과학적 방법론의 시대를 만들어내는지 살펴봅시다.

#AAiCON

구글, 제미니 'Gemini 1.0' 정식발표 (자료: Google Blog)

- 순다르 피차이 CEO, 여러 주요 벤치마크에서 최첨단 성능 달성한 Gemini에 대해 자신. 올해 초 Google Brain + DeepMind가 합작해서 만든 첫 LLM

- 알파고의 주역 데미스 허사비스가 주도. 텍스트, 멀티모달 벤치마크 여러 부문에서 GPT-4를 능가 (실제 성능은 조금 더 봐야 할 것으로 예상)

제미니 모델은 총 3가지
- Gemini Ultra : 최고 성능을 위한 가장 크고, 뛰어난 모델
- Gemini Pro : 광범위한 작업에 확장 가능한 모델
- Gemini Nano : 온디바이스 AI 작업을 위한 가장 효율적 모델

- 오늘부터 Bard는 Gemini Pro 모델을 사용할 것, 또한 구글 픽셀 8 프로 제품에서 Gemini Nano 실행하도록 할 것. 향후 검색/광고/크롬/듀엣AI 등 더 많은 제품에 배포할 예정 PaLM을 대체하는 것

- 12월 13일부터 개발자/기업고객은 Google Vertex AI (=자신만의 AI 구축하는 서비스)를 통해 Gemini Pro 사용 가능

- 가장 뛰어나고 큰 버전인 Gemini Ultra는 내년 초 출시하기 전에 선택된 고객과 파트너에게 초기 실험용으로 배포할 것. 또한 내년 초 Ultra 탑재한 'Bard Advanced'도 출시할 예정

Gemini is finally out. Its technical report, while 60 pages long, is light in details. I did a quick read-through and here's the summary.

1. Gemini was written in Jax and trained using TPUs. The architecture, while not explained in details, seems similar to that of DeepMind's Flamigo, with separate text encoder and vision encoder.

2. Gemini Pro's performance is similar to GPT-3.5 and Gemini Ultra is reported to be better than GPT-4. Nano-1 (1.8B params) and Nano-2 (3.25B params) are designed to run on-device.

3. 32K context length.

4. Very good at understanding vision and speech.

5. Coding ability: the big jump in HumanEval compared to GPT-4 (74.4% vs. 67%), if true, is awesome. However, the Natural2Code benchmark (no leakage on the Internet) shows a much smaller gap (74.9% vs. 73.9%).

6. On MMLU: using COT to show that Gemini is better than GPT-4 seems forced. In 5-shot setting, GPT-4 is better (86.4% vs. 83.7%).

7. No information at all on the training data, other than they ensured "all data enrichment workers are paid at least a local living wage."