구글, 마이크로소프트 이기기 위해 의료 AI에 베팅 중
https://www.wsj.com/articles/in-battle-with-microsoft-google-bets-on-medical-ai-program-to-crack-healthcare-industry-bb7c2db8

- 최근 구글은 Med-PaLM2이라는 의료인이 사용할 수 있는 챗봇을 테스트 중입니다. 지난 4월 미국 대표 종합병원인 메이요 클리닉에서 테스트하기 시작했습니다.

- 구글 LLM PaLM2를 기반으로 의료면허시험을 기반으로 파인튜닝시킨 모델로서 의학적 질문에 대한 답을 얻고, 문서를 요약하거나 건강 데이터를 정리하는 것 등에 사용 가능할 것입니다.

- 구글 Med-PaLM2와 OpenAI GPT-4가 의료 시험 점수로는 비슷하나 아직 할루시네이션 문제를 해결하지는 못했습니다. 5월 말 OpenAI가 이를 없애기 위해 새로운 방법을 써보고 있다 (링크) 했는데 할루시네이션 문제는 계속 지켜볼 예정입니다.

오픈AI가 출시한 Code Interpreter의 반응이 좋습니다.
https://www.oneusefulthing.org/p/what-ai-can-do-with-a-toolbox-getting

- 파일을 업로드하면, GPT-4가 읽고 코드를 스스로 만들고 통계분석. 데이터 과학자 같은 역할. 코드 작성에 있어서 LLM이 아닌 직접 데이터를 넣고 돌리기 때문에 할루시네이션 확률이 상대적으로 낮음.

- 데이터 분석, 차트 그리기, 이미지를 비디오로 변환시켜주기, PDF에서 OCR 텍스트 추출, 논문 초록에서 배울 점을 찾아내기 등을 수행. 사용사례가 갖춰지려면 조금 더 필요할 듯 하나 GPT-4 발표 이후 가장 큰 업데이트라는 평. 오픈AI는 AI GPU 확보 정도에 따라 내년까지 계속 신기능 출시 예정

- 흥미로운 사용사례 (링크)는 구독자 2.5만의 ChinaTalk 뉴스레터 운영자가 구독자 데이터 파일을 넣고 매출을 늘릴 계획 요청하자 알아서 파이썬 코드를 작성하여 성장률을 보여주고 10분 만에 몇 번의 대화만으로 자료를 만듦

7/10 엔비디아 AI GPU 가격체크 : 유지
: https://t.me/allbareun

- H100 80GB : $46,411 → $46,000 (▼)
- A100 80GB : $14,327 → $15,350 (▲)
- A100 40GB : $5,291 → $5,035 (▼)

🇺🇸 나스닥100 특별 리밸런싱 정리
: https://t.me/allbareun

- Nasdaq 100 지수 특별 리밸런싱 (링크)이 어제 시장에 영향을 미침. 리밸런싱 기준 가격은 7월 3일, 100개 기업의 새로운 가중치 파일 공개는 7월 14일(금)에 이뤄지며 인덱스 변경은 7월 24일 장 전에 완료될 예정

- 인덱스 추종자금 : 나스닥100을 추종하는 ETF 자금은 총 $245B~로 추정 (링크) S&P500 추종하는 ETF자금이 $1,110B($1.1T)인 것에 비하면 작음. (링크) S&P500의 indexed assets는 $7.1T (링크)이므로 나스닥100의 indexed assets은 $1.4T라고 가정

- 이전의 특별 리밸런싱 : 나스닥100은 1998년 12월에 마이크로소프트가 지수에 25%를 차지하자 특별 리밸런싱을 함. 1999년 3월 QQQ ETF 출시 앞두고 개별주식이 ETF 24% 이상을 넘기지 않기 위해서 한 것. 다음 특별 리밸런싱은 2011년 4월에 애플(링크)이 2010년 지수 상승의 42%를 차지하자 노출을 줄이면서 발생. 4/5 발표되어 5/2 재조정됐는데 그 사이 NDX는 +3.3%, 애플은 +2.3% 상승 (당시 300B가 추종했으며, 애플은 300B였음)

- 오늘의 특별 리밸런싱 : 55%를 차지하는 빅테크7에 대한 비중조절, 자세한 건 7/14에 나오겠지만 인덱스 자금이 1.4T라 가정하고 비중을 55% → 40%로 낮춘다면 210B만큼 영향을 받을 것. 빅테크 7개 기업의 합산 시총은 $10.9T로 줄어드는 인덱스 자금 210B만 계산한다면 -1.94% 만큼 영향을 미칠 것

- 나스닥100 내 빅테크7 비중(55.5%) : Microsoft 12.9% + Apple 12.5% + Alphabet 7.4% + Nvidia 7.0% + Amazon 6.9% + Tesla 4.5% + Meta Platforms 4.3%

🤖 GPT-4 정리 (자료: SemiAnalysis)
https://www.semianalysis.com/p/gpt-4-architecture-infrastructure

- GPT-4는 GPT-3 크기의 10배 이상. 120개 레이어에 걸쳐 총 1.8조개의 매개변수가 있다고 추정. GPT-4는 ~13조개의 토큰으로 학습됐으며 방식은 복제가 가능하기에 앞으로 Google, Meta, Anthropic, Inflection, Character, Tencent, ByteDance, Baidu 등이 가까운 시일 내에 GPT-4 스케일의 모델을 가질 것

- GPT-4는 25,000개의 A100에서 90~100일간 학습. 클라우드 학습비용은 $63M / H100으로는 55일 내에 8,192개의 H100으로 $21.5M에 한 번의 pre-training 가능

- 향후 몇 년 동안 Google, Meta, OpenAI/Microsoft 등은 $100B가 넘는 슈퍼컴퓨터에서 모델을 학습시킬 것. 이미 메타는 메타버스에서 연간 $16B 이상을 투자하고, 구글은 Other Bets 등에서 연간 $10B를 투자 중, 아마존은 Alexa에서 $50B 이상을 투자하고 딱히 쓰고 있지 못함. 지출할 의지도 있고 능력도 있을 것

- AI의 확장과 관련해서 훨씬 중요한 문제는 추론. 모델을 사용자 및 에이전트로 넣는 데 있어서 비용이 너무 많이 듦. 추론비용은 훈련비용의 몇 배를 초과. 이것이 OpenAI의 목표 중 하나 (엔비디아는 OmniML 인수를 통해 접근 중)

- 데이터센터/클라우드에서는 활용률이 가장 중요. 엔비디아의 소프트웨어가 찬사를 받는 이유 중 절반은 GPU가 수명이 다할 때까지 칩 주변, 칩 간, 메모리 데이터의 보다 스마트한 처리를 통해 컴퓨팅 활용률을 높이는 소프트웨어를 지속적으로 업데이트하기 때문

- OpenAI는 친칠라 방식의 최적화로 가려 했었다면 (매개변수 규모는 작게, 데이터의 크기는 크게) 2배 많은 토큰인 ~26조개의 토큰으로 훈련했어야 함. OpenAI 입장에서는 고품질의 데이터를 얻는 것이 중요한 이유

트랜스포머 모델 크기별 학습비용
- 핵심은 OpenAI의 GPT-4는 그대로 규모를 높이면 돈이 너무 많이 들기에, 여러 개의 모델을 붙였다는 것
- LLM을 효과적으로 사전학습 시키기 위해서는 양질의 데이터를 충족할 수 있는 충분한 데이터가 필요. 파라미터 규모가 커질 수록 데이터의 크기도 더 많이 필요
- 박태웅님의 브런치 글이 잘 정리되어 있는데 (링크), 친칠라(Chinchilla)는 기존의 많은 LLM들이 불충분한 사전학습으로 인해 최적의 상태로 학습하고 있지 못했음을 보여줌

루머: 테슬라 모델2 디자인 확정 (링크)

- 가격 : $22,000~$25,000 (2850~3230만원)
- 생산 : 멕시코 슈퍼팩토리 연 200만대 캐파 (미국향)

루머2: 테슬라 차이나, 모델S/X Occupancy network 기반 주차보조 시스템 업데이트 후 중국에서 FSD Beta 출시 예정 (링크)