📢Meta, 라마3 공개

작성: 밸류파인더 90's Study Room(https://t.me/studyroom90s)

■요약
1. 19일 메타는 최신 LLM 라마3(매개변수 80억개, 700억개 모델)을 공개함
2. 라마3는 라마 2보다 성능이 크게 향상됐을 뿐만 아니라 주요 모델(제미나이, 클로드, 미스트랄등)들과 비교했을 때도 비슷한 크기의 모델 중에서 가장 높은 성능 평가 달성
3. 퀄컴 수석 부사장 겸 기술 기획·엣지 솔루션 부문 본부장은 “온디바이스 AI 리더십과 말단의 다양한 기기까지 라마 생태계를 확장 예고


■90's Opinion
: 제미나이, GPT4와 같은 LLM은 기업들이 공개를 하지 않는 폐쇄형으로 API 정도로 활용 가능했었음. 하지만 라마3는 오픈소스 형태로 공개되었으며, 현존하는 오픈소스 모델 중 가장 성능이 가장 뛰어남. 글로벌 빅테크 업체(인텔, 엔비디아 , 퀄컴 등)에 제공할 예정이며 S/W (AWS 등) 플랫폼에서도 활용될 예정. 실제로 퀄컴은 스냅드랩곤 플램폿에 적용한 생성형 AI를 라마3로 교체할 계획이라고 밝힘. 온디바이스 AI에 라마가 활용되고, 다양한기기까지 확장이 기대됨. 강력한 오픈소스형태 AI인 라마3의 등장으로 스마트폰, PC 등 온디바이스AI를 활용하는 폼팩터의 다양화 산업성장이 가속화가 기대됨

한편, 오픈소스3 LLM을 통해 메타가 얻고자하는 것은 무엇일까?를 고민해볼 필요가 있을 것

4Q23 기준 Total Revenue에서 Advertising(광고)매출은 약 96.4%에 해당함. 플랫폼 업체로서 유저들을 계속 Lock-in 시키기위해선 AI 콘텐츠를 자사 플랫폼으로 유입시킬 동인이 충분하다 판단함.

즉 메타는 최대한 다양한 기업이 Meta 라마3를 통해 AI 콘텐츠 등을 생성하면 라마3를 바탕으로 AI시장이 확장을 기대할것으로 판단함. 해당 전략이 유효하게 작용한다면 메타의 플랫폼인(메타, 인스타그램 등)에 콘텐츠를 재확산하게 돼 더 강력한 플랫폼 선두자리를 지지할 수 있을 것으로 기대함


■ 메타 라마3 주요 버전 공개
- 라마 3 시리즈 중 매개변수 80억개(8B)와 700억개(70B)의 소형 버전 공개
- 또한 매개변수 4000억개(400B)의 가장 큰 버전도 개발 중
- (참고) 22년 출시된 GPT 3.5는 1,750억개, GPT-4는 약1조개
- (참고) 오픈소스인 머스크 xAI의 그록-1은 매개변수 3,140억개 모델


■메타 라마의 핵심은 '오픈소스' 모델
- 라마3는 현재까지 공개된 가장 강력한 오픈소스 모델로 많은 곳에서 사용될 예정
- 사용할 곳은 글로벌 빅테크 업체 및 반도체 업체 등으로 라마3가 학습 및 서비스 될 전망
- 메타는 AWS, 데이터브릭스, 구글 클라우드, 허깅페이스, IBM 왓슨x, 마이크로소프트 애저 등 다양한 플랫폼과 상용화 협력할 방침
- 하드웨어 측면에서는 AMD, AWS, 델, 인텔, 엔비디아와 퀄컴이 파트너로 함께
- 퀄컴은 스냅드래곤 플랫폼에 적용한 생성형 AI를 라마3으로 교체할 계획
- 스마트폰, PC, 가상현실(VR)/증강현실(AR), 자동차 등이 대상
- 두르가 말라디 퀄컴 수석 부사장 겸 기술 기획·엣지 솔루션 부문 본부장은 “온디바이스 AI 리더십과 말단의 다양한 기기까지 라마 생태계를 확장 예고
- 퀄컴은 ‘퀄컴 AI 허브’에서 라마3 관련 퀄컴 AI 생태계 지원에 나설 예정


■라마3 훈련 과정: 사전훈련과 미세조정(사후훈련)
- 라마 3는 ①사전 훈련과 ②미세조정 과정(사후훈련과정)을 통해 고도화함
- ①사전 훈련을 위해 데이터셋의 양을 늘리고, 필터링 과정을 거쳐 고품질 데이터만을 선별
- 사전훈련을 위해 라마3는 15조 이상의 토큰으로 훈련되었으며, 라마2 대비 7배 이상 많은 것
- ②미세조정에는 일상적인 질문부터 과학·기술·공학·수학(STEM), 코딩, 역사 지식에 이르기까지 다양한 분야의 데이터셋이 사용됨
- 훈련 규모를 확대하는 것은 물론, 고도화된 ‘지시 미세조정(instruction fine-tuning)’ 과정도 진행


■라마3 코드 성능테스트 결과: 다양한 벤치마크에서 구글 제미나이 프로1.5를 능가
- 라마 3는 객관식 문제(MMLU, Massive Multitask Language Understanding)와 코딩(HumanEval)에는 강함
- 70B의 경우 수학 단어 문제(MATH) 해결이나 대학원생 수준의 객관식 문제(GPQA)에서는 제미나이 프로 1.5에 떨어짐
- 다만 인간 선호도에서 경쟁 모델을 앞섬
- 조언 요청, 브레인스토밍, 분류, 비공개 질문 답변, 코딩, 창의적인 글쓰기, 추출, 공개 질문 답변, 추론, 재작성 및 요약 등 12가지 주요 사용 사례를 포함한 1800개 프롬프트 구축 데이터셋에 대한 인간 평가에서 오픈AI의 'GPT-3.5', 미스트랄 7B, 클로드 3 소네트보다 높게 평가
- 이번에 공개한 두가지 크기의 라마 3 버전 다양한 벤치마크 테스트에서 구글의 '젬마'나 '제미나이 프로 1.5', 미스트랄 AI의 '미스트랄 7B', 엔트로픽의 '클로드 3 소네트'와 같은 모델들을 능가한다고 주장

이렇게 90's Study Room 채널을 운영합니다. 첫 글 업로드하여 공유드립니다.

채널 주소 :
https://t.me/studyroom90s

2024년 4월 23일 매크로 데일리

세줄요약

(1) 뉴스가 부재한 가운데 실적에 집중하며 주식시장이 기술적으로 반등했습니다.

(2) 정부가 이달말 PF 처리 방안을 공개할 예정입니다.

(3) SAP이 클라우드 수주잔고 증가속도가 사상최대 수준이라고 밝혔습니다.

미 10-2년 장단기 금리차 -0.357%p (+0.009%p)
한국 고객예탁금, 55.4조원 +0.4조원

K200 야간선물 등락률, +0.47% (오전 5시 기준)
1개월 NDF 환율 1,376.05원 (-3.35원)

자세히 보기

rafikiresearch.blogspot.com
t.me/rafikiresearch

태웅 연중 신고가 돌파

갤럭시링은 오는 7월 개최되는 갤럭시 언팩 행사에서 갤럭시Z플립6, 갤럭시폴드6와 함께 공개될 것으로 전망된다. 갤럭시링은 한 번의 배터리 충전으로 최대 9일간 사용할 수 있으며 반지에는 걸음 수, 혈중 산소 등을 측정할 수 있는 다양한 센서가 탑재될 것으로 예상

https://n.news.naver.com/mnews/article/092/0002328823

소프트뱅크는 내년 일본어에 특화된 '1조 파라미터' 수준의 모델 개발에 착수할 계획입니다. AI의 학습 성능을 판별하는 지표인 파라미터가 1조 개를 넘는다는 건 곧 세계 최고 수준의 제품을 만들겠다는 의미로 읽힙니다.
https://n.news.naver.com/mnews/article/374/0000380339

- 메타플랫폼(메타·옛 페이스북)이 자사의 가상현실(VR) 헤드셋 '퀘스트'의 운영체제(OS)를 외부에 개방한다고 22일(현지시간) 밝혀
- VR 및 MR(혼합현실) 기술 생태계를 구축해 지위를 선점하기 위한 것으로 풀이
https://n.news.naver.com/article/277/0005409218

•TSMC : 공장 정상 가동중. 인력 전원 안전하며 정상운영에 영향 제한적일것


>台积电：目前设施及安全系统运作正常，所有人员均安全，预计不会对运营造成任何影响。

* UBS 콜:

• 중국 본토/홍콩주식 ‘오버웨잇‘으로 상향조정

• 한국주식 ’중립‘으로 하향조정

瑞银将A股和港股评级上调至“超配”，将韩国股票评级下调至“中性”。