토큰과 메모리

1.

처음 ChatGPT가 나왔을 때, 모두가 놀랐지만 동시에 할루시네이션에 대한 비판도 거셌음. 대화는 되었지만 정확도가 낮았기 때문. 그 이유는 그 당시 모델이 '사전학습(Pre-training)' 중심이었기 때문

사전학습은, 인터넷에 있는 모든 데이터를 입력받아 기본 지식을 습득하지만, '뇌'가 빈 상태. 그렇기 때문에 깊은 생각이 어렵고 정보의 적시성도 떨어지는 상태

2.

사전학습 다음으로 함께 진행된 것은 '사후학습(Post-Training)'. 사후학습은 모델이 알고 있는 지식을 쓸모 있게 만들어 줌. 모델에게 생각하는 방법을 가르치는 단계

사전학습만 수행하게 되면, '삼성전자,SK하이닉스에 대해 알려줘'라고 했을 때 인터넷 상에서 존재하는 꽤나 정확한 답변을 제공해줄 수 있음

그러나, '토큰 수요가 폭증하는 사이클에서 메모리 압축기술(토큰당 메모리 수요)이 메모리 전체 수요 성장 기울기를 감소시킬 수 있어?'라는 질문에는 답변하지 못함. 스스로 생각하기 어렵기 때문. 그러나 사후학습은 이를 가능케 할 수 있음. 모델 스스로 생각할 수 있게 만들어주기 때문

3.

그 다음 등장한게 '테스트 타임 스케일링(Test-time Scaling)'. 여기서 딥시크가 등장하게 되었음. 스스로 생각하는 모든 과정을 공개하면서 모델이 '곧바로' 답을 뱉지 않고, 문제를 시간을 갖고 스스로 풀어보고 생각하는 과정을 거치게 됨

딥시크는 모델의 생각 시간을 늘려서 답변의 정확도를 높이는 방식으로 각광받게 되었음. 당시 딥시크는 GPU 요구량을 크게 줄였으나 성능이 개선되었다고 발표했으나(실제로는 더 사용), 결과적으로는 지금 딥시크의 입지는 그 때보다는 낮은 수준

마치 지금 메모리 압축을 얘기하는 상황과도 유사. 결과적으로 증가하는 토큰을 처리하기 위한 효율성 개선이 수요 감소로 이어지지 않는다는 것. 결국 모델의 성능 개선은 (1) 압도적인 AI 인프라와 (2) 함께 진행되는 효율성 개선(이건 SW, HW 모두)에서 이뤄진다는 것

4.

딥시크 방식은 또한 '속도'의 문제가 존재했음. 한정된 HW에서 계속되는 '검산'과 '숙고'는 토큰을 더 많이 발생시켰고, 이를 처리하기 위한 속도는 당연히 늦어졌음

이를 해결하기 위해 등장한 개념이 'MoE(Mixture of Experts)'였음. 모델의 뉴런 파라미터 집합을 여러 전문가 그룹으로 나누는 것. 모델 전체의 크기는 엄청 커질 수밖에 없지만, 거기서 추론에 사용하는 유효 파라미터를 줄이는 것

모델이 수조 파라미터 규모가 되더라도, 유효 파라미터는 수백억개 수준으로 축소시킬 수 있고, 이 덕분에 훨씬 레이턴시를 줄일 수 있게 되었음. 선택적으로 계산하기 때문에 더 높은 지능을 제공

더 효율적으로 코드를 생성하고, 출력을 만들고, 똑똑해지는 방식. 결국 이것도 '효율성 개선' 아닐까? => 하지만 HW의 수요는 전혀 줄어들지 않았다는 것

5.

이는 LPU SRAM, CPO나 1.6T같은 통신기술, NV Link 등 모두 마찬가지. 어찌보면 HW단에서 효율화에 더 노력하고 있음. 더 많은 토큰을 생성해야되기 때문

구글 같은 CSP만 노력하는게 아니라, 사실 HW업체들이 더 많이 노력하고 있다는 것. LPU는 결국 토큰을 만들어내는 워크로드 측면에서 저지연을 담당하는 영역에서 급격한 효율을 발생시킴. 여전히 디코드 영역의 메모리 바운드는 깨지지 않음. 즉, 워크로드의 차이

6.

엔비디아의 Dynamo 기술은 HW 업체가 오히려 더 노력하고 있는 것을 보여주고 있음. Dynamo 기술은 첫 입력 토큰을 생성하는 프리필(prefill) 단계와 출력 토큰을 계속 만드는 디코드(decode) 단계를 구분하여 AI DC 전체에서 KV 캐시를 효율적으로 관리하기 위해 엔비디아가 만든 기술

첫 입력 토큰을 생성하기 위해 사용자가 질문한 내용을 처리하는 문맥 처리를 담당하는 프리필 단계의 GPU와, 이를 받아서 토큰을 계속 생성해내는 GPU를 구분하는 것. 결국 이것도 '토큰 생성을 위한 효율성 증대'의 일환. 엔비디아에 따르면, 이 Dynamo 기술을 통해 GPU의 처리량이 7배가 증가했다고 발표

7.

다음 시대는 '멀티에이젼트', '에이젼트 스케일링'. AI 에이젼트들끼리 대화하면서 더 최적의 답변을 찾아내는 것. 앤트로픽은 멀티에이전트 시스템에서 토큰 생성 수요가 15배 증가한다고 언급(특정 영역에서)

AI들끼리 대화가 너무 빠르기 때문. 1500토큰/초 수준으로 출력하는 시대가 도래하게 되면, 하루~일주일 걸리는 질의를 1~2시간만에 처리할 수 있게 되는 것. 더 거대한 모델을 돌려야 하고, 에이젼트간의 상호작용도 매우 빨라야 하는 시대로 도래

똑똑한 한 명의 인간은 AGI가 될 수 없음. 아인슈타인은 가장 똑똑한 인류라고 불리지만, 아인슈타인이 엘리베이터를 고치는 방법을 알거나 주식에 일가견이 있거나 국가를 운영하는 법을 알 수가 없음. 결국 AGI는 무수히 똑똑한 AI 에이젼트들이 융합할 때 도달할 수 있는 영역

8.

메모리 측면에서, 추론 디코드 영역은 '메모리 바운드'라고 부름. 메모리에 묶여있다는 것. GPU 연산량이 아무리 좋아도 메모리 대역폭과 배치(batch, 동시에 처리할 수 있는 작업)가 증가하지 못하면 오히려 GPU가 노는 현상이 발생될 정도. 완전히 메모리 의존 영역

디코드는 매 스텝마다 토큰을 생성하고 다음 토큰을 생성하는 과정을 거치는데, 이 때 다음 토큰을 생성하기 위해 KV 캐시를 활용. KV 캐시는 이전 토큰들에 대한 Key/value 벡터 상태, 즉 이전 토큰들의 상태를 저장해놓는 저장소 역할. 그렇게 되면 다음 토큰을 만들 때 문맥을 처음부터 다시 읽는게 아니라, KV캐시만 읽어도 다음 토큰을 더 빠르게 생성할 수 있게 됨

9.

결국 토큰 - 추론 - 디코드 - KV캐시라는 구조가 단단하게 유지되면서, LLM들이 사전학습->사후학습->테스트 타임 스케일링->MoE->에이젼트 스케일링으로 변화되면서 더 많은 토큰을 생성해낼수록, 메모리의 요구량은 계속 기하급수적으로 증가하고 있다는 것

이 과정에서 HBM에만 한정된 KV캐시 의존도를 분산하기 위해 일반 서버용 DRAM이나, 콜드 데이터 저장을 위한 HDD, SSD, 나아가 HBF까지 필요해지면서 메모리 하이어라키 계층 구조가 전방위적으로 수혜를 받는 것. 단순히 HBM에서 만들어지는 공급 제약이 미치는 영향 뿐만 아니라, AI 수요가 전체적인 메모리 수요에 도움을 주고 있음

10.

한편 HBM에서는 HBM4부터 로직다이의 중요성이 높아지고 있음. 이는 IO 복잡도가 급격히 증가하고, GPU/CPU 같은 연산처리에서 담당하던 기능을 로직 다이 안으로 가져올 수 있게 되었기 때문. 이에 따라, 4e부터는 커스텀 HBM 방식으로, 코어다이는 표준화가 되더라도 로직다이는 업체별로 맞춤형 설계가 될 수 있음

현재 HBM4에선 코어다이에서 삼성전자가 1c, SK하이닉스가 1b 공정을 적용 중인 것으로 알려짐. 로직다이에서는 삼성전자가 삼성파운드리 4nm 공정, SK하이닉스가 TSMC 12나노대 공정을 적용 중인 것으로 알려짐 (언론보도)

그런데 HBM4e부터는 코어다이에서 두 기업 모두 1c 공정, 로직다이에서는 SK하이닉스가 TSMC 3nm 공정을 검토 중이라는 언론보도가 있었음. HBM4에서 12nm를 적용했다면, 4e에선 3nm로 급격하게 성능을 개선시키는 것. 이는 HBM 공정 경쟁이 4e부터는 양상이 또다시 변화될 수 있음을 암시

+

큰 틀에서, 조금 과장하자면 AI와 토큰은 산업혁명 시대 전기의 탄생과 유사하다고 생각. 전기(토큰)을 가지고 할 수 있는게 너무 많아질 수 있는 시대에서, 전기가 발명되기 이전의 시대로 돌아갈 수 없음

전기를 만들기 위해 당연히 공장이 필요하고, 전기를 더 효율적으로 생성해낼 수 있는 기술(효율화)도 당연히 필요할 것

그러나 그게 전기의 수요를 감소시키거나, 전기를 만들어내기 위한 인프라의 감소로 이어지진 않았음. 왜냐하면 전기의 수요 증가량(토큰의 증가량)이 훨씬 더 크기 때문