그나저나 비트코인에서는 2개의 연속된 블록이 reorg되는 보기 드문 일이 발생했네요. (사실 비트코인 초기 말고는 처음인 것 같은데...)

FoundryUSA는 해당 reorg로 7개의 블록을 연달아 채굴했습니다.


비트코인 채굴은 채굴 룰을 지키는 것과 안지키는 것(하드포크) 사이에 그레이 존이 하나 있습니다. '이기적 채굴'이라 불리는 영역인데요,

내가 비슷한 시기에 채굴에 성공했지만 조금 늦었다면 남이 먼저 채굴한 블록을 인정해주어야 하는데, 내 껄 선택한다거나, 나한테 유리해보이는 걸 선택하거나, 아니면 채굴한 블록을 잠깐 숨기거나... 그런 전략이 해시레이트가 약 30% 정도 넘으면 생채굴보다 약간 유리합니다.

bitmex research는 https://forkmonitor.info/stale/941881 Foundry USA 블록이 더 나중에 관찰되었다고 기록했네요. 물론 이 정도는 네트워크 지연 이슈로 충분히 발생할 수 있는 일이기 때문에 이기적 채굴의 단서라 보긴 아직은 어렵습니다.

후속연구는 https://bnoc.xyz/t/two-block-reorg-at-height-941880/97/11 에서 파악해보세요..!

토큰과 메모리

1.

처음 ChatGPT가 나왔을 때, 모두가 놀랐지만 동시에 할루시네이션에 대한 비판도 거셌음. 대화는 되었지만 정확도가 낮았기 때문. 그 이유는 그 당시 모델이 '사전학습(Pre-training)' 중심이었기 때문

사전학습은, 인터넷에 있는 모든 데이터를 입력받아 기본 지식을 습득하지만, '뇌'가 빈 상태. 그렇기 때문에 깊은 생각이 어렵고 정보의 적시성도 떨어지는 상태

2.

사전학습 다음으로 함께 진행된 것은 '사후학습(Post-Training)'. 사후학습은 모델이 알고 있는 지식을 쓸모 있게 만들어 줌. 모델에게 생각하는 방법을 가르치는 단계

사전학습만 수행하게 되면, '삼성전자,SK하이닉스에 대해 알려줘'라고 했을 때 인터넷 상에서 존재하는 꽤나 정확한 답변을 제공해줄 수 있음

그러나, '토큰 수요가 폭증하는 사이클에서 메모리 압축기술(토큰당 메모리 수요)이 메모리 전체 수요 성장 기울기를 감소시킬 수 있어?'라는 질문에는 답변하지 못함. 스스로 생각하기 어렵기 때문. 그러나 사후학습은 이를 가능케 할 수 있음. 모델 스스로 생각할 수 있게 만들어주기 때문

3.

그 다음 등장한게 '테스트 타임 스케일링(Test-time Scaling)'. 여기서 딥시크가 등장하게 되었음. 스스로 생각하는 모든 과정을 공개하면서 모델이 '곧바로' 답을 뱉지 않고, 문제를 시간을 갖고 스스로 풀어보고 생각하는 과정을 거치게 됨

딥시크는 모델의 생각 시간을 늘려서 답변의 정확도를 높이는 방식으로 각광받게 되었음. 당시 딥시크는 GPU 요구량을 크게 줄였으나 성능이 개선되었다고 발표했으나(실제로는 더 사용), 결과적으로는 지금 딥시크의 입지는 그 때보다는 낮은 수준

마치 지금 메모리 압축을 얘기하는 상황과도 유사. 결과적으로 증가하는 토큰을 처리하기 위한 효율성 개선이 수요 감소로 이어지지 않는다는 것. 결국 모델의 성능 개선은 (1) 압도적인 AI 인프라와 (2) 함께 진행되는 효율성 개선(이건 SW, HW 모두)에서 이뤄진다는 것

4.

딥시크 방식은 또한 '속도'의 문제가 존재했음. 한정된 HW에서 계속되는 '검산'과 '숙고'는 토큰을 더 많이 발생시켰고, 이를 처리하기 위한 속도는 당연히 늦어졌음

이를 해결하기 위해 등장한 개념이 'MoE(Mixture of Experts)'였음. 모델의 뉴런 파라미터 집합을 여러 전문가 그룹으로 나누는 것. 모델 전체의 크기는 엄청 커질 수밖에 없지만, 거기서 추론에 사용하는 유효 파라미터를 줄이는 것

모델이 수조 파라미터 규모가 되더라도, 유효 파라미터는 수백억개 수준으로 축소시킬 수 있고, 이 덕분에 훨씬 레이턴시를 줄일 수 있게 되었음. 선택적으로 계산하기 때문에 더 높은 지능을 제공

더 효율적으로 코드를 생성하고, 출력을 만들고, 똑똑해지는 방식. 결국 이것도 '효율성 개선' 아닐까? => 하지만 HW의 수요는 전혀 줄어들지 않았다는 것

5.

이는 LPU SRAM, CPO나 1.6T같은 통신기술, NV Link 등 모두 마찬가지. 어찌보면 HW단에서 효율화에 더 노력하고 있음. 더 많은 토큰을 생성해야되기 때문

구글 같은 CSP만 노력하는게 아니라, 사실 HW업체들이 더 많이 노력하고 있다는 것. LPU는 결국 토큰을 만들어내는 워크로드 측면에서 저지연을 담당하는 영역에서 급격한 효율을 발생시킴. 여전히 디코드 영역의 메모리 바운드는 깨지지 않음. 즉, 워크로드의 차이

6.

엔비디아의 Dynamo 기술은 HW 업체가 오히려 더 노력하고 있는 것을 보여주고 있음. Dynamo 기술은 첫 입력 토큰을 생성하는 프리필(prefill) 단계와 출력 토큰을 계속 만드는 디코드(decode) 단계를 구분하여 AI DC 전체에서 KV 캐시를 효율적으로 관리하기 위해 엔비디아가 만든 기술

첫 입력 토큰을 생성하기 위해 사용자가 질문한 내용을 처리하는 문맥 처리를 담당하는 프리필 단계의 GPU와, 이를 받아서 토큰을 계속 생성해내는 GPU를 구분하는 것. 결국 이것도 '토큰 생성을 위한 효율성 증대'의 일환. 엔비디아에 따르면, 이 Dynamo 기술을 통해 GPU의 처리량이 7배가 증가했다고 발표

7.

다음 시대는 '멀티에이젼트', '에이젼트 스케일링'. AI 에이젼트들끼리 대화하면서 더 최적의 답변을 찾아내는 것. 앤트로픽은 멀티에이전트 시스템에서 토큰 생성 수요가 15배 증가한다고 언급(특정 영역에서)

AI들끼리 대화가 너무 빠르기 때문. 1500토큰/초 수준으로 출력하는 시대가 도래하게 되면, 하루~일주일 걸리는 질의를 1~2시간만에 처리할 수 있게 되는 것. 더 거대한 모델을 돌려야 하고, 에이젼트간의 상호작용도 매우 빨라야 하는 시대로 도래

똑똑한 한 명의 인간은 AGI가 될 수 없음. 아인슈타인은 가장 똑똑한 인류라고 불리지만, 아인슈타인이 엘리베이터를 고치는 방법을 알거나 주식에 일가견이 있거나 국가를 운영하는 법을 알 수가 없음. 결국 AGI는 무수히 똑똑한 AI 에이젼트들이 융합할 때 도달할 수 있는 영역

8.

메모리 측면에서, 추론 디코드 영역은 '메모리 바운드'라고 부름. 메모리에 묶여있다는 것. GPU 연산량이 아무리 좋아도 메모리 대역폭과 배치(batch, 동시에 처리할 수 있는 작업)가 증가하지 못하면 오히려 GPU가 노는 현상이 발생될 정도. 완전히 메모리 의존 영역

디코드는 매 스텝마다 토큰을 생성하고 다음 토큰을 생성하는 과정을 거치는데, 이 때 다음 토큰을 생성하기 위해 KV 캐시를 활용. KV 캐시는 이전 토큰들에 대한 Key/value 벡터 상태, 즉 이전 토큰들의 상태를 저장해놓는 저장소 역할. 그렇게 되면 다음 토큰을 만들 때 문맥을 처음부터 다시 읽는게 아니라, KV캐시만 읽어도 다음 토큰을 더 빠르게 생성할 수 있게 됨

9.

결국 토큰 - 추론 - 디코드 - KV캐시라는 구조가 단단하게 유지되면서, LLM들이 사전학습->사후학습->테스트 타임 스케일링->MoE->에이젼트 스케일링으로 변화되면서 더 많은 토큰을 생성해낼수록, 메모리의 요구량은 계속 기하급수적으로 증가하고 있다는 것

이 과정에서 HBM에만 한정된 KV캐시 의존도를 분산하기 위해 일반 서버용 DRAM이나, 콜드 데이터 저장을 위한 HDD, SSD, 나아가 HBF까지 필요해지면서 메모리 하이어라키 계층 구조가 전방위적으로 수혜를 받는 것. 단순히 HBM에서 만들어지는 공급 제약이 미치는 영향 뿐만 아니라, AI 수요가 전체적인 메모리 수요에 도움을 주고 있음

10.

한편 HBM에서는 HBM4부터 로직다이의 중요성이 높아지고 있음. 이는 IO 복잡도가 급격히 증가하고, GPU/CPU 같은 연산처리에서 담당하던 기능을 로직 다이 안으로 가져올 수 있게 되었기 때문. 이에 따라, 4e부터는 커스텀 HBM 방식으로, 코어다이는 표준화가 되더라도 로직다이는 업체별로 맞춤형 설계가 될 수 있음

현재 HBM4에선 코어다이에서 삼성전자가 1c, SK하이닉스가 1b 공정을 적용 중인 것으로 알려짐. 로직다이에서는 삼성전자가 삼성파운드리 4nm 공정, SK하이닉스가 TSMC 12나노대 공정을 적용 중인 것으로 알려짐 (언론보도)

그런데 HBM4e부터는 코어다이에서 두 기업 모두 1c 공정, 로직다이에서는 SK하이닉스가 TSMC 3nm 공정을 검토 중이라는 언론보도가 있었음. HBM4에서 12nm를 적용했다면, 4e에선 3nm로 급격하게 성능을 개선시키는 것. 이는 HBM 공정 경쟁이 4e부터는 양상이 또다시 변화될 수 있음을 암시

+

큰 틀에서, 조금 과장하자면 AI와 토큰은 산업혁명 시대 전기의 탄생과 유사하다고 생각. 전기(토큰)을 가지고 할 수 있는게 너무 많아질 수 있는 시대에서, 전기가 발명되기 이전의 시대로 돌아갈 수 없음

전기를 만들기 위해 당연히 공장이 필요하고, 전기를 더 효율적으로 생성해낼 수 있는 기술(효율화)도 당연히 필요할 것

그러나 그게 전기의 수요를 감소시키거나, 전기를 만들어내기 위한 인프라의 감소로 이어지진 않았음. 왜냐하면 전기의 수요 증가량(토큰의 증가량)이 훨씬 더 크기 때문

0x의 PropAMM 분석 아티클.

PropAMM 운영자들이 어떤 방식으로 수익을 내고 있는지 (나쁜말로는 어떻게 사용자에게 불리한 가격으로 거래를 체결시키고 있는지)에 대한 패턴을 분석한 글입니다.

패턴 1: 베이스의 flashblock을 악용한 미끼 가격

베이스는 2초 단위 메인 블록과 200ms 단위의 flashblock이 존재하는데, 어그리게이터는 블록 끝 시점의 가격을 기준으로 경로를 결정하곤 합니다.

PropAMM 운영자는 블록의 마지막 플래시블록에 매우 매력적인 가격을 올려 어그리게이터가 해당 경로를 결정하도록 유혹하고, 바로 다음 플래시블록 (다음 메인 블록의 첫 플래시블록)에서 나쁜 가격을 제출합니다. 그러면 사용자 거래는 N+1 블록에서 체결되므로 사용자가 경험하는 가격 자체는 비싼 가격이 됩니다. 이런 시나리오의 경우 사용자는 평균 3-6bp, 최악의 경우 40bp까지 손해를 볼 수 있다고 하네요.

패턴 2: 랜덤 스프레드 fluctuation

견적이 나오는 시점과 체결이 되는 시점 간의 시간차를 악용하는 방법으로, 어떤 체인에서든 가능한 방법입니다.

PropAMM 운영자가 2bp의 아주 좁은 스프레드를 제시해 어그리게이터를 유혹하고, 사용자가 거래를 서명해 전송하면 그 사이에 스프레드를 8-16bp로 늘려버리는 방식입니다. 지금은 삭제됐지만 솔라나 재단의 트레이딩 리서치 팀도 동일한 현상을 발견하고 문서화했었다고 하네요.

0x도 어그리게이터로서 이런 문제를 인지하고 이런 시도를 하는 운영자를 차단하고자 한다고 하지만, 현실적으로 시장 경쟁때문에 유지가 어렵다고 하네요.

https://0x.org/post/propamm-shenanigans

솔라나나 베이스나 리테일 털어먹으려고 눈이 돌아갔구나 이게 mm이지

Eureka Builder 라는 신생 블록빌더 서비스가 자기들 서비스를 프로모션 하기 위해 블록 24729136 를 통으로 구매해서 자기들 광고 트랜잭션 하나만 넣음
여기에 든 돈 단돈 $89 (???)

https://ethblock.link/?block=24729136

솔라나의 MCP (AI MCP 아님, Multiple Concurrent Proposers) Constellation 계획에 대해 Harmonic(Humidifi) 과 재단이 격하게 다투는 중

Harmonic 은 MCP가 IBRL(Increase Bandwidth Reduce Latency, 솔라나재단의 마케팅 구호) 를 방해하는 게 명백한데 기만적이라고 주장 (참고로 MCP 가 들어오면 Humidifi 같은 Prop AMM은 quote 넣을 때 대역폭을 훨씬 많이 쓰므로 이해관계상 반대해야 하기도 함)
솔라나 재단측 Brennan 은 니가 MCP 논문 제대로 안읽은거다 그리고 Harmonic 블록빌딩 방식을 알고도(경매를 위해 의도적으로 shred 전파 지연) 그런소리할 수 있냐 이런식의 일침

앵간해서는 재단이 밀어주기 때문에 MCP 를 도입할 가능성이 높아보이긴 하네요

https://x.com/bw_solana/status/2037616450597535873

이걸 보면서 드는 생각: 이렇게까지 해야 겨우 먹을수 있으면 이미 과포화된 필드 아닌가......
코인(특히 보따리, 갭먹기 등등) 다끝났다는 생각은 원래도 있었지만 점점 벽 느껴지는 중

그렇다고 그럼 이제 뭐해서 벌어먹고 살건데? 라고 하면 마땅한 답이 없음. 모든 것이 끝이다

코인베이스 얘네 날강도인가요? 단위 잘못본줄 알았네

그나저나 Circle은 이번에도 CCTP로 몇천억 넘어가는거 동결 없이 수수방관 (Cetus 해킹 등등 다른 사건에도 항상 이랬음...)

https://x.com/zachxbt/status/2039496650906034602

오늘 하루가 기분이 안좋았다면

누군가 저 세상에 원숭이 JPG 사진을 153 이더리움에 구매하고 지금 18.18이더에 올리고 판매를 기다리고 있는 점을 생각하세요.

폴리마켓을 규제하는 주정부를 연방행정부가 소송

이런 게 가능하다니

https://v.daum.net/v/20260403045754131

샌프란에 계속 있으면서 정리해본 "AI시대에 우리는 어디에 베팅해야하는가"

——1️⃣
AGI 시대에 전례없이 폭발성장할 산업을 골라야한다리움
🙅‍♂️안좋은 예시 => 아무리 인류사회가 풍요로워도 캡이 크게 늘어나지 않는 일들
• 음식? 아무리 풍요로워도 하루에 세번먹음
• 영화? 하루에 16시간이 최대
• 땅? 뭐 혼자사는데 1000평짜리 집에 살겠냐고
• 제조업? 자동차, 공장, 생필품, 콘크리트 값싸고 빠르게 많이 찍어준다고 해도 사람들이 쟁여두고 사는거 아님

🙆‍♂️ 좋은예시 => 돈과 리소스가 넘쳐나는 시기에는 걍 사람들이 어디에 돈을 다 쳐쓸까
• 패션, 럭셔리 => 걍 무한소비 가능
• 매칭 (틴더, 인스타광고 등) => 리소스는 넘쳐나는데 내 시간은 한정되어있음. 돈 갖다바칠테니까 제발 나의 원픽을 찾아줘
• 금융, 카지노 => 돈은 미친듯이 남는데, 그게 필요한 사람은 더 다양하고 파편화됨. 여기저기 빌려주고 돌리고 레버리지하고 무한 유동성을 공급하는게 자본시장의 더중요한 역할이 될듯
• 섹스, 엔터테인먼트, 팬덤 => 희귀성, FOMO, 애착의 산업. 마찬가지로 천정부지 오를수 있는 업사이드가 큼
• 건강, 미용, .. => 마찬가지

——2️⃣
AGI가 자동으로 풀어주는 문제를 고르면 안됨
• 개발, 코딩, 수학문제, 회계, 세무, ... 이런걸 잘하는건 걍 가만히 있어도 앤쓰로픽이 다 풀어주니까 전혀 무의미
• 우리는 개편리한 B2B SAAS를 만들었어요 이것도 동일

——3️⃣
AGI가 자동으로 못푸는 문제를 고르되, 그 문제를 푸는 방식은 AGI가 자동으로 해결해주는 것을 레버리지하는 식으로 해야함 (무임승차)
• 우리는 개쩌는 코딩에이전트를 만들었어요 => 앤쓰로픽 상대로 경쟁력이 전혀 없는 쓰레기 😡
• 우리는 개쩌는 코딩에이전트 나올때마다 누구보다 빨리 적응해서 다양한 니치 패션시장을 노리는 앱과 광고를 자동으로 찍어낼거예요. 그리고 브랜드를 만들고 사용자 데이터 모아서 가격최적화/광고넛징 모델링을 ML 돌릴게요 => 말이 되기 시작 🤨
• 우리는 개쩌는 코딩에이전트 나올때마다... (이후는 비즈니스 상상력의 영역) 😮
• AGI 익스포저를 AGI 논익스포저로 바꾸는 방식에는 당연히 해자가 있어야함. 브랜드, 인프라, 데이터, 조직의 속도, .. 등

집요하게 Circle 신규 포스트 따라다니면서 Drift 자금 동결 안한 근무태만 지적하는 Zach vs 끝까지 무시하면서 반응 안하는 Circle 및 임직원 계정들

가슴이 웅장해진다

https://x.com/zachxbt/status/2039885612917170608

애초에 잡알트들 하루 출금한도 천만원으로 막아놓고선 거기서 1프로씩 떼먹으면 잘도 갖고와서 거래를 하겠습니다 원숭이도 조삼모사는 아는데 이건 그냥 앉아서 개손해 보는 초 근시안적 정책

비트코인 블록타임이 평균 10분이고 이더리움 finalization도 15분 잡아야 하는데 5분주기면 confirmation 수준을 여러 레벨로 분리해서 점검하기라도 하겠단 건가요?
이런거 고려했다 vs 안했다

투명성 강화를 위해 외부 회계법인을 통한 자산 실사 주기는 기존 매분기에서 ‘매월’로 단축된다. 공시 범위도 단순 보유 비율 공개에서 벗어나 ‘종목별 블록체인 보유 수량’과 ‘장부상 수량’을 구체적으로 명시하도록 했다.

근데 매월 실사면 가두리 펌핑쇼 이제 분기별이 아니라 월별인가요? 이건 개좋은데
금융위원장님 만세

??????????