1. 솔라나는 Prop AMM 으로 인해 sub-bps tight spread 를 잘 유지하는 것으로 알려짐. 과연 그럴까?
2. 2000슬롯 범위에서 SOL-USDC 페어에 한해 4개의 Prop AMM 거래기록을 분석
3. 다른 AMM들은 sub bps spread를 잘 유지하나, 특히 하나(이름을 가리고 alpha 로 표시됨)는 사용자가 비싸게 buy / 싸게 sell 하는 트레이드가 많이 포착됨(loose spread, 돈을 잃는 중). 왜 그럴까?
4. 첨부된 사진과 같이, AMM alpha 는 같은 SOL-USDC 페어 안에서도 5개의 풀을 운영
5. 각각의 풀들은 스프레드가 아주 빠르게 좁혀졌다 벌어졌다 하지만, aggregated quote 로 보면 tight spread 를 유지
6. 문제는, Jupiter와 같은 오프체인 라우터들은 스왑 경로를 트랜잭션을 만드는 시점에 확정하기 때문에 체결시점에는 bad routing 이 될 가능성(=loose slippage) 이 높아짐
7. 거칠게 말하면 Jupiter 의 라우팅 구조를 악용해서 Prop AMM 하나가 유저를 착취하는 거라서, "이런짓 하지마라 유저들 떠난다" 라고 재단이 꾸중함 ㅋㅋ
참고로, DFlow 등에는 JIT routing 이라고 라우터 컨트랙트가 quote 를 봐서 체결시점에 제일 좋은 방향으로 reroute 해주는 기능이 있음.
https://trading.solana.com/research/router-timing-games
2. 2000슬롯 범위에서 SOL-USDC 페어에 한해 4개의 Prop AMM 거래기록을 분석
3. 다른 AMM들은 sub bps spread를 잘 유지하나, 특히 하나(이름을 가리고 alpha 로 표시됨)는 사용자가 비싸게 buy / 싸게 sell 하는 트레이드가 많이 포착됨(loose spread, 돈을 잃는 중). 왜 그럴까?
4. 첨부된 사진과 같이, AMM alpha 는 같은 SOL-USDC 페어 안에서도 5개의 풀을 운영
5. 각각의 풀들은 스프레드가 아주 빠르게 좁혀졌다 벌어졌다 하지만, aggregated quote 로 보면 tight spread 를 유지
6. 문제는, Jupiter와 같은 오프체인 라우터들은 스왑 경로를 트랜잭션을 만드는 시점에 확정하기 때문에 체결시점에는 bad routing 이 될 가능성(=loose slippage) 이 높아짐
7. 거칠게 말하면 Jupiter 의 라우팅 구조를 악용해서 Prop AMM 하나가 유저를 착취하는 거라서, "이런짓 하지마라 유저들 떠난다" 라고 재단이 꾸중함 ㅋㅋ
참고로, DFlow 등에는 JIT routing 이라고 라우터 컨트랙트가 quote 를 봐서 체결시점에 제일 좋은 방향으로 reroute 해주는 기능이 있음.
https://trading.solana.com/research/router-timing-games
❤2
Mutt Technologies
1. 솔라나는 Prop AMM 으로 인해 sub-bps tight spread 를 잘 유지하는 것으로 알려짐. 과연 그럴까? 2. 2000슬롯 범위에서 SOL-USDC 페어에 한해 4개의 Prop AMM 거래기록을 분석 3. 다른 AMM들은 sub bps spread를 잘 유지하나, 특히 하나(이름을 가리고 alpha 로 표시됨)는 사용자가 비싸게 buy / 싸게 sell 하는 트레이드가 많이 포착됨(loose spread, 돈을 잃는 중). 왜 그럴까?…
이를 지지하는 또다른 연구:
SolFi는 4-7bps, HumidiFi는 2.3-3.44bps를 사용자에게서 갈취, BisonFi/TesseraV는 정직한 편
https://x.com/moonshiesty/status/2029979629092491359
SolFi는 4-7bps, HumidiFi는 2.3-3.44bps를 사용자에게서 갈취, BisonFi/TesseraV는 정직한 편
https://x.com/moonshiesty/status/2029979629092491359
X (formerly Twitter)
moon shiesty (@moonshiesty) on X
volumes on @solana are routed to the AMM and propAMM with the "best" instantaneous quote. however maintaining the best quote exposes liquidity providers to risk from stale quotes, arbitragers and informed traders
the strategy several prop AMM have converged…
the strategy several prop AMM have converged…
Mutt Technologies
1. 솔라나는 Prop AMM 으로 인해 sub-bps tight spread 를 잘 유지하는 것으로 알려짐. 과연 그럴까? 2. 2000슬롯 범위에서 SOL-USDC 페어에 한해 4개의 Prop AMM 거래기록을 분석 3. 다른 AMM들은 sub bps spread를 잘 유지하나, 특히 하나(이름을 가리고 alpha 로 표시됨)는 사용자가 비싸게 buy / 싸게 sell 하는 트레이드가 많이 포착됨(loose spread, 돈을 잃는 중). 왜 그럴까?…
항의 끝에 재단에서 글을 내리면서 완성되는 drama
참고로 Humidifi의 반론에 의하면 전체적인 tx 내용을 보고 toxic arber에 대해 스프레드를 넓히면서 패널티를 줄 수 있다 함
https://x.com/bl8_runner/status/2029976624330899796
참고로 Humidifi의 반론에 의하면 전체적인 tx 내용을 보고 toxic arber에 대해 스프레드를 넓히면서 패널티를 줄 수 있다 함
https://x.com/bl8_runner/status/2029976624330899796
X (formerly Twitter)
blade (@bl8_runner) on X
I appreciate everyone giving their feedback about my recent post about router timing games
In an effort to make sure we're telling as much of the whole story as possible, we're going to unpublish the article for now and revisit with more data soon
In an effort to make sure we're telling as much of the whole story as possible, we're going to unpublish the article for now and revisit with more data soon
Tempo 에는 입금용 가상 주소 (은행 가상계좌 생각하면 될듯) 같은 확장기능을 도입하려고 하네요. 기관용 결제체인에 필요하다 생각하는듯 (입금주소에서 sweep 하는거 너무 복잡하니)
계속 기능 추가하는게 기본적으로 EVM 호환이긴 한데 이더리움 본진 EVM과는 두스텝정도 떨어진 포크가 될거같네요
https://github.com/tempoxyz/tempo/pull/2852
계속 기능 추가하는게 기본적으로 EVM 호환이긴 한데 이더리움 본진 EVM과는 두스텝정도 떨어진 포크가 될거같네요
https://github.com/tempoxyz/tempo/pull/2852
GitHub
TIP 1022: Virtual forwarding addresses by malleshpai · Pull Request #2852 · tempoxyz/tempo
Adds TIP-1022, introducing virtual TIP-20 deposit addresses that auto-forward to a registered master wallet.
Eliminates sweep transactions and avoids per-deposit-address state creation/state bloat....
Eliminates sweep transactions and avoids per-deposit-address state creation/state bloat....
Lighter에는 수수료 할인 및 레이턴시 절감에 필요한 LIT 스테이킹 물량을 대체할 수 있는 "credit" 구매 옵션이 있는데, $LIT 스테이킹 이율을 APR 25%로 환산한 가격을 사용함
즉 1000LIT 스테이킹 3일치를 대체하는 credit은 1000 * 0.25 * (3/365) = 2.05 $LIT
사실상 라이터가 underlying APR 7.5% 짜리 기초자산을 implied APR 25% 에 YT 매도해 주는건데 이걸 사는 호구가...있나?
뭐 초기니까 50% 파격 할인(이래도 12.5%) 뭐 이런 프로모션이라도 있으면 모르겠는데 누가 살지 모르겠음
결정적으로 거래소가 죽었는데 이거 사서 어따가 씀
즉 1000LIT 스테이킹 3일치를 대체하는 credit은 1000 * 0.25 * (3/365) = 2.05 $LIT
사실상 라이터가 underlying APR 7.5% 짜리 기초자산을 implied APR 25% 에 YT 매도해 주는건데 이걸 사는 호구가...있나?
뭐 초기니까 50% 파격 할인(이래도 12.5%) 뭐 이런 프로모션이라도 있으면 모르겠는데 누가 살지 모르겠음
결정적으로 거래소가 죽었는데 이거 사서 어따가 씀
👍1
Forwarded from 무온적 사고 - AI, 명상, 밈
"2026년에 아무일도 없음"
https://polymarket.com/event/nothing-ever-happens-2026
우연히 봤는데 폴마에 이 마켓 어이없어서 웃기네요
2026년동안
• 트럼프 탄핵
• 중국이 대만 침공
• 시진핑 탄핵
• 미국이 이란 침공 (점령목적이 아니라 아직 안걸린듯?)
• 이란 정권 멸망
• 비트코인 1M or 10K
• 앱스타인 생존
• 러시아가 NATO 침공
• 지진 9.0 이상
• 250킬로톤 이상 운석충돌
중에 한개라도 걸리면 No고, 아니면 Yes
바이너리 옵션을 OR 조건으로 묶는 프라이싱? 쉬울거 같지만 각각이 독립이 너무 아니게 생겨서 감이 안오긴하네요
—
근데 한개는 걸릴만하지 않나?? 지금 확률은 엄대엄
https://polymarket.com/event/nothing-ever-happens-2026
우연히 봤는데 폴마에 이 마켓 어이없어서 웃기네요
2026년동안
• 트럼프 탄핵
• 중국이 대만 침공
• 시진핑 탄핵
• 미국이 이란 침공 (점령목적이 아니라 아직 안걸린듯?)
• 이란 정권 멸망
• 비트코인 1M or 10K
• 앱스타인 생존
• 러시아가 NATO 침공
• 지진 9.0 이상
• 250킬로톤 이상 운석충돌
중에 한개라도 걸리면 No고, 아니면 Yes
바이너리 옵션을 OR 조건으로 묶는 프라이싱? 쉬울거 같지만 각각이 독립이 너무 아니게 생겨서 감이 안오긴하네요
—
근데 한개는 걸릴만하지 않나?? 지금 확률은 엄대엄
Polymarket
Nothing Ever Happens: 2026
$596,812 has traded on "Nothing Ever Happens: 2026" as of June 8, 2026. View real-time odds or trade on The World's Largest Prediction Market™
Forwarded from 무온적 사고 - AI, 명상, 밈
앤쓰로픽에서 화학무기 전문가를 연봉 4억에 채용중 ㅋㅋ
• 화학/폭발성 무기의 제조법을 클로드와 상담하려는 시도를 차단/조기탐지
• 화학/화학공학 박사 학위 요구
• 국제원자력기구나 방산업체 출신 우대
https://job-boards.greenhouse.io/anthropic/jobs/5140226008
• 화학/폭발성 무기의 제조법을 클로드와 상담하려는 시도를 차단/조기탐지
• 화학/화학공학 박사 학위 요구
• 국제원자력기구나 방산업체 출신 우대
https://job-boards.greenhouse.io/anthropic/jobs/5140226008
갱생코인
다시는 NFT를 사지 않겠다고 하시더라고요
이거 보고 생각난건데, 백팩에 장기 베팅 하고 싶으면 $BP day1에 살바에 Mad lads 를 줍는게 더 하방 막히고 상방 열린 베팅 아닌가? 하는 의구심도 듬
백팩 스테이킹 하면 에쿼티 매수권(그냥 공짜로 주는것도 아님 ㅋㅋ;) 주는게 비교 불가능한 우위이긴 한데 BP 토큰을 레버리지 롱치는 것보단 낫지 않을까 하는
백팩 스테이킹 하면 에쿼티 매수권(그냥 공짜로 주는것도 아님 ㅋㅋ;) 주는게 비교 불가능한 우위이긴 한데 BP 토큰을 레버리지 롱치는 것보단 낫지 않을까 하는
Forwarded from 퀀텀 렐름
그나저나 비트코인에서는 2개의 연속된 블록이 reorg되는 보기 드문 일이 발생했네요. (사실 비트코인 초기 말고는 처음인 것 같은데...)
FoundryUSA는 해당 reorg로 7개의 블록을 연달아 채굴했습니다.
비트코인 채굴은 채굴 룰을 지키는 것과 안지키는 것(하드포크) 사이에 그레이 존이 하나 있습니다. '이기적 채굴'이라 불리는 영역인데요,
내가 비슷한 시기에 채굴에 성공했지만 조금 늦었다면 남이 먼저 채굴한 블록을 인정해주어야 하는데, 내 껄 선택한다거나, 나한테 유리해보이는 걸 선택하거나, 아니면 채굴한 블록을 잠깐 숨기거나... 그런 전략이 해시레이트가 약 30% 정도 넘으면 생채굴보다 약간 유리합니다.
bitmex research는 https://forkmonitor.info/stale/941881 Foundry USA 블록이 더 나중에 관찰되었다고 기록했네요. 물론 이 정도는 네트워크 지연 이슈로 충분히 발생할 수 있는 일이기 때문에 이기적 채굴의 단서라 보긴 아직은 어렵습니다.
후속연구는 https://bnoc.xyz/t/two-block-reorg-at-height-941880/97/11 에서 파악해보세요..!
FoundryUSA는 해당 reorg로 7개의 블록을 연달아 채굴했습니다.
비트코인 채굴은 채굴 룰을 지키는 것과 안지키는 것(하드포크) 사이에 그레이 존이 하나 있습니다. '이기적 채굴'이라 불리는 영역인데요,
내가 비슷한 시기에 채굴에 성공했지만 조금 늦었다면 남이 먼저 채굴한 블록을 인정해주어야 하는데, 내 껄 선택한다거나, 나한테 유리해보이는 걸 선택하거나, 아니면 채굴한 블록을 잠깐 숨기거나... 그런 전략이 해시레이트가 약 30% 정도 넘으면 생채굴보다 약간 유리합니다.
bitmex research는 https://forkmonitor.info/stale/941881 Foundry USA 블록이 더 나중에 관찰되었다고 기록했네요. 물론 이 정도는 네트워크 지연 이슈로 충분히 발생할 수 있는 일이기 때문에 이기적 채굴의 단서라 보긴 아직은 어렵습니다.
후속연구는 https://bnoc.xyz/t/two-block-reorg-at-height-941880/97/11 에서 파악해보세요..!
❤1
Forwarded from 엄브렐라리서치 Anakin의 투자노트
토큰과 메모리
1.
처음 ChatGPT가 나왔을 때, 모두가 놀랐지만 동시에 할루시네이션에 대한 비판도 거셌음. 대화는 되었지만 정확도가 낮았기 때문. 그 이유는 그 당시 모델이 '사전학습(Pre-training)' 중심이었기 때문
사전학습은, 인터넷에 있는 모든 데이터를 입력받아 기본 지식을 습득하지만, '뇌'가 빈 상태. 그렇기 때문에 깊은 생각이 어렵고 정보의 적시성도 떨어지는 상태
2.
사전학습 다음으로 함께 진행된 것은 '사후학습(Post-Training)'. 사후학습은 모델이 알고 있는 지식을 쓸모 있게 만들어 줌. 모델에게 생각하는 방법을 가르치는 단계
사전학습만 수행하게 되면, '삼성전자,SK하이닉스에 대해 알려줘'라고 했을 때 인터넷 상에서 존재하는 꽤나 정확한 답변을 제공해줄 수 있음
그러나, '토큰 수요가 폭증하는 사이클에서 메모리 압축기술(토큰당 메모리 수요)이 메모리 전체 수요 성장 기울기를 감소시킬 수 있어?'라는 질문에는 답변하지 못함. 스스로 생각하기 어렵기 때문. 그러나 사후학습은 이를 가능케 할 수 있음. 모델 스스로 생각할 수 있게 만들어주기 때문
3.
그 다음 등장한게 '테스트 타임 스케일링(Test-time Scaling)'. 여기서 딥시크가 등장하게 되었음. 스스로 생각하는 모든 과정을 공개하면서 모델이 '곧바로' 답을 뱉지 않고, 문제를 시간을 갖고 스스로 풀어보고 생각하는 과정을 거치게 됨
딥시크는 모델의 생각 시간을 늘려서 답변의 정확도를 높이는 방식으로 각광받게 되었음. 당시 딥시크는 GPU 요구량을 크게 줄였으나 성능이 개선되었다고 발표했으나(실제로는 더 사용), 결과적으로는 지금 딥시크의 입지는 그 때보다는 낮은 수준
마치 지금 메모리 압축을 얘기하는 상황과도 유사. 결과적으로 증가하는 토큰을 처리하기 위한 효율성 개선이 수요 감소로 이어지지 않는다는 것. 결국 모델의 성능 개선은 (1) 압도적인 AI 인프라와 (2) 함께 진행되는 효율성 개선(이건 SW, HW 모두)에서 이뤄진다는 것
4.
딥시크 방식은 또한 '속도'의 문제가 존재했음. 한정된 HW에서 계속되는 '검산'과 '숙고'는 토큰을 더 많이 발생시켰고, 이를 처리하기 위한 속도는 당연히 늦어졌음
이를 해결하기 위해 등장한 개념이 'MoE(Mixture of Experts)'였음. 모델의 뉴런 파라미터 집합을 여러 전문가 그룹으로 나누는 것. 모델 전체의 크기는 엄청 커질 수밖에 없지만, 거기서 추론에 사용하는 유효 파라미터를 줄이는 것
모델이 수조 파라미터 규모가 되더라도, 유효 파라미터는 수백억개 수준으로 축소시킬 수 있고, 이 덕분에 훨씬 레이턴시를 줄일 수 있게 되었음. 선택적으로 계산하기 때문에 더 높은 지능을 제공
더 효율적으로 코드를 생성하고, 출력을 만들고, 똑똑해지는 방식. 결국 이것도 '효율성 개선' 아닐까? => 하지만 HW의 수요는 전혀 줄어들지 않았다는 것
5.
이는 LPU SRAM, CPO나 1.6T같은 통신기술, NV Link 등 모두 마찬가지. 어찌보면 HW단에서 효율화에 더 노력하고 있음. 더 많은 토큰을 생성해야되기 때문
구글 같은 CSP만 노력하는게 아니라, 사실 HW업체들이 더 많이 노력하고 있다는 것. LPU는 결국 토큰을 만들어내는 워크로드 측면에서 저지연을 담당하는 영역에서 급격한 효율을 발생시킴. 여전히 디코드 영역의 메모리 바운드는 깨지지 않음. 즉, 워크로드의 차이
6.
엔비디아의 Dynamo 기술은 HW 업체가 오히려 더 노력하고 있는 것을 보여주고 있음. Dynamo 기술은 첫 입력 토큰을 생성하는 프리필(prefill) 단계와 출력 토큰을 계속 만드는 디코드(decode) 단계를 구분하여 AI DC 전체에서 KV 캐시를 효율적으로 관리하기 위해 엔비디아가 만든 기술
첫 입력 토큰을 생성하기 위해 사용자가 질문한 내용을 처리하는 문맥 처리를 담당하는 프리필 단계의 GPU와, 이를 받아서 토큰을 계속 생성해내는 GPU를 구분하는 것. 결국 이것도 '토큰 생성을 위한 효율성 증대'의 일환. 엔비디아에 따르면, 이 Dynamo 기술을 통해 GPU의 처리량이 7배가 증가했다고 발표
7.
다음 시대는 '멀티에이젼트', '에이젼트 스케일링'. AI 에이젼트들끼리 대화하면서 더 최적의 답변을 찾아내는 것. 앤트로픽은 멀티에이전트 시스템에서 토큰 생성 수요가 15배 증가한다고 언급(특정 영역에서)
AI들끼리 대화가 너무 빠르기 때문. 1500토큰/초 수준으로 출력하는 시대가 도래하게 되면, 하루~일주일 걸리는 질의를 1~2시간만에 처리할 수 있게 되는 것. 더 거대한 모델을 돌려야 하고, 에이젼트간의 상호작용도 매우 빨라야 하는 시대로 도래
똑똑한 한 명의 인간은 AGI가 될 수 없음. 아인슈타인은 가장 똑똑한 인류라고 불리지만, 아인슈타인이 엘리베이터를 고치는 방법을 알거나 주식에 일가견이 있거나 국가를 운영하는 법을 알 수가 없음. 결국 AGI는 무수히 똑똑한 AI 에이젼트들이 융합할 때 도달할 수 있는 영역
8.
메모리 측면에서, 추론 디코드 영역은 '메모리 바운드'라고 부름. 메모리에 묶여있다는 것. GPU 연산량이 아무리 좋아도 메모리 대역폭과 배치(batch, 동시에 처리할 수 있는 작업)가 증가하지 못하면 오히려 GPU가 노는 현상이 발생될 정도. 완전히 메모리 의존 영역
디코드는 매 스텝마다 토큰을 생성하고 다음 토큰을 생성하는 과정을 거치는데, 이 때 다음 토큰을 생성하기 위해 KV 캐시를 활용. KV 캐시는 이전 토큰들에 대한 Key/value 벡터 상태, 즉 이전 토큰들의 상태를 저장해놓는 저장소 역할. 그렇게 되면 다음 토큰을 만들 때 문맥을 처음부터 다시 읽는게 아니라, KV캐시만 읽어도 다음 토큰을 더 빠르게 생성할 수 있게 됨
9.
결국 토큰 - 추론 - 디코드 - KV캐시라는 구조가 단단하게 유지되면서, LLM들이 사전학습->사후학습->테스트 타임 스케일링->MoE->에이젼트 스케일링으로 변화되면서 더 많은 토큰을 생성해낼수록, 메모리의 요구량은 계속 기하급수적으로 증가하고 있다는 것
이 과정에서 HBM에만 한정된 KV캐시 의존도를 분산하기 위해 일반 서버용 DRAM이나, 콜드 데이터 저장을 위한 HDD, SSD, 나아가 HBF까지 필요해지면서 메모리 하이어라키 계층 구조가 전방위적으로 수혜를 받는 것. 단순히 HBM에서 만들어지는 공급 제약이 미치는 영향 뿐만 아니라, AI 수요가 전체적인 메모리 수요에 도움을 주고 있음
10.
한편 HBM에서는 HBM4부터 로직다이의 중요성이 높아지고 있음. 이는 IO 복잡도가 급격히 증가하고, GPU/CPU 같은 연산처리에서 담당하던 기능을 로직 다이 안으로 가져올 수 있게 되었기 때문. 이에 따라, 4e부터는 커스텀 HBM 방식으로, 코어다이는 표준화가 되더라도 로직다이는 업체별로 맞춤형 설계가 될 수 있음
현재 HBM4에선 코어다이에서 삼성전자가 1c, SK하이닉스가 1b 공정을 적용 중인 것으로 알려짐. 로직다이에서는 삼성전자가 삼성파운드리 4nm 공정, SK하이닉스가 TSMC 12나노대 공정을 적용 중인 것으로 알려짐 (언론보도)
그런데 HBM4e부터는 코어다이에서 두 기업 모두 1c 공정, 로직다이에서는 SK하이닉스가 TSMC 3nm 공정을 검토 중이라는 언론보도가 있었음. HBM4에서 12nm를 적용했다면, 4e에선 3nm로 급격하게 성능을 개선시키는 것. 이는 HBM 공정 경쟁이 4e부터는 양상이 또다시 변화될 수 있음을 암시
+
큰 틀에서, 조금 과장하자면 AI와 토큰은 산업혁명 시대 전기의 탄생과 유사하다고 생각. 전기(토큰)을 가지고 할 수 있는게 너무 많아질 수 있는 시대에서, 전기가 발명되기 이전의 시대로 돌아갈 수 없음
전기를 만들기 위해 당연히 공장이 필요하고, 전기를 더 효율적으로 생성해낼 수 있는 기술(효율화)도 당연히 필요할 것
그러나 그게 전기의 수요를 감소시키거나, 전기를 만들어내기 위한 인프라의 감소로 이어지진 않았음. 왜냐하면 전기의 수요 증가량(토큰의 증가량)이 훨씬 더 크기 때문
1.
처음 ChatGPT가 나왔을 때, 모두가 놀랐지만 동시에 할루시네이션에 대한 비판도 거셌음. 대화는 되었지만 정확도가 낮았기 때문. 그 이유는 그 당시 모델이 '사전학습(Pre-training)' 중심이었기 때문
사전학습은, 인터넷에 있는 모든 데이터를 입력받아 기본 지식을 습득하지만, '뇌'가 빈 상태. 그렇기 때문에 깊은 생각이 어렵고 정보의 적시성도 떨어지는 상태
2.
사전학습 다음으로 함께 진행된 것은 '사후학습(Post-Training)'. 사후학습은 모델이 알고 있는 지식을 쓸모 있게 만들어 줌. 모델에게 생각하는 방법을 가르치는 단계
사전학습만 수행하게 되면, '삼성전자,SK하이닉스에 대해 알려줘'라고 했을 때 인터넷 상에서 존재하는 꽤나 정확한 답변을 제공해줄 수 있음
그러나, '토큰 수요가 폭증하는 사이클에서 메모리 압축기술(토큰당 메모리 수요)이 메모리 전체 수요 성장 기울기를 감소시킬 수 있어?'라는 질문에는 답변하지 못함. 스스로 생각하기 어렵기 때문. 그러나 사후학습은 이를 가능케 할 수 있음. 모델 스스로 생각할 수 있게 만들어주기 때문
3.
그 다음 등장한게 '테스트 타임 스케일링(Test-time Scaling)'. 여기서 딥시크가 등장하게 되었음. 스스로 생각하는 모든 과정을 공개하면서 모델이 '곧바로' 답을 뱉지 않고, 문제를 시간을 갖고 스스로 풀어보고 생각하는 과정을 거치게 됨
딥시크는 모델의 생각 시간을 늘려서 답변의 정확도를 높이는 방식으로 각광받게 되었음. 당시 딥시크는 GPU 요구량을 크게 줄였으나 성능이 개선되었다고 발표했으나(실제로는 더 사용), 결과적으로는 지금 딥시크의 입지는 그 때보다는 낮은 수준
마치 지금 메모리 압축을 얘기하는 상황과도 유사. 결과적으로 증가하는 토큰을 처리하기 위한 효율성 개선이 수요 감소로 이어지지 않는다는 것. 결국 모델의 성능 개선은 (1) 압도적인 AI 인프라와 (2) 함께 진행되는 효율성 개선(이건 SW, HW 모두)에서 이뤄진다는 것
4.
딥시크 방식은 또한 '속도'의 문제가 존재했음. 한정된 HW에서 계속되는 '검산'과 '숙고'는 토큰을 더 많이 발생시켰고, 이를 처리하기 위한 속도는 당연히 늦어졌음
이를 해결하기 위해 등장한 개념이 'MoE(Mixture of Experts)'였음. 모델의 뉴런 파라미터 집합을 여러 전문가 그룹으로 나누는 것. 모델 전체의 크기는 엄청 커질 수밖에 없지만, 거기서 추론에 사용하는 유효 파라미터를 줄이는 것
모델이 수조 파라미터 규모가 되더라도, 유효 파라미터는 수백억개 수준으로 축소시킬 수 있고, 이 덕분에 훨씬 레이턴시를 줄일 수 있게 되었음. 선택적으로 계산하기 때문에 더 높은 지능을 제공
더 효율적으로 코드를 생성하고, 출력을 만들고, 똑똑해지는 방식. 결국 이것도 '효율성 개선' 아닐까? => 하지만 HW의 수요는 전혀 줄어들지 않았다는 것
5.
이는 LPU SRAM, CPO나 1.6T같은 통신기술, NV Link 등 모두 마찬가지. 어찌보면 HW단에서 효율화에 더 노력하고 있음. 더 많은 토큰을 생성해야되기 때문
구글 같은 CSP만 노력하는게 아니라, 사실 HW업체들이 더 많이 노력하고 있다는 것. LPU는 결국 토큰을 만들어내는 워크로드 측면에서 저지연을 담당하는 영역에서 급격한 효율을 발생시킴. 여전히 디코드 영역의 메모리 바운드는 깨지지 않음. 즉, 워크로드의 차이
6.
엔비디아의 Dynamo 기술은 HW 업체가 오히려 더 노력하고 있는 것을 보여주고 있음. Dynamo 기술은 첫 입력 토큰을 생성하는 프리필(prefill) 단계와 출력 토큰을 계속 만드는 디코드(decode) 단계를 구분하여 AI DC 전체에서 KV 캐시를 효율적으로 관리하기 위해 엔비디아가 만든 기술
첫 입력 토큰을 생성하기 위해 사용자가 질문한 내용을 처리하는 문맥 처리를 담당하는 프리필 단계의 GPU와, 이를 받아서 토큰을 계속 생성해내는 GPU를 구분하는 것. 결국 이것도 '토큰 생성을 위한 효율성 증대'의 일환. 엔비디아에 따르면, 이 Dynamo 기술을 통해 GPU의 처리량이 7배가 증가했다고 발표
7.
다음 시대는 '멀티에이젼트', '에이젼트 스케일링'. AI 에이젼트들끼리 대화하면서 더 최적의 답변을 찾아내는 것. 앤트로픽은 멀티에이전트 시스템에서 토큰 생성 수요가 15배 증가한다고 언급(특정 영역에서)
AI들끼리 대화가 너무 빠르기 때문. 1500토큰/초 수준으로 출력하는 시대가 도래하게 되면, 하루~일주일 걸리는 질의를 1~2시간만에 처리할 수 있게 되는 것. 더 거대한 모델을 돌려야 하고, 에이젼트간의 상호작용도 매우 빨라야 하는 시대로 도래
똑똑한 한 명의 인간은 AGI가 될 수 없음. 아인슈타인은 가장 똑똑한 인류라고 불리지만, 아인슈타인이 엘리베이터를 고치는 방법을 알거나 주식에 일가견이 있거나 국가를 운영하는 법을 알 수가 없음. 결국 AGI는 무수히 똑똑한 AI 에이젼트들이 융합할 때 도달할 수 있는 영역
8.
메모리 측면에서, 추론 디코드 영역은 '메모리 바운드'라고 부름. 메모리에 묶여있다는 것. GPU 연산량이 아무리 좋아도 메모리 대역폭과 배치(batch, 동시에 처리할 수 있는 작업)가 증가하지 못하면 오히려 GPU가 노는 현상이 발생될 정도. 완전히 메모리 의존 영역
디코드는 매 스텝마다 토큰을 생성하고 다음 토큰을 생성하는 과정을 거치는데, 이 때 다음 토큰을 생성하기 위해 KV 캐시를 활용. KV 캐시는 이전 토큰들에 대한 Key/value 벡터 상태, 즉 이전 토큰들의 상태를 저장해놓는 저장소 역할. 그렇게 되면 다음 토큰을 만들 때 문맥을 처음부터 다시 읽는게 아니라, KV캐시만 읽어도 다음 토큰을 더 빠르게 생성할 수 있게 됨
9.
결국 토큰 - 추론 - 디코드 - KV캐시라는 구조가 단단하게 유지되면서, LLM들이 사전학습->사후학습->테스트 타임 스케일링->MoE->에이젼트 스케일링으로 변화되면서 더 많은 토큰을 생성해낼수록, 메모리의 요구량은 계속 기하급수적으로 증가하고 있다는 것
이 과정에서 HBM에만 한정된 KV캐시 의존도를 분산하기 위해 일반 서버용 DRAM이나, 콜드 데이터 저장을 위한 HDD, SSD, 나아가 HBF까지 필요해지면서 메모리 하이어라키 계층 구조가 전방위적으로 수혜를 받는 것. 단순히 HBM에서 만들어지는 공급 제약이 미치는 영향 뿐만 아니라, AI 수요가 전체적인 메모리 수요에 도움을 주고 있음
10.
한편 HBM에서는 HBM4부터 로직다이의 중요성이 높아지고 있음. 이는 IO 복잡도가 급격히 증가하고, GPU/CPU 같은 연산처리에서 담당하던 기능을 로직 다이 안으로 가져올 수 있게 되었기 때문. 이에 따라, 4e부터는 커스텀 HBM 방식으로, 코어다이는 표준화가 되더라도 로직다이는 업체별로 맞춤형 설계가 될 수 있음
현재 HBM4에선 코어다이에서 삼성전자가 1c, SK하이닉스가 1b 공정을 적용 중인 것으로 알려짐. 로직다이에서는 삼성전자가 삼성파운드리 4nm 공정, SK하이닉스가 TSMC 12나노대 공정을 적용 중인 것으로 알려짐 (언론보도)
그런데 HBM4e부터는 코어다이에서 두 기업 모두 1c 공정, 로직다이에서는 SK하이닉스가 TSMC 3nm 공정을 검토 중이라는 언론보도가 있었음. HBM4에서 12nm를 적용했다면, 4e에선 3nm로 급격하게 성능을 개선시키는 것. 이는 HBM 공정 경쟁이 4e부터는 양상이 또다시 변화될 수 있음을 암시
+
큰 틀에서, 조금 과장하자면 AI와 토큰은 산업혁명 시대 전기의 탄생과 유사하다고 생각. 전기(토큰)을 가지고 할 수 있는게 너무 많아질 수 있는 시대에서, 전기가 발명되기 이전의 시대로 돌아갈 수 없음
전기를 만들기 위해 당연히 공장이 필요하고, 전기를 더 효율적으로 생성해낼 수 있는 기술(효율화)도 당연히 필요할 것
그러나 그게 전기의 수요를 감소시키거나, 전기를 만들어내기 위한 인프라의 감소로 이어지진 않았음. 왜냐하면 전기의 수요 증가량(토큰의 증가량)이 훨씬 더 크기 때문
❤3
Forwarded from 캘빈의 감금원
0x의 PropAMM 분석 아티클.
PropAMM 운영자들이 어떤 방식으로 수익을 내고 있는지 (나쁜말로는 어떻게 사용자에게 불리한 가격으로 거래를 체결시키고 있는지)에 대한 패턴을 분석한 글입니다.
0x도 어그리게이터로서 이런 문제를 인지하고 이런 시도를 하는 운영자를 차단하고자 한다고 하지만, 현실적으로 시장 경쟁때문에 유지가 어렵다고 하네요.
https://0x.org/post/propamm-shenanigans
PropAMM 운영자들이 어떤 방식으로 수익을 내고 있는지 (나쁜말로는 어떻게 사용자에게 불리한 가격으로 거래를 체결시키고 있는지)에 대한 패턴을 분석한 글입니다.
패턴 1: 베이스의 flashblock을 악용한 미끼 가격
베이스는 2초 단위 메인 블록과 200ms 단위의 flashblock이 존재하는데, 어그리게이터는 블록 끝 시점의 가격을 기준으로 경로를 결정하곤 합니다.
PropAMM 운영자는 블록의 마지막 플래시블록에 매우 매력적인 가격을 올려 어그리게이터가 해당 경로를 결정하도록 유혹하고, 바로 다음 플래시블록 (다음 메인 블록의 첫 플래시블록)에서 나쁜 가격을 제출합니다. 그러면 사용자 거래는 N+1 블록에서 체결되므로 사용자가 경험하는 가격 자체는 비싼 가격이 됩니다. 이런 시나리오의 경우 사용자는 평균 3-6bp, 최악의 경우 40bp까지 손해를 볼 수 있다고 하네요.
패턴 2: 랜덤 스프레드 fluctuation
견적이 나오는 시점과 체결이 되는 시점 간의 시간차를 악용하는 방법으로, 어떤 체인에서든 가능한 방법입니다.
PropAMM 운영자가 2bp의 아주 좁은 스프레드를 제시해 어그리게이터를 유혹하고, 사용자가 거래를 서명해 전송하면 그 사이에 스프레드를 8-16bp로 늘려버리는 방식입니다. 지금은 삭제됐지만 솔라나 재단의 트레이딩 리서치 팀도 동일한 현상을 발견하고 문서화했었다고 하네요.
0x도 어그리게이터로서 이런 문제를 인지하고 이런 시도를 하는 운영자를 차단하고자 한다고 하지만, 현실적으로 시장 경쟁때문에 유지가 어렵다고 하네요.
https://0x.org/post/propamm-shenanigans
Mutt Technologies
1. 솔라나는 Prop AMM 으로 인해 sub-bps tight spread 를 잘 유지하는 것으로 알려짐. 과연 그럴까? 2. 2000슬롯 범위에서 SOL-USDC 페어에 한해 4개의 Prop AMM 거래기록을 분석 3. 다른 AMM들은 sub bps spread를 잘 유지하나, 특히 하나(이름을 가리고 alpha 로 표시됨)는 사용자가 비싸게 buy / 싸게 sell 하는 트레이드가 많이 포착됨(loose spread, 돈을 잃는 중). 왜 그럴까?…
솔라나나 베이스나 리테일 털어먹으려고 눈이 돌아갔구나 이게 mm이지
Eureka Builder 라는 신생 블록빌더 서비스가 자기들 서비스를 프로모션 하기 위해 블록 24729136 를 통으로 구매해서 자기들 광고 트랜잭션 하나만 넣음
여기에 든 돈 단돈 $89 (???)
https://ethblock.link/?block=24729136
여기에 든 돈 단돈 $89 (???)
https://ethblock.link/?block=24729136
ethblock.link
A Message on the Ethereum Blockchain
This message was permanently written into an Ethereum block.
솔라나의 MCP (AI MCP 아님, Multiple Concurrent Proposers) Constellation 계획에 대해 Harmonic(Humidifi) 과 재단이 격하게 다투는 중
Harmonic 은 MCP가 IBRL(Increase Bandwidth Reduce Latency, 솔라나재단의 마케팅 구호) 를 방해하는 게 명백한데 기만적이라고 주장 (참고로 MCP 가 들어오면 Humidifi 같은 Prop AMM은 quote 넣을 때 대역폭을 훨씬 많이 쓰므로 이해관계상 반대해야 하기도 함)
솔라나 재단측 Brennan 은 니가 MCP 논문 제대로 안읽은거다 그리고 Harmonic 블록빌딩 방식을 알고도(경매를 위해 의도적으로 shred 전파 지연) 그런소리할 수 있냐 이런식의 일침
앵간해서는 재단이 밀어주기 때문에 MCP 를 도입할 가능성이 높아보이긴 하네요
https://x.com/bw_solana/status/2037616450597535873
Harmonic 은 MCP가 IBRL(Increase Bandwidth Reduce Latency, 솔라나재단의 마케팅 구호) 를 방해하는 게 명백한데 기만적이라고 주장 (참고로 MCP 가 들어오면 Humidifi 같은 Prop AMM은 quote 넣을 때 대역폭을 훨씬 많이 쓰므로 이해관계상 반대해야 하기도 함)
솔라나 재단측 Brennan 은 니가 MCP 논문 제대로 안읽은거다 그리고 Harmonic 블록빌딩 방식을 알고도(경매를 위해 의도적으로 shred 전파 지연) 그런소리할 수 있냐 이런식의 일침
앵간해서는 재단이 밀어주기 때문에 MCP 를 도입할 가능성이 높아보이긴 하네요
https://x.com/bw_solana/status/2037616450597535873
X (formerly Twitter)
Brennan Watt (@bw_solana) on X
@cavemanloverboy sigverify and IBRL are fundamentally incompatible. more than 1 validator and IBRL are fundamentally incompatible.
1. no
2. no
3. you didn’t read the paper
4. would you rather censor them? they’re paying inclusion fee
5. what’s Harmonic’s…
1. no
2. no
3. you didn’t read the paper
4. would you rather censor them? they’re paying inclusion fee
5. what’s Harmonic’s…
기분좋은 마곤
오늘 십고수형님들 Based 전략세워서 발라먹는거보고 그리고 앞으로 장상황도 생각해보면서 느낀건 이제 온체인 아비, 따리 못 발라먹으면 본전도 못 건지는 시대가 한 두달은 연출될거 같네요. 코인에서 보이는 만큼 먹을 수 있는 가장 정직한 분야라고 생각하는데 허들은 꽤 높긴해요 1. 알람 다 짜두고 상장, 펀비갭, 프라이스갭 체크하기 2. 상장하는 것들 전적조사 3. 온체인 path 미리 파악해두기 4. 전략세우기 —» 처음하는 사람들이 갈려서 포기하는…
이걸 보면서 드는 생각: 이렇게까지 해야 겨우 먹을수 있으면 이미 과포화된 필드 아닌가......
코인(특히 보따리, 갭먹기 등등) 다끝났다는 생각은 원래도 있었지만 점점 벽 느껴지는 중
코인(특히 보따리, 갭먹기 등등) 다끝났다는 생각은 원래도 있었지만 점점 벽 느껴지는 중