----
Navigating "corporate speak" isn't easy.

Here's a helpful guide I put together:

"Let me check with my team" = No

"Possibly" = No

"On my roadmap" = Not happening

"This will be done in Q4" = This will be done in Q2 next year

"Disagree and commit" = I hate you

"Per my last email" = Try reading, for once in your life

"Challenging landscape" = We're going out of business, quickly

"Digital transformation" = We're going out of business, slowly

"Let's circle back" = We'll never speak of this again

"Take it offline" = We'll never speak of this again

"30,000 foot view" = I don't know what I'm saying

"Low hanging fruit" = Easy promotion

"Open up the kimono" = HR violation

"We use AI" = We don't use AI

"We use machine learning" = We don't use machine learning

"All hands on deck" = Let's actually try for once, please

😂

아이폰 출시 후 첫 4~5년 정도는 앱을 출시하는 것만으로도 유저의 wow를 이끌어 낼 수 있었던 시절이 있었다. 이동하며 인터넷도 할 수 있고 터치스크린을 활용할 수 있는 스마트폰에서 구동이 된다는 것만으로도 wow 였던 것이다.

그 이후 기존 레가시 산업의 패러다임을 바꾼 서비스들이 등장하여 wow 를 선사했다. 유투브/넷플릭스는 TV/미디어 산업을 바꿨고, 페북/구글은 미디어/포털산업을 바꿔놓았으며, 아마존은 쇼핑/서버시스템을, 테슬라는 자동차 산업을, 우버는 택시 산업을, 에어비엔비를 호텔 산업에 큰 영향을 줬다.

위와 같은 2000년 초반 이후 격동의 20년 정도를 겪으며, 현대사회의 많은 사람들은 모바일 및 웹 중심의 서비스에 꽤 많이 익숙해진 듯 하다. 그래서, 새로 출시되는 앱을 봐도 그 감흥이 과거 대비 무뎌지고 있음을 느낀다.

오히려, 요즘은 과거에는 만족하며 사용하던 Big Tech 사의 서비스 조차도 슬슬 '지겨워진다' 느끼는 분들이 증가하는 듯하다. 동시에 '과거부터 많이 이용하던 서비스들이 최근에는 예전만 못해서 실망감이 크고, 어쩔 수 없이 이용하고 있다'고 말하는 분들도 많아지는 듯하다. OpenAI 가 chatGPT 를 출시하며 새로운 활력을 불어넣고 있지만, 그 파급력이 과거의 아이폰 모멘트처럼 엄청나지 않은 것도 사실이다. (chatGPT는 소비자 보다는 스타트업에 활력을 불어넣고 있는 듯하다. 그래서 걱정이기도 하다. 소비자가 반응하지 않으면 결국 imapct 가 제한적일 수밖에 없기 때문이다) 요즘은 유저분들이 대다수 서비스에 과거 대비 뜨뜨미지근한 반응을 보이는 시기인 것 같기도 하다.

다만, 유저들은 여전히 더 나은 삶을 살고 싶어하는 욕구가 강하다. 더 성장하고 싶어하고, 더 행복한 삶을 살고 싶어하고, 더 즐거운 시간을 보내고 싶어 한다. 본인 인생에 강렬하게 다가올 수 있는 서비스를 만나, 해당 서비스와 함께 더 만족스러운 삶을 살기를 희망하는 분들이 꽤 있다.

그래서, 미래에는 어떤 서비스가 많은 유저로부터 wow를 이끌어 낼 수 있을지... 궁금하다. 유저의 성장과 만족에 더 많이 집착하는 서비스가 그 wow 를 이끌어 낼 수 있으리라 믿지만, 과거 대비 유저의 wow 를 이끌어 내기 위한 난이도가 높아져서 과거 만큼 '급성장하는 스타트업'이 많이 나올 것 같지는 않다. 그래도, 이런 난세를 이겨내는 가장 좋은 방법은 '더 힘들어지는 환경'에 반응하기 보다는 '유저'에 집중하여 하루 하루 더 좋은 서비스를 만들어 내는 것이라 생각한다. 물론 과거에는 1년 노력하면 만족을 이끌어 낼 수 있었다면, 최근에는 3~5배는 더 해야하는 어려움이 존재하지만 말이다.

그래서 요즘 같은 시대는 Why? 가 더 중요해지는 것 같다. 왜 시작했는지? 무엇을 위해 서비스를 만들어 내고 있는지?에 대한 명확하고 솔직한 답을 가지고 있는지가 더 중요해지는 시대가 왔다. 그 이유에 대한 답을 전체 팀이 공유하고 있어야, wow 를 만들어 내기 위한 노력/시간이 증가한 시대를 묵묵히 이겨나갈 수 있기 때문이다.

서비스를 이어나가고 있는 본질적 이유는 무엇인가? 우리 서비스는 누구를 위해 존재하며 왜 존재해야 하는가? 깊은 밤, 링글을 더 성장시켜 나가기 위한 방법을 고민하다가, 원론적인 질문에 대해 다시 한 번 생각해본다.

“Machine learning costs, talent and chip shortages… any AI and machine learning company faces at least one of these challenges, and most face a few at a time,” Pekhimenko told TechCrunch in an email interview. “The highest-end chips are commonly unavailable due to the large demand from enterprises and startups alike. This leads to companies sacrificing on the size of the model they can deploy or results in higher inference latencies for their deployed models.”

With spending on AI-focused chips expected to hit $53 billion this year and more than double in the next four years, according to Gartner, Pekhimenko felt the time was right to launch software that could make models run more efficiently on existing hardware.

“Training AI and machine learning models is increasingly expensive,” Pekhimenko said. “With CentML’s optimization technology, we’re able to reduce expenses up to 80% without compromising speed or accuracy.”

“For one of our customers, we optimized their Llama 2 model to work 3x faster by using Nvidia A10 GPU cards,”

CentML isn’t the first to take a software-based approach to model optimization. It has competitors in MosaicML, which Databricks acquired in June for $1.3 billion, and OctoML, which landed an $85 million cash infusion in November 2021 for its machine learning acceleration platform.

“The CentML platform can run any model,” Pekhimenko said. “CentML produces optimized code for a variety of GPUs and reduces the memory needed to deploy models, and, as such, allows teams to deploy on smaller and cheaper GPUs.”

A new solution to the high-end chip shortage.

Read in @WSJ about how Together worked with large former crypto mining farms to repurpose their best GPUs and acquire new GPUs to train AI models — all with a specialized training stack for a fraction of the price.

https://www.wsj.com/articles/crypto-miners-seek-a-new-life-in-ai-boom-after-an-implosion-in-mining-92a181fd

얼마전 구글 브레인, 딥마인드에서 코어 딥러닝 팀에 있었던 친구와 이야기 나누면서 인상싶었던 부분들 (이세종님)

지난번 세션에서 인상깊은 부분입니다.

quantization 등 모델 최적화나 모델 아키텍처 효율화로 모델 학습/인퍼런스 컴퓨트(GPU) 비용이 일시적으로 감소할 수 있지만, 장기적 관점에서 컴퓨트의 절대적 수요는 빠르게 증가할것
- 딥마인드에서 알파폴드를 3명의 연구원이 해낼 수 있었던 것은 이들이 더 똑똑해서가 아니라 1인당 활용 가능한 컴퓨트가 다른 기업, 연구소 보다 압도적으로 많았기 때문
- 컴퓨트가 보편화되어 가격이 저렴해질 수록 알파폴드 급의 혁신이 모든 산업과 영역에서 펼쳐질것
- 나아가 우리는 컴퓨트의 한계로 기본적인 텍스트 데이터 프로세싱에 발이 묶여 있었는데 앞으로 영상 등 복잡도 높고 무거운 데이터 처리 수요가 기하급수적으로 늘어날것

이미 헤지펀드에서 주가 예측에 특화된 모델을 적극 활용해 막대한 수익 창출중
- 모델 학습에 얼마 들고, 모델 경쟁우위의 지속성과 기대 매출을 고려했을 때 ROI가 어떻게 될지를 계산해서 동시 여러개 모델 학습중
- 그외 모든 기업엔 레거시 코드와 데이터가 있는데 보관된 방식과 코드의 형태 때문에 매년 어마한 고정비용이 발생. AI 모델 도움을 받아 코드 업데이트와 마이그레이션을 통해 회사 전반의 수익성을 개선하는 경우도 자주 보임

"사람을 때려박아" 스케일을 추구하는 블리츠스케일링 방법은 AI 시대에서 유효하지 않을 수도
- 기업에서 전통적으로 인건비가 돈이 가장 많이 들어갔는데 최근에 구글에선 컴퓨트 비용이 개발자 비용을 앞서
- 오픈AI도 400명 되는 기업인데 컴퓨트 비용이 인당 개발자 비용의 4배
- 앞으로는 작지만 프로덕트부터 세일즈까지 전사 오퍼레이션에 얼라인된 단단한 팀이 경쟁력 있지 않을지

크고 작은 여러 유형의 제너럴리스트와 특화된 SOTA 모델이 공존하게될것
- 유저가 원하는 요청에 맞는 모델이 자동 추천되어 태스크가 처리되는 Model of Experts 형태
- 모델은 크게 두 축의 교집합으로 존재할건데 한 축은 intelligence (예: 80 IQ ~ 150 IQ), 그리고 다른 축은 버티컬 (예: 코딩, 법률, 의료 등)
- 모델 검색/추천/연결을 돕는orchestration 레이어가 핵심 기술로 부상할것

출처: 이세종님 페이스북

https://www.facebook.com/Saejlee

Today, Satoshi Spain’s machines are handling AI workloads for startups, universities and individual developers in Europe.

“You can still make money from your mining rig,” Satoshi Spain founder Alejandro Ibáñez de Pedro said. “It’s mining 2.0.”

Around 20% of the freed-up chips can be repurposed to train AI models, said Vipul Ved Prakash, the CEO of alternative cloud provider Together.

Together is using former crypto miners for GPUs and other hardware to build virtual server farms. It has leased thousands of GPUs to help power Together’s cloud service for AI developers. In May, it raised $20 million in seed funding.

Demi Guo, the founder of an AI applications startup called Mellis AI, couldn’t get the data processing pricing or capacity she needed at the leading cloud providers so she is using repurposed hardware available through Together’s cloud.

Saurabh Vij has built an AI business around chips formerly used for mining. His startup, Monster, has access to more than 30,000 chips—most of them once used for mining—that its customers can lease.

1950

Here's some AI “math” from today's baseline:

- Chips improve by 2x next year
- Models improve by 2x next year
- Capex scales capacity by 10x next year

This means that whatever you see today will be ~40x better in a year and another ~20-40x better a year after that.

So we can expect an ~800-1,600x improvement by 2026.

What *won’t* be possible is probably the better question.

ChatGPT has some push back for you (see below). Its quite good!

The scenario you're describing is an incredibly optimistic one that assumes exponential growth across multiple dimensions of computing technology: chip performance, AI model capabilities, and capital expenditure for capacity scaling. In reality, while rapid advancements are certainly occurring, there are a number of physical, economic, and social constraints that could inhibit such a straightforward, exponential trajectory.

Here’s a breakdown of challenges and limitations in each of the areas you've mentioned:

1. Chip Performance: The idea that chip performance would continue to double every year is a significant acceleration of Moore's Law, which historically observed that the number of transistors on a microchip doubles about every two years. However, we're reaching physical limitations of silicon technology, with features approaching the scale of a few nanometers. Quantum tunneling, heat dissipation, and energy efficiency are all significant challenges. While new materials and paradigms (like quantum computing or 3D stacking) are in development, they also come with their own sets of challenges that might not allow for a simple 2x improvement year over year.

2. Model Improvements: AI models are indeed improving rapidly, but there's more to consider than raw performance. Larger models require more data, more power, and better algorithms to be effective. Improvements in algorithms could potentially hit a point of diminishing returns, and there are concerns about the environmental impact of training extremely large models. Additionally, large models can become increasingly difficult to manage, debug, and ensure they do not perpetuate biases or make erroneous decisions.

3. Capital Expenditure: A 10x scale in capital expenditure assumes not only that companies have the economic capacity and willingness to invest at such levels but also that the supply chains and raw materials necessary for such a scale-up are available. This also presumes that there will be sufficient market demand to justify this level of investment.

Now, let’s address your main question: what won't be possible, even with such improvements? Here are some potential limitations:

- Physical Laws: Computing is still bound by the laws of physics. Even if computers become vastly more powerful, there will still be things that are simply impossible, like violating the speed of light or the second law of thermodynamics.

- Complexity and Emergent Phenomena: Many systems, like weather, human brains, or economies, are incredibly complex. Even with vastly improved models, the sheer number of variables and interactions can make prediction and understanding difficult.

- Social and Ethical Constraints: Just because something can be done technically does not mean it should be. Ethical considerations regarding surveillance, privacy, and the use of AI in decision-making will likely place limits on how technology is applied.

- Economic Considerations: Not every advancement will be economically feasible or provide a return on investment. Additionally, there could be resistance from industries that are disrupted by these advancements, potentially slowing adoption.

- Human Adaptability: The rate at which society can adapt to new technologies is limited. There are educational, cultural, and institutional barriers that often delay the implementation of even the most promising technologies.

In summary, while your scenario posits a world in which the capabilities of computing technology grow at an unprecedented rate, it's important to consider the multifaceted challenges that accompany such growth. The future is likely to be one of incredible technological advancement, but the path there will probably be more uneven and complex than the simple multiplication of current capabilities.

https://www.theinformation.com/articles/metas-free-ai-isnt-cheap-to-use-companies-say?rc=3jxaoo (유료기사입니다)

오픈소스 모델이 상업모델보다 저렴하지 않은 경우가 훨씬 많다는 기사입니다. 뉴스에 참조된 아래의 그래프 보시면 심지어 7B짜리 LLaMA 모델 구동이 GPT3.5 Turbo보다 비싸네요.

최근 LLM의 경량화/최적화 추세를 눈여겨 보시는 분들이라면 어쩌면 당연할 수도 있는 것이, 굉장히 많은 traffic이 몰릴 수록 (도매 장사처럼) cost를 낮출 수 있는 방법들이 존재하는데, 커스터마이징 된 오픈소스 모델을 구동할수록 서버 비용이 더 비싸지고, 차라리 백본 모델에서 tuning 서비스를 구동하는 것이 (예를 들면 LoRA weight들도 동일 규격이면 한꺼번에 묶어버려서 서비스를 처리한다던가) 가격은 더 저렴할 수 밖에 없습니다.

LLM이 클라우드 서비스와 더더욱 밀접하게 연결될 수 밖에 없다보니 이러한 경향이 생길 수 밖에 없는 것이기도 한데요, 네이버클라우드가 AI를 리드하는 것은 이러한 추세에 적합한 선택이기도 했습니다.

네이버클라우드는 OpenAI나 구글, 마이크로소프트와 cost 경쟁에서 지지 않을 여러가지 최적화/경량화 기술들을 구동해 놓았고, 중장기에서는 어느 빅테크보다 뛰어난 서비스 경쟁력을 갖출 AI 반도체를 잘 진행하고 있습니다.

여러 서비스를 꽤 잘 비교해놨네요 ㅎㅎ

Which GPU cloud should I use?
#
If you need a huge number of A100s/H100s - talk to Oracle, FluidStack, Lambda Labs, maybe a few others. Capacity is very low though for large quantities, especially of H100s, based on a couple of cloud founders/execs I’ve talked with.
If you need a couple A100s or H100s: Runpod, perhaps Tensordock or Latitude.
If you need 1x H100: Runpod (Fluidstack and Lambda have been out of on-demand capacity for qhite a while).
If you need cheap 3090s, 4090s, or A6000s: Tensordock.
If you need Stable Diffusion inference only: Salad.
If you need a wide variety of GPUs: Runpod or Tensordock.
If you want to play around with templates / general hobbyist: Runpod.
The large clouds generally have worse pricing and more complicated setups than the above.
If you’re tied to one of the big clouds (AWS, Azure, GCP), then you don’t have a choice, so use that.
More info here, here, here, here, here and here.

How Do Nvidia Allocations Work?
#
They have an allocation they give per customer. But for example, Azure saying “hey we would like 10,000 H100s all to be used by Inflection” is different from Azure saying “hey we would like 10,000 H100s for Azure’s cloud” - Nvidia cares about who the end customer is, and so clouds might be able to get an extra allocation for a specific end customer if Nvidia is excited about the end customer. Nvidia also wants to know who that end customer is, as much as possible. And they prefer customers with nice brand names or startups with strong pedigrees.
Yes, this seems to be the case. NVIDIA likes to guarantee GPU access to rising AI companies (many of which they have a close relationship with). See Inflection — an AI company they invested in — testing a huge H100 cluster on CoreWeave, which they also invested in
– Private cloud exec

It’s a unique situation in that Nvidia is giving large allocations to private clouds: CoreWeave has more H100s than GCP.

Nvidia would prefer not to give large allocations to companies that are attempting to compete directly with them (AWS Inferentia and Tranium, Google TPUs, Azure Project Athena).