Startups are now implementing AI rather than just talking about it

The open architecture of the web needs to be re-architected in the age of AI

The top of the funnel in web search is up for grabs and all of those dollars will be redistributed

Google may have to fight off cannibalization of core search to make its claim for the best AI

Building a conversational UI is the new way to interact with customers

https://share.snipd.com/snip/92c992f6-9826-4766-be31-209024910225

There's another way to think about this, which is the reverse of the client server model, where today you are the client, you are the node on the network and you're communicating with the center of the network, which is the server, which is the service provider and all the data sits there and you're getting data in and out of their product to suit your particular objectives.

But the future may be that more data is aggregating and accruing about you, you end up becoming a server, you then have the option.

Imagine if every individual had their own IP address and that individual IP address had behind it behind your ability to control lots of information and lots of output about all your interactions across the different network of service providers at years.

https://share.snipd.com/snip/6b55619f-14ff-469e-96d7-150fbca0ceb9

Look, you're seeing this upfront now with Reddit. When in this world, the people that create the content are actually in control of the data.

And if you try to like modifies an API without paying the people that created it or giving them control, they'll revolt.

댄스가 독서보다 2배의 효과가 있다--부제. 나이가 들어도 젊고 똑똑해질수 있는 비법

1. 흥미롭게도 제가 인스타에 올린 댄스영상을 좋아하시는 분들이 많다. 제 글보다 댄스 이야기를 하시는 분들이 의외로 적지않다.

2. 내가 좋아요를 가장 많이 받은글을 보면
페북에 3000개정도가 최고였다.
링크드인도 3000개 정도가 최고였다.
그런데 인스타에 올린 한 댄스영상의 좋아요가 5000개이다. 인스타는 시작한지 얼마안되어 다른 포스트는 좋아요가 그리 많지 않은데 말입니다. 어떤 분은 그걸로 책쓰는게 대중들에게는 재미없는 리더십 책 쓰는것보다 잘팔릴거라 하셨다😅

3. 뇌와 관련된 책을 읽다보니 운동이 몸 뿐 아니라 정신에도 매우 좋은 영향을 미친다고 한다. 여기까지는 상식인데. 특히, 뉴잉글랜드의학저널의 한 논문에 의하면 규칙적 댄스는 치매 발생 위험 76프로를 감소하며, 이는 독서로 얻는 효과의 두배라고 한다.

5. 과거에는, 나이가 들수록 뇌의 연결이 끊어지고 새로운 연결이 만들어지지 않는다고 생각했다. 이에 나이가 들수록 점점 멍청해지는것은 피할수 없는 현상이라고 여겼다. 그러나, 최근 연구에 의하면 나이가 들어도 뇌에 새로운 연결이 만들어질수 있다는것이 밝혀졌다. 즉, 나이가 들어도 뇌의 기능이 발달하고 똑똑해질수 있다는 것이다.

6. 그럼, 뇌에 새로운 연결을 만드는 방법은 무엇일까? 옥스퍼드 대학에서 사람들을 대상으로 6개월간 저글링훈련을 시켰다. 그러자 나이와 무관하게 눈과손의 협업과 관련된 모든 사람들의 뇌부위가 발달했다고 한다.

7. 특히, 자신이 기존에 잘하는것보다 새로운것을 배우면 뇌에 새로운 연결이 만들어 진다고 한다.

8. 그러므로, 새로운 것을 도전하시라. 외국어든, 피아노든, 춤이든, 스포츠든 새로운것을 배울 필요가 있다. 새로운 책을 읽고 새로운 장소를 여행하는 것도 좋은 방법이다. 옛날에 배운것을 곰국 우려먹듯 사는 사람은 나이가 들수록 멍청해지지만, 항상 새로운 것을 배우는 사람은 청년처럼 살수 있다.

9. 여기에 또 하나의 보너스 굿 뉴스가 있다.
저글링을 통한 뇌 발달에 관한 옥스포드대에서의 연구에서 발견한 것은 실력과 뇌발달은 관계가 없다는 것이다. 즉, 못해도 뇌가 발달한다는 것이다.

10. 그러므로, 외국어든, 피아노든, 댄스든, 주짓스든, 요가든 뭐든 새로운것을 배울때 못한다고 자책하거나 포기할 필요가 없다. 몸이 못따라간다고 좌절할 필요도 없다. 그래도 뇌는 쑥쑥 자란다.

11. 사실 저는 배우는 것을 좋아한다. 동시에 이것저것 하지는 않아도 한가지 정도 새로운 것에 도전한다. 댄스 또한 몇달전 새롭게 시작했다. 사실 나는 운동을 매우 싫어한다. 그러나 다행히 흥이 많아 댄스는 좋다. 일주일에 한번 정도 댄스 레슨을 받고 가끔씩 연습을 할 뿐이다. 그러나 잘 하려하기보다는 어짜피 오래 살것인데 오래하려한다. 이후에는 "피아노"를 본격적으로 배울 생각이다. 나는 피아니스트 임현정씨를 좋아한다(그분의 피아노 소리보다 열정적인 그분 자체가 멋있다). 배우는 과정을 유튜브나 인스타에 남기려 한다.

12. 제 영상을 보고 셔플이나 크록하를 배우려는 분들이 늘었다고 한다. 무리하지 마시고 저 처럼 일주일에 한번씩만 하셔도 좋다. 지금은 잘하는게 중요한게 아니라 즐기는것과 지속하는게 중요하다.

13. 특히, 이글을 보는 분들의 나이가 40이 넘었다면 말이다. 50이 넘으셨다면 더더욱 새로운 걸 배우시라. 그것이 오래 건강하며 현명하게 살수 있는 비결이다.

Unifying LLMs & Knowledge Graphs

1) Incorporate KGs during LLM pre-training/ inference, enhancing LLM understanding

2) Leverage LLMs for different KG tasks (embedding, completion, construction)

3) LLMs <> KGs bidirectional reasoning (data vs knowledge)

arxiv.org/abs/2306.08302

LLM 및 지식 그래프 통합

1) LLM 사전 학습/추론 시 KG를 통합하여 LLM 이해도 향상

2) 다양한 KG 작업(임베딩, 완성, 구축)에 LLM 활용

3) LLM <> KG 양방향 추론(데이터 대 지식)

arxiv.org/abs/2306.08302

https://twitter.com/johnjnay/status/1670051081722769408?s=46&t=h5Byg6Wosg8MJb4pbPSDow

https://datapreneurs.com/

Legendary founding CEO of snowflake wrote a book, datatreneur, https://datapreneurs.com/.

The Falcon 40B is a large-scale artificial intelligence model developed by the Technology Innovation Institute (TII) in Abu Dhabi, United Arab Emirates1. It is a foundational large language model (LLM) with 40 billion parameters and trained on one trillion tokens1. Falcon 40B is the world’s top-ranked open-source AI model on the Hugging Face leaderboard for large language models2. The model is available open source for research and commercial use, making it accessible to researchers, developers, and commercial users1.

The implications of Falcon 40B for large language models are significant. It matches the performance of other high-performing LLMs and is cost-effective3. The model is English-centric but also includes German, Spanish, French, Italian, Portuguese, Polish, Dutch, Romanian, Czech, and Swedish4. Falcon 40B’s open-source nature and royalty-free deployment can empower public and private sector entities with efficiencies such as faster project execution and reduced costs5.

For LLM startups, Falcon 40B offers an open-source alternative to proprietary models like OpenAI’s GPT-34. The model’s creator, TII, is offering the most exceptional project ideas access to training compute power as a form of investment2. This enables developers to tackle more complex and resource-intensive use cases with increased efficiency, productivity, and performance, driving innovation and expanding the possibilities for LLM startups2.

For big tech companies, Falcon 40B presents both opportunities and challenges. On one hand, the open-source nature of the model can foster collaboration and innovation, allowing big tech companies to leverage Falcon 40B’s capabilities for various applications. On the other hand, the model’s open-source availability may increase competition, as more startups and developers gain access to advanced LLM capabilities, potentially disrupting the market dominance of proprietary models from big tech companies.

Overall, Falcon 40B represents a significant milestone in the AI and LLM landscape, promoting open-source development, fostering innovation, and offering new opportunities for startups and big tech companies alike6.
https://twitter.com/TIIuae/status/1663911042559234051

https://twitter.com/TIIuae/status/1663911042559234051

The Falcon 40B is a large-scale artificial intelligence model developed by the Technology Innovation Institute (TII) in Abu Dhabi, United Arab Emirates1. It is a foundational large language model (LLM) with 40 billion parameters and trained on one trillion tokens1. Falcon 40B is the world’s top-ranked open-source AI model on the Hugging Face leaderboard for large language models2. The model is available open source for research and commercial use, making it accessible to researchers, developers, and commercial users1.

The implications of Falcon 40B for large language models are significant. It matches the performance of other high-performing LLMs and is cost-effective3. The model is English-centric but also includes German, Spanish, French, Italian, Portuguese, Polish, Dutch, Romanian, Czech, and Swedish4. Falcon 40B’s open-source nature and royalty-free deployment can empower public and private sector entities with efficiencies such as faster project execution and reduced costs5.

For LLM startups, Falcon 40B offers an open-source alternative to proprietary models like OpenAI’s GPT-34. The model’s creator, TII, is offering the most exceptional project ideas access to training compute power as a form of investment2. This enables developers to tackle more complex and resource-intensive use cases with increased efficiency, productivity, and performance, driving innovation and expanding the possibilities for LLM startups2.

For big tech companies, Falcon 40B presents both opportunities and challenges. On one hand, the open-source nature of the model can foster collaboration and innovation, allowing big tech companies to leverage Falcon 40B’s capabilities for various applications. On the other hand, the model’s open-source availability may increase competition, as more startups and developers gain access to advanced LLM capabilities, potentially disrupting the market dominance of proprietary models from big tech companies.

Overall, Falcon 40B represents a significant milestone in the AI and LLM landscape, promoting open-source development, fostering innovation, and offering new opportunities for startups and big tech companies alike6.

Comparisons with other models.

When comparing Falcon 40B to other large language models like GPT-3, ChatGPT, GPT-4, and LLaMA, Falcon 40B demonstrates impressive performance and capabilities. It outperforms other open-source models such as LLaMA, StableLM, RedPajama, and MPT3. Despite its power, Falcon 40B uses only 75% of GPT-3's training compute, 40% of Chinchilla’s, and 80% of PaLM-62B’s4. Falcon 40B is smaller than LLaMA (65 billion parameters) but has better performance on the OpenLLM leaderboard5. The model’s architecture is optimized for inference, with FlashAttention and multiquery5. It is available open source for research and commercial use, making it accessible to researchers, developers, and commercial users1.

About Flash attention

FlashAttention is a technique that speeds up the attention mechanism in the model, while multiquery attention allows the model to generate multiple queries for each token, thus better representing the token’s relationships with other tokens.

FlashAttention is an algorithm that reorders the attention computation and leverages classical techniques, such as tiling and recomputation, to significantly speed up the attention mechanism and reduce memory usage from quadratic to linear in sequence length1. It is designed to address the compute and memory bottleneck in the attention layer of transformer models, particularly when dealing with long sequences1.

Traditional attention mechanisms can be computationally expensive, as they involve a quadratic increase in memory usage and runtime with respect to sequence length1. FlashAttention addresses this issue by making the attention algorithm IO-aware, accounting for reads and writes between levels of GPU memory2. It uses tiling to reduce the number of memory reads/writes between GPU high bandwidth memory (HBM) and GPU on-chip SRAM2. This results in fewer HBM accesses than standard attention and optimizes performance for a range of SRAM sizes2.

Compared to traditional attention mechanisms, FlashAttention offers faster training and support for longer sequences without sacrificing accuracy3. It has been adopted by many organizations and research labs to speed up their training and inference processes4.

AI researchers can learn from FlashAttention’s efficient architecture and its ability to achieve exceptional performance while maintaining a compact size. Its IO-aware design and tiling technique can inspire new approaches to optimizing attention mechanisms in transformer models. AI startup founders can also benefit from the improved efficiency and performance offered by FlashAttention, enabling them to tackle more complex and resource-intensive use cases with increased productivity.

최근에 Perplexity의 유료 버전(https://www.perplexity.ai/)을 구매했습니다.

유료 버전을 선택한 이유에 대해 생각해볼 때, 스타트업이 어떻게 검색 문제를 해결하고, 거대한 경쟁업체들 사이에서 살아남을 수 있는지에 대한 생각을 하게 되었습니다.

AI와 엔지니어링을 접목해서 훨씬 좋은 검색 경험을 제공하고 있는 Perplexity를 사용해 보면서, 특정 고객에게 10-100배 좋은 서비스를 만들 때 AI를 사용한다면 꽤 좋은 제품과 회사를 만들 수 있겠다는 생각이 듭니다.
제가 Perplexity를 유료로 구독하게된 이유는 다음과 같습니다

1. 최근에 GPT-4를 연동하면서, GPT-4가 최신 정보를 활용할 수 있게합니다. ChatGPT-bing보다 더 빠르고 원문에 대한 Source를 더 잘 달아줍니다.
2. 사용자의 Profile에 본인의 관심사를 적어놓으면 그 관심사에 맞춘 컨텐츠를 제공합니다.
3. 사용자의 피드백을 요청하여 정보의 정확성을 높이는데, 이는 사용자 경험에 방해되지 않고, 오히려 Perplexity에 대한 신뢰성을 높여줍니다.
4. 추가적으로 찾아볼 만한 주제를 제시합니다.

이러한 장점 때문에 ChatGPT를 유료로 구독하고 있음에도 추가 구독을 결정하게 되었습니다. 그리고 구글 Bard와 비교하더라도 Perplexity는 원 출처를 제공함으로써 정보의 정확성을 높이고, 검색 기록을 유지함으로써 사용자 경험을 향상시킵니다. 또한, GPT-4를 사용하기 때문에 Bard보다 전반적으로 결과 품질이 좋습니다.

Perplexity는 어떻게 해자(Moat)를 만들 수 있을까요?

1. 아직 16명 규모의스타트업인 Perplexity이 Moat을 만드는 것을 고민하는 것보다 고객에게 강렬한 인상을 주며 사용자의 재방문율(Retention)을 높일 수 있는 기능을 찾아내는 게 더 중요하다고 생각합니다. 이런 기능을 찾는다면 Chat GPT, Google Search와 경쟁하더라도 장기적으로 경쟁력을 유지할 수 있을 것이라 생각합니다.
2. 특히 고객의 검색 데이터를 축적하게 되면, 단순히 ChatGPT를 이용하는 것보다 더 우수한 결과를 보여줄 수 있을 것입니다. 또한 GPT-4와 같은 모델들이 나올 경우, 검색 사용자 경험(UX)을 통해 다양한 AI 모델을 활용할 수 있게 될 것입니다.
3. 만약 고객이 어떤 기능에 가치를 느끼는지 알 수 있다면, 해당 기능을 최적화하는 모델을 자체적으로 구축해볼 수 있습니다.
Chat GPT 혹은 Google이 Perplexity의 주요 기능을 빠르게 카피한다면?

ChatGPT는 정말 다양한 업무(이메일 작성, 리서치, 요약)을 수행하지만 Perplexity는 정보 검색 및 Fact-check에 뾰족하게 특화되어있는 서비스 입니다. Perplexity팀이 어떤 고객의 무슨 문제에 집중하는지 정확히 알진 못하지만, ChatGPT/Google Bard가 엄청 다양한 고객에 집중하는 동안 Perplexity 팀은 대부분의 스타트업이 그랬던 것처럼 특정 고객들에 집중해서 덩치를 키워나가는 것이 인재, 돈, 인프라가 풍부한 거인들 사이에서 살아남는 방법 아닐까요?

이 여정이 쉬워보이진 않지만, 과거에 스타트업이 해결하기 어려운 영역으로 여겨졌던 검색이라는 분야도 스타트업이 새로운 기술과 좋은 제품의 결합으로 균열을 만들어낼 수 있다는 게 의미있다고 생각하고 앞으로도 더 잘해주길 유저로써 응원하고 싶네요.

About Hard Landing

하드 랜딩은 급격한 성장 기간 이후에 경제적으로 급속한 감소 또는 둔화를 의미합니다. 때때로 인플레이션을 저하시키기 위해 정부가 노력할 때, 경제는 느린 성장 또는 불황으로 전환되거나 불활성 상태에 빠질 수 있습니다. 하드 랜딩은 인플레이션을 제어하기 위해 경제성장이 충분히 유지되지만 불황을 피하기에 충분히 높은 경우인 소프트 랜딩과 대조될 수 있습니다. 하드 랜딩은 중앙 은행의 공격적인 통화 정책 개입, 지속적인 인플레이션 및 낮은 실업률 등 다양한 요소에 의해 발생할 수 있으며, 부채 수준이 높아지거나 정부 채권에 대한 구매자 부족 등의 요인이 있을 수 있습니다. 하드 랜딩의 위험은 불활성 기간이나 불황으로 빠지며, 실업률의 상승, 기업이익의 하락 및 부도 증가 등이 있습니다. 하드 랜딩으로 인한 위험에 대비하기 위해 투자자는 포트폴리오를 다변화하고 질 높은 자산에 투자하며, 장기적인 투자 목표에 집중하며, 포트폴리오를 리밸런싱하고, 안정적인 자산 및 일부 국가에 투자하는 것이 좋습니다.

연방준비제도(Federal Reserve)의 금리 인상 주기는 연이어 일어나는 경우가 많으며, 미국에서 현대적인 불황과 하드 랜딩(hard landing) 이후 소프트 랜딩(soft landing)이 따르곤 한다[2] ([https://en.wikipedia.org/wiki/Hard_landing_(economics)](https://en.wikipedia.org/wiki/Hard_landing_(economics))). 독일 Deutsche Bank의 연구팀은 연방준비제도의 공격적인 금리 인상이 종료 단계에 이르렀으며, 불경기가 10월에도 도래할 가능성이 있다고 여긴다[8] (https://fortune.com/2023/06/15/economy-recession-federal-reserve-powell-deutsche-bank-hard-landing/). Duquesne Family Office의 회장 겸 CEO인 Stanley Druckenmiller는 연방준비제도의 금리 인상이 미국 경제를 불황으로 밀어넣을 것이라 예상하고 있다[5] (https://www.reuters.com/markets/us/investor-druckenmiller-expects-hard-landing-us-economy-bullish-ai-2023-06-07/). 그는 이번 해 은행 엉망으로 인해 경제 일부 부문에서 아직 금리 인상의 영향이 미치지 않았으며, 더 많은 "신발"이 떨어질 것이라고 믿고 있다[5] (https://www.reuters.com/markets/us/investor-druckenmiller-expects-hard-landing-us-economy-bullish-ai-2023-06-07/). Bridgewater Associates의 창업자인 Ray Dalio는 미국이 큰 사이클 부채 위기에 직면하고 있으며, 경제 상황이 악화될 것이라 경고하고 있다[4] (https://fortune.com/2023/06/08/ray-dalio-bridgewater-associates-us-economy-debt-crisis-recession/)[6] (https://finance.yahoo.com/news/ray-dalio-says-u-facing-145648699.html). 그는 미국 재무성이 2023년 말까지 1조 달러 이상의 T-Bills을 발행할 것으로 예상되는 가운데, 시장에서 이러한 정부 부채를 구매할 충분한 구매자가 없을 가능성이 있다는 우려를 표명하고 있다[4] (https://fortune.com/2023/06/08/ray-dalio-bridgewater-associates-us-economy-debt-crisis-recession/). Dalio는 미국이 너무 많은 부채를 생산하고 구매자가 부족한 클래식한 늦은 큰 사이클 부채 위기의 시작에 있다고 믿고 있다[4] (https://fortune.com/2023/06/08/ray-dalio-bridgewater-associates-us-economy-debt-crisis-recession/)기타 인사이트국제통화기금(IMF)은 만성적인 높은 인플레이션, 금리 상승, 그리고 두 개의 대형 미국 은행 파산으로 인한 불확실성으로 인해 세계 경제의 하드 랜딩 위험이 "심각하게 증가했다"고 경고하고 있다[10] (https://fortune.com/2023/04/11/recession-outlook-imf-slashes-global-growth-hard-landing/). Morgan Stanley Wealth Management의 최고 투자 책임자인 Lisa Shalett은 소비와 인플레이션이 다시 뜨거워짐에 따라 하드 랜딩 위험이 커지고 있다는 경고를 하고 있다[11] (https://fortune.com/2023/02/21/stock-market-outlook-economic-forecast-morgan-stanley-wealth-management-goldilocks-dead-economic-hard-landing-risk-growing/)

투자자에게 연관된 하드 랜딩의 위험하드 랜딩 중에는 투자자가 직면하는 여러 가지 위험이 있다. 그것은 다음과 같다:

투자자에게 따르는 하드 랜딩의 위험 하드 랜딩 기간 동안 투자자는 다음과 같은 위험에 직면하게 됩니다.

자산 가치 하락: 주식 및 부동산과 같은 자산 가격이 크게 하락하여 포트폴리오 가치가 감소하고 잠재적인 손실이 발생할 수 있습니다**[1](https://60secondmarketer.com/2021/12/28/how-will-recession-affect-real-estate-investors-the-must-know-facts/)[2](https://www.forbes.com/advisor/investing/how-to-invest-during-a-recession/)*.

유동성 감소: 시장 유동성이 감소하여 원하는 가격으로 자산을 매수 또는 매도하기가 더 어려울 수 있습니다**[1](https://60secondmarketer.com/2021/12/28/how-will-recession-affect-real-estate-investors-the-must-know-facts/)*.

변동성 증가: 금융 시장이 불안정해져 가격 변동이 크게 일어나고 불확실성이 증가할 수 있습니다**[3](https://www.investopedia.com/terms/h/hardlanding.asp)*.

파산 및 채무불이행: 회사들이 재정적인 어려움을 겪어 파산 및 채무불이행에 직면할 수 있으며, 이는 그들의 주식이나 채권을 보유한 투자자에게 부정적인 영향을 줄 수 있습니다**[4](https://seekingalpha.com/news/3973813-goldman-sachs-picks-top-stocks-in-case-of-a-hard-landing)*.

하드 랜딩 기간 동안의 기회 위험에도 불구하고 하드 랜딩은 투자자들에게 기회를 제공할 수 있습니다.

저평가 자산 매입: 자산 가격 하락으로 인해 할인된 가격으로 고품질 자산을 매입할 수 있는 기회가 생길 수 있습니다**[5](https://www.investopedia.com/ask/answers/042115/whats-best-investing-strategy-have-during-recession.asp)*.

방어적 주식: 소비재, 유틸리티, 헬스케어 등의 방어적 주식 투자는 경기 하락 기간 동안 안정성을 제공할 수 있습니다**[2](https://www.forbes.com/advisor/investing/how-to-invest-during-a-recession/)*.

배당 주식: 배당을 지속적으로 지급하는 주식 투자는 어려운 시장 상황에서 수입 및 잠재적인 자본 가치 상승을 제공할 수 있습니다**[2](https://www.forbes.com/advisor/investing/how-to-invest-during-a-recession/)*.

채권 및 상관관계 없는 자산: 채권 및 상관관계 없는 다른 자산은 다양성을 제공하고 포트폴리오 위험을 감소시킬 수 있습니다**[2](https://www.forbes.com/advisor/investing/how-to-invest-during-a-recession/)*.

하드 랜딩에 대비하는 투자자 준비 하드 랜딩에 대비하기 위해 투자자는 다음과 같은 조치를 취할 수 있습니다.

포트폴리오 다양화: 자산 클래스, 섹터 및 지역 간의 다양한 투자는 위험을 완화하고 잠재적 기회를 포착하는 데 도움이 될 수 있습니다**[5](https://www.investopedia.com/ask/answers/042115/whats-best-investing-strategy-have-during-recession.asp)*.

고품질 자산에 집중: 낮은 부채, 강력한 현금 흐름 및 견고한 재무 상태를 가진 잘 관리되는 회사에 투자합니다**[5](https://www.investopedia.com/ask/answers/042115/whats-best-investing-strategy-have-during-recession.asp)*.

장기적인 관점 유지: 장기적인 투자 목표에 집중하고 단기적인 시장 변동에 기반한 충동적인 결정을 피합니다**[6](https://www.pwc.com/us/en/industries/financial-services/asset-wealth-management/real-estate/emerging-trends-in-real-estate.html)*.

포트폴리오 재조정: 포트폴리오를 정기적으로 검토하고 조정하여 원하는 자산 배분과 위험 프로필을 유지합니다**[7](https://www.schwab.com/learn/story/how-to-prepare-landing)*.

유망한 자산 및 국가 하드 랜딩 기간 동안 투자자는 다음과 같은 자산 및 국가를 고려할 수 있습니다.

일본 부동산: 일본의 부동산 시장은 경기 하락 기간 동안에도 내구성을 보여주어 투자자들에게 안전한 피난처가 될 수 있습니다**[1](https://60secondmarketer.com/2021/12/28/how-will-recession-affect-real-estate-investors-the-must-know-facts/)*.

방어적 주식: 위에서 언급한 방어적 주식은 소비재, 유틸리티, 헬스케어 등의 섹터에서 안정성을 제공할 수 있습니다**[2](https://www.forbes.com/advisor/investing/how-to-invest-during-a-recession/)*.

배당 주식: 일관적인 배당을 지급한 기업에 투자하면 어려운 시장 상황에서 수입 및 잠재적인 자본 가치 상승을 제공할 수 있습니다**[2](https://www.forbes.com/advisor/investing/how-to-invest-during-a-recession/)*.

채권 및 상관관계 없는 자산: 채권 및 상관관계 없는 다른 자산은 다양성을 제공하고 포트폴리오 위험을 감소시킬 수 있습니다**[2](https://www.forbes.com/advisor/investing/how-to-invest-during-a-recession/)*.

결론적으로, 하드 랜딩은 투자자들에게 위험과 기회 모두를 제공합니다. 포트폴리오 다양화, 고품질 자산에 집중, 장기적인 관점 유지 및 포트폴리오 재조정을 통해 투자자들은 하드 랜딩의 도전을 더 잘 극복하고 잠재적인 기회를 잡을 수 있습니다.

아무것도 없는 상황에서 부자가 되려면 (세이노 아저씨 말에 따르면) 피보다 진하게 살아야한다고 생각한다.

스푼 최혁재 대표님 페이스북 포스팅

부자가 되고 싶다면서?
워라벨 적당하고 높은 연봉 직장
일년에 한두번 해외여행가야지.
결혼상대 조건은 상위 10%를 바라고,
많이는 아니지만 명품백 한두개는 있어야지.
국산차 살바에 돈 좀 보태서 외제차 사는게 나아.
편하고 좋고 살만한데...
나도 원하는데 남들이라고 다를까?
실제 한국 최근 통계 및 경향
-결혼률 최저
-인구수대비 해외여행 최고
-소득대비 명품소비 최고
-소득대비 외제차소비 최고
SNS나 미디어들이 서로가 경쟁하듯 사람들을 부축이고, 남들만큼은 해야지 라는 문화로 나라가 사회가 나락으로 가는 것 같다.
부자는 극히 소수인데 그렇다면
대중들과 다르게 해야하지 않을까?
미련하다 손가락질 받으며, 노력하는 소수의 사람들
열심히 성장을 위해 일하고,
해외여행 갈 돈, 명품 살돈, 외제차 할부 아껴서
외국어나 투자공부하고,
작은집부터 시작해 결혼하고
조금씩 계속 늘려가는 사람
이런 사람들이 결국에는 전자와는 말도 안되게 부의 격차가 벌어지는걸 많이 목격 했다.
그러구 보면 하나의 목표를 위해 꾸준히 노력하는 사람을 비하하고 남들 다하는건 나도 해보며 살아가는 사람치고 큰 부를 이룬 사람을 본적이 없는 것 같다.

파도가 오는 것을 아는 것, 파도를 타는 것, 그리고 여러번 잘 타는 것은 다 다르다.

AI Wave를 바라보면서 여러번 다시 생각해봐야할 부분

최혁재 대표님 페북

매트릭스 모피어스의 명대사
"길을 아는 것과 길을 걷는 것은 다르다."
스타트업들도 사람들도 더 많이 아는게 아니라 더 많이 걷는게 중요한데 다들 더 많이 아는 것에만 집중하는 것 같다.
더 많이 알고 싶어 준비하는 사람들에게 물어보면 더 많이 걷기 위해 더 많이 알려고 한다 라고 대답하지만 실제로 걷는 걸 본적이 별로 없다.
오히려 너무 많은 걸 알아버려서 먼저 겁을 먹고 하지 않을뿐...
그냥 걷자. 오늘도 내일도...

### Effective or Experimental LLM Lightweighting Approaches

Lightweighting approaches for Large Language Models (LLMs) aim to reduce the memory footprint and computational requirements of these models, making them more efficient and easier to deploy. Some popular lightweighting methods include quantization, pruning, and distillation**[1](https://medium.com/intel-analytics-software/effective-post-training-quantization-for-large-language-models-with-enhanced-smoothquant-approach-93e9d104fb98)**.

### Quantization

Quantization is a compression operation that reduces the memory footprint of a model and improves inference performance. An enhanced SmoothQuant approach has been proposed for post-training quantization of LLMs, which has been integrated into Intel Neural Compressor, an open-source Python library of popular model compression techniques**[1](https://medium.com/intel-analytics-software/effective-post-training-quantization-for-large-language-models-with-enhanced-smoothquant-approach-93e9d104fb98)**.

### Pruning

Pruning is a method to compress a model by removing some of its weights, which can lead to a significant reduction in model size. SparseGPT is an algorithm that allows reducing a model size by more than 50% while maintaining its performance**[2](https://www.machinelearningatscale.com/pruning-llm-sparsegpt/)**.

### Distillation

Distillation is a technique that involves training a smaller model (student model) to mimic the behavior of a larger model (teacher model). This approach creates compute-friendly LLMs suitable for use in resource-constrained environments, such as real-time language translation, automated speech recognition, and chatbots on edge devices like smartphones and tablets**[3](https://jaxon.ai/distillation-making-large-language-models-compute-friendly/)**.

### Quantization

Pros:

- Reduces memory footprint and accelerates inference**[1](https://arxiv.org/pdf/2211.10438.pdf)**.
- Can be applied post-training without the need for additional training data**[1](https://arxiv.org/pdf/2211.10438.pdf)**.

Cons:

- Potential loss of accuracy during the quantization process**[1](https://arxiv.org/pdf/2211.10438.pdf)**.
- May require further optimization for different LLM architectures**[1](https://arxiv.org/pdf/2211.10438.pdf)**.

Use Cases:

- Deploying LLMs on edge devices with limited resources**[1](https://arxiv.org/pdf/2211.10438.pdf)**.
- Real-time language translation and automated speech recognition**[1](https://arxiv.org/pdf/2211.10438.pdf)**.

### Pruning

Pros:

- Can significantly reduce model size while maintaining performance**[2](https://towardsdatascience.com/model-compression-via-pruning-ac9b730a7c7b)**.
- Can be applied to both structured and unstructured pruning**[3](https://web.stanford.edu/class/cs224n/reports/custom_116951464.pdf)**.

Cons:

- May require additional fine-tuning to achieve optimal performance**[2](https://towardsdatascience.com/model-compression-via-pruning-ac9b730a7c7b)**.
- Can be computationally expensive for large models**[2](https://towardsdatascience.com/model-compression-via-pruning-ac9b730a7c7b)**.

Use Cases:

- Deploying LLMs on resource-constrained devices**[2](https://towardsdatascience.com/model-compression-via-pruning-ac9b730a7c7b)**.
- Improving the efficiency of LLMs in various applications, such as natural language processing and computer vision tasks**[2](https://towardsdatascience.com/model-compression-via-pruning-ac9b730a7c7b)**.

### Distillation

Pros:

- Creates compute-friendly LLMs suitable for use in resource-constrained environments**[4](https://wandb.ai/byyoung3/ml-news/reports/New-Method-For-LLM-Quantization--VmlldzozOTU1NTgz)**.
- Can maintain the performance of the original model**[4](https://wandb.ai/byyoung3/ml-news/reports/New-Method-For-LLM-Quantization--VmlldzozOTU1NTgz)**.

Cons:

- May suffer from the "curse of capacity gap" when the teacher and student models have a large capacity difference**[5](https://openreview.net/forum?id=CMsuT6Cmfvs)**.
- Requires additional training data and computational resources**[4](https://wandb.ai/byyoung3/ml-news/reports/New-Method-For-LLM-Quantization--VmlldzozOTU1NTgz)**.

Use Cases:

- Real-time language translation, automated speech recognition, and chatbots on edge devices like smartphones and tablets**[4](https://wandb.ai/byyoung3/ml-news/reports/New-Method-For-LLM-Quantization--VmlldzozOTU1NTgz)**.
- Deploying LLMs in various applications, such as natural language processing and computer vision tasks**[4](https://wandb.ai/byyoung3/ml-news/reports/New-Method-For-LLM-Quantization--VmlldzozOTU1NTgz)**.

In summary, each lightweighting approach has its own set of advantages and disadvantages, making them suitable for different use cases. Quantization is ideal for deploying LLMs on edge devices with limited resources, while pruning can help improve the efficiency of LLMs in various applications. Distillation is useful for creating compute-friendly LLMs suitable for use in resource-constrained environments. Choosing the right approach depends on the specific requirements and constraints of the application.

### LLM-QAT: Data-Free Quantization Aware Training for Large Language Models

LLM-QAT is a data-free distillation method that leverages generations produced by the pre-trained model to better preserve the original model's performance while reducing its size and computational requirements**[4](https://arxiv.org/abs/2305.17888)**. This approach enables efficient quantization of LLMs without the need for additional training data.

### Limitations and Opportunities

Some limitations of LLM-QAT include the potential loss of accuracy during the quantization process and the need for further research to optimize the method for different LLM architectures. However, LLM-QAT presents opportunities for improving the efficiency of LLM deployment in various applications, such as natural language processing and computer vision tasks.

### Real-World Lightweighting Methods

In the real world, lightweighting methods are used in various industries, such as automotive and aerospace, to reduce the weight of components and improve overall performance. Some common lightweighting strategies include:

1. Material selection: Using lighter materials for each component**[5](https://3dxresearch.com/2018/06/05/lightweighting-strategies-in-an-additively-manufactured-world/)**.
2. Structural optimization: Designing components to minimize weight while maintaining strength and functionality**[5](https://3dxresearch.com/2018/06/05/lightweighting-strategies-in-an-additively-manufactured-world/)**.
3. Architected materials: Creating materials with specific microstructures to optimize their properties for lightweighting**[5](https://3dxresearch.com/2018/06/05/lightweighting-strategies-in-an-additively-manufactured-world/)**.
4. Multifunctionality: Designing components that serve multiple purposes, reducing the need for additional parts**[5](https://3dxresearch.com/2018/06/05/lightweighting-strategies-in-an-additively-manufactured-world/)**.

These lightweighting methods can be used separately or in conjunction with one another to achieve the desired weight reduction and performance improvements.

The article "The Law Is Coming for AI—But Maybe Not the Law You Think" discusses the legal challenges and implications surrounding the use of artificial intelligence (AI) technology, particularly focusing on the recent approval of the AI Act in the European Parliament**[1](https://www.theinformation.com/articles/the-law-is-coming-for-ai-but-maybe-not-the-law-you-think)**. The article highlights the case of Italy's data protection authority banning OpenAI's ChatGPT due to non-compliance with European data protection provisions**[1](https://www.theinformation.com/articles/the-law-is-coming-for-ai-but-maybe-not-the-law-you-think)**. The main points of the article are as follows:

1. AI technology raises legal questions in areas such as privacy, discrimination, and liability.
2. There is no single law governing AI, and existing laws are often unclear or outdated.
3. There is a growing movement to create new laws and regulations specifically for AI.
4. There is no consensus on what these laws and regulations should look like.
5. Some people believe AI should be regulated like any other technology, while others believe it requires special treatment.
6. The debate over how to regulate AI is likely to continue for many years to come.

As an AI researcher or AI startup founder, it is crucial to stay informed about the legal landscape surrounding AI technology. This includes understanding the potential legal issues that may arise from the development and deployment of AI systems, as well as keeping up-to-date with new laws and regulations that may impact your work or business. By being proactive and knowledgeable about the legal aspects of AI, you can better navigate potential challenges and ensure that your AI systems are developed and used responsibly and ethically.

더 인포메이션**[1](https://www.theinformation.com/articles/a-reckoning-arrives-for-creator-economy-startups)**의 기사에 따르면 미국 크리에이터 경제 스타트업에 대한 자금이 1억 2,300만 달러로 86% 감소했으며, 이는 전년 동기 대비 7분기 연속 감소한 수치라고 합니다. 반면에 디지털 크리에이터가 콘텐츠 제작의 비즈니스 측면을 보다 쉽게 수행할 수 있도록 필요한 도구, 리소스 및 플랫폼을 제공하는 많은 크리에이터 경제 스타트업이 있습니다**[2](https://blog.hubspot.com/marketing/creator-economy-startups)**. 그러나 이러한 비즈니스가 모두 크리에이터에게 좋은 것은 아니며, 일부는 실제로는 매우 약탈적일 수 있습니다**[3](https://techcrunch.com/2021/12/30/not-every-creator-economy-startup-is-built-for-creators/)**. 인공지능 연구자나 인공지능 스타트업 창업자로서 이 글에서 배울 수 있는 몇 가지 사항이 있습니다:

- 크리에이터 경제는 성장하는 시장이며, 콘텐츠 크리에이터에게 도구와 리소스를 제공할 수 있는 많은 기회가 있습니다.
- 크리에이터가 자신의 비즈니스를 믿고 맡긴다면, 크리에이터는 여러분이 자신의 최선의 이익을 염두에 두기를 기대한다는 점을 이해하면서 크리에이터의 입장이 되어 생각하는 것이 중요합니다**[3](https://techcrunch.com/2021/12/30/not-every-creator-economy-startup-is-built-for-creators/)**.
- 콘텐츠 크리에이터에게 지원과 자원을 제공할 수 있는 윤리적이고 신뢰할 수 있는 크리에이터 이코노미 스타트업**[3](https://techcrunch.com/2021/12/30/not-every-creator-economy-startup-is-built-for-creators/)**이 더 많이 필요합니다.
- 크리에이터 이코노미 스타트업에 대한 자금 지원 감소는 시장의 변화를 나타내는 신호일 수 있으며, 이러한 추세를 주시하는 것이 중요합니다**[1](https://www.theinformation.com/articles/a-reckoning-arrives-for-creator-economy-startups)[4](https://www.antler.co/blog/2023-creator-economy)**.
- AI는 잠재적으로 크리에이터 경제에서 콘텐츠 제작자를 도울 수 있는 새로운 도구와 플랫폼을 개발하는 데 사용될 수 있습니다**[5](https://wonnda.com/magazine/creator-economy-startups/)[6](https://influencermarketinghub.com/creator-economy-startups/)**.