What is a contrarian and how to be?

1. http://www.paulgraham.com/think.html
2.https://hbr.org/2021/09/how-to-be-a-smart-contrarian
3. http://www.paulgraham.com/newthings.html
4. paulgraham.com/marginal.html
5. https://www.nytimes.com/2021/09/21/books/review/the-contrarian-peter-thiel-max-chafkin.html
6. https://www.nytimes.com/2021/09/13/books/review-contrarian-peter-thiel-silicon-valley-max-chafkin.html
7. https://blog.samaltman.com/the-strength-of-being-misunderstood
8. https://waitbutwhy.com/2015/11/the-cook-and-the-chef-musks-secret-sauce.html

Tree of Thoughts (ToT), which generalizes over the popular Chain of Thought approach to prompting language models, and enables exploration over coherent units of text (thoughts) that serve as intermediate steps toward problem solving. ToT allows LMs to perform deliberate decision making by considering multiple different reasoning paths and self-evaluating choices to decide the next course of action, as well as looking ahead or backtracking when necessary to make global choices. Our experiments show that ToT significantly enhances language models' problem-solving abilities on three novel tasks requiring non-trivial planning or search: Game of 24, Creative Writing, and Mini Crosswords. For instance, in Game of 24, while GPT-4 with chain-of-thought prompting only solved 4% of tasks, our method achieved a success rate of 74%.

DragGAN이란 재미있는 합성 방식이 공개되었네요. GAN 기반으로 콘텐츠 합성을 하는데, 사용자가 이미지의 포인트를 목표 위치로 드래그하여 인터랙티브하게 조작할 수 있도록 하는 방식이라 훨씬 원하는 이미지를 손쉽게 만들수 있네요.

제목: Drag Your GAN: Interactive Point-based Manipulation on the Generative Image Manifold

이 논문에서는 제너레이티브 이미지 매니폴드에서 인터랙티브 포인트 기반 조작을 위한 방법인 DragGAN을 소개하여 사용자가 생성된 오브젝트의 포즈, 모양, 표현, 레이아웃을 사용자 인터랙티브 방식으로 정밀하게 제어할 수 있도록 합니다.

주요 인사이트와 교훈
* GAN을 제어하는 기존의 접근 방식은 유연성, 정밀성, 범용성이 부족하고 주석이 달린 훈련 데이터나 3D 모델에 의존하는 경우가 많습니다.
* DragGAN은 사용자가 이미지의 포인트를 '드래그'하여 목표 위치에 도달할 수 있도록 하여 정밀한 조작을 가능하게 함으로써 새로운 방식으로 GAN을 제어할 수 있습니다.
* 제안된 방법은 특징 기반 모션 감독과 포인트 추적 접근 방식을 결합하여 이미지에 대한 원하는 제어를 달성합니다.
* DragGAN을 사용하면 픽셀 위치를 정밀하게 제어하여 이미지를 변형함으로써 동물, 자동차, 사람 등 다양한 객체 범주를 조작할 수 있습니다.

이 논문에서는 생성 이미지 매니폴드에서 인터랙티브한 포인트 기반 조작을 위한 강력한 방법으로서 DragGAN을 소개하여 사용자가 생성된 오브젝트의 포즈, 모양, 표현, 레이아웃을 정밀하게 제어할 수 있도록 합니다.

요약:
사용자의 요구를 충족하는 시각적 콘텐츠를 합성하려면 생성된 오브젝트의 포즈, 모양, 표정, 레이아웃을 유연하고 정밀하게 제어할 수 있어야 합니다. 기존 접근 방식은 수동으로 주석이 달린 훈련 데이터 또는 이전 3D 모델을 통해 생성적 적대 신경망(GAN)을 제어할 수 있지만 유연성, 정밀성, 일반성이 부족한 경우가 많습니다. 이 연구에서는 그림 1과 같이 이미지의 임의의 지점을 '드래그'하여 사용자 인터랙티브 방식으로 목표 지점에 정확하게 도달하도록 하는, 강력하지만 아직 많이 연구되지 않은 GAN 제어 방법을 연구합니다. 이를 위해 두 가지 주요 구성 요소로 구성된 DragGAN을 제안합니다: 1) 핸들 포인트를 목표 위치로 이동하도록 유도하는 특징 기반 모션 감독과 2) 판별 생성기 기능을 활용하여 핸들 포인트의 위치를 계속 파악하는 새로운 포인트 추적 접근 방식입니다. DragGAN을 사용하면 누구나 픽셀의 위치를 정밀하게 제어하여 이미지를 변형할 수 있으므로 동물, 자동차, 사람, 풍경 등 다양한 카테고리의 포즈, 모양, 표정, 레이아웃을 조작할 수 있습니다. 이러한 조작은 GAN의 학습된 생성 이미지 매니폴드에서 수행되므로 가려진 콘텐츠를 환각화하고 오브젝트의 강성을 일관되게 따르는 모양을 변형하는 등 까다로운 시나리오에서도 사실적인 결과물을 생성하는 경향이 있습니다. 정성적 및 정량적 비교를 통해 이미지 조작 및 포인트 추적 작업에서 이전 접근 방식에 비해 DragGAN의 이점을 확인할 수 있습니다. 또한 GAN 반전을 통해 실제 이미지를 조작하는 모습도 보여줍니다.

arXiv: https://arxiv.org/abs/2305.10973
PDF: https://arxiv.org/pdf/2305.10973.pdf
arXiv-vanity: https://www.arxiv-vanity.com/papers/2305.10973
Paper page: https://huggingface.co/papers/2305.10973

정말 또다시 하루하루 숨가쁘게 돌아가고 있네요.
- 현재까지 등록된 ChatGPT plugin이 86개
- iOS 앱스토어를 통한 official iOS ChatGPT 앱 출시 (Plugin 기능은 베타버전이라 웹에서만 연동되는 듯)
- 메타도 AI에 대한 세가지 뉴스 발표: MTIA v1: Meta’s first-generation AI inference accelerator, Meta’s Research SuperCluster, Reimagining Meta’s infrastructure for the AI age
- Amazon Burnham, Amazon AI Search
- Apple Voice Cloning, Alzheimer's Detection
- OpenAI에서도 Open-Source LLM 준비중

New Appstore x Search era

개인 블로그를 만들었습니다. 당분간은 영어 컨텐츠만 올릴 예정인데 한글 컨텐츠도 따로 올릴지는 고민해볼 생각입니다. https://www.continuouslearningmatthew.com/

역발상을 받아들이다: 독립적 사고로 가는 길
주말에 친구가 The Strength of Being Misunderstood, (https://blog.samaltman.com/the-strength-of-being...) 글을 공유해줬다.
많은 사람들은 다른 사람의 생각을 너무 많이 신경쓰며 살아간다. 남들의 생각을 따라가다보면 평범해질 수 있다. 하지만, 가치있는 것을 만들기 위해서는 혼자 할 수 있는 일이 많지 않기에 다른 사람들과 잘 조화를 이루는 것 다른 의견에 열려있는 것 역시 중요하다. ‘누구의 의견을 들을 것인지’ 선택하는 것도 중요하지만, ‘얼마 기간동안’ 남들이 믿지 않는 사실을 믿거나 당연하다고 여기는 것을 당연하게 여기지 않는 것도 중요합니다. 일반적으로 저평가되어 있는 회사의 주식을 사서 우량주가 되기까지 기다리는 것을 가치투자라고 한다면, 남들은 다 동의하지 않는데 나는 강하게 믿고 있는 사실에 오랜기간 베팅해서 내가 믿는 사실이 옳다는 것을 증명해낸다면 큰 변화를 만들 수 있습니다.
그런데, 이 과정이 쉽지만은 않습니다. 일론이 Space X를 할 때 본인의 영웅이었던 Neil Armstrong이 Space X의 행보를 대놓고 비판했던 일(https://youtu.be/8P8UKBAOfGo)이나 Sam Altman이 큰 꿈을 꾸게 해준 Elon이 Sam의 행보를 비판하는 일(https://youtu.be/GKvC-C_uZrM)을 보면 일반 사람 뿐만 아니라 내가 존경했던, 도움 받았던 사람들이 나의 일을 비판할 때 그 신념을 유지하기가 얼마나 어려운지 볼 수 있죠.
이런 사람들을 Contrarian(역발상자, 적절한 단어을 못찾겠네요.)라고 합니다. Contrarian는 일반적으로 알려진 사실에 반대하는 사람입니다. 그들은 다른 관점에서 사물을 보기 때문에 반대합니다. 그들은 현상 유지에 도전하고, 통용되는 규범에 의문을 제기하며, 자신의 신념에 홀로 서는 것을 두려워하지 않습니다.
역발상자는 스타트업과 투자에서 상당한 이점을 가질 수 있습니다. 창업자와 투자자는 다른 사람들이 간과하는 기회를 발견할 수 있습니다. 예를 들어, 유명한 기술 거물이자 투자자인 Peter Thiel은 그의 반대 전략으로 유명합니다. 그는 당시에는 파격적으로 보였지만 나중에 큰 성공을 거둔 것으로 입증된 투자를 자주 했습니다.
역발상자는 회복력이 뛰어나기도 합니다. 그들은 불가능하다고 말하는 다른 사람들의 판단을 견딜 수 있습니다. 창업자이자 투자자로서 자신의 가설에 대한 확신이 있고 틀렸을 때 빠르게 수정할 수 있는 능력이 있다면 외부의 평가보다는 자신만의 기준에 집중하여 시도해보고 빠르게 수정할 수 있습니다. 전설적인 거시 투자자 Druckenmiller는 한 인터뷰에서 자신은 틀릴 때가 많지만, 틀렸을 때 손실을 볼 위험에 대해 깊이 생각하고, 틀렸을 때 빨리 고칠 준비가 되어 있다고 말했습니다.
역발상자는 비즈니스 세계에서만 국한된 것이 아닙니다. 그것은 널리 받아들여지는 신념에 의문을 제기하고 자신의 이해와 가치에 따라 결정을 내리도록 장려하는 삶의 방식입니다. 이는 사회적 규범에 어긋나더라도 스스로에게 진실해지는 것을 의미합니다.
역발상자가 되는 것은 다른 사람의 말을 전혀 듣지 않는 것이 아니라 자신의 생각에 귀를 기울이는 것입니다. 그것은 자신과 주변 사람들의 말을 경청하고 자신과 다른 사람들이 항상 틀릴 수 있다는 것을 인정하는 것입니다.
독립적으로 생각하도록 스스로 훈련하는 방법은 여러 가지가 있습니다.
1. 모든 것에 질문하기: 모든 것을 보이는 것 그대로 받아들이지 마세요. 항상 이유를 묻고 근본적인 이유를 이해하려고 노력하세요.
2. 불편함을 포용하세요: 독립적인 사고는 기존의 규범에 도전하기 때문에 종종 불편함을 유발합니다. 이러한 불편함에 익숙해지는 법을 배우세요.
3. 다양한 관점을 추구하세요: 나와 다른 생각을 가진 사람들과 함께하세요. 이를 통해 시야를 넓히고 자신의 신념에 도전할 수 있습니다.
4. 지속적으로 배우세요: 새로운 것을 계속 배우세요. 폴 그레이엄이 "말할 수 없는 것"이라는 에세이에서 지적했듯이, 새로운 것을 배우면 종종 상반된 견해를 갖게 됩니다.
5. 자신의 판단을 신뢰하세요: 자신의 견해가 인기가 없을지라도 자신의 판단을 신뢰하세요. 조사를 충분히 하고 충분히 생각했다면 자신의 신념을 고수하는 것을 두려워하지 마세요.
6. 역발상은 강력한 도구입니다. 스타트업 창업자, 투자자, 개인 모두에게 도움이 될 수 있습니다. 이제 역발상을 수용하고, 기존 관습에 도전하며, 자신만의 길을 개척해 보세요.

관련 글을 영어로 작성했고 블로그에 게시했습니다.

Resources related to being a contrarian.
1. http://www.paulgraham.com/think.html
2.https://hbr.org/2021/09/how-to-be-a-smart-contrarian
3. http://www.paulgraham.com/newthings.html
4. paulgraham.com/marginal.html
5. https://www.nytimes.com/.../the-contrarian-peter-thiel...
6. https://www.nytimes.com/.../review-contrarian-peter-thiel...
7. https://blog.samaltman.com/the-strength-of-being...
8. https://waitbutwhy.com/.../the-cook-and-the-chef-musks...

CBInsight의 Global AI 투자 관련 리포트. 보고서에 따르면 2023년 1분기에 AI에 대한 투자가 크게 감소한 것으로 밝혀졌습니다. 몇몇 생성형 AI 스타트업의 성장에도 불구하고, 전반적인 VC 시장의 침체를 AI 부문도 빗겨가지 못했습니다. 이 리포트의 주요 8가지 포인트를 정리하면 다음과 같습니다.
1. 글로벌 AI 벤처 투자금액은 전 분기 대비 43% 감소하여 총 54억 달러에 머물렀습니다. 이는 2018년 1분기 이후 분기당 투자액이 가장 낮은 수치입니다.
2. 투자 건수도 4분기 연속 감소하여 554건으로 2017년 4분기 이후 최저 수준을 기록했습니다.
3. 지난 분기 가장 큰 규모의 5개 투자 중 3개는 생성형 AI 스타트업이었습니다. 생성형 AI가 AI 섹터 전체에 대한 관심과 모멘템을 이끌어간다는 메시지로 읽을 수 있습니다. 하지만, 생성형 AI 부문에 대한 관심이 AI 섹터 전체에 대한 광범위한 불황을 극복하기는 역부족이었다는 평가입니다.
4. 2023년 1분기에 5개의 새로운 AI 유니콘이 등장했으며, 그중 3개는 생성형 AI 기업이었습니다: Anthropic, Adept, Character.AI. 미국은 AI 유니콘의 수중 64%를 배출했습니다.
5. AI애 대한 VC투자 중 Late stage에 대한 투자는 더욱 급격히 감소하여 25만 달러로 팬데믹 이전 수준보다 오히려 낮은 규모를 보였습니다.
6. 미국 전반적으로 AI 투자는 전 분기 대비 27% 감소했습니다. 그러나 실리콘밸리는 반등하여 직전 분기 대비 투자금이 41% 증가하고 거래건 수 기준 20% 증가했습니다. 주로 생성형 AI 스타트업에 대한 투자가 대부분이었습니다.
7. 아시아에 기반을 둔 스타트업에 대한 투자는 급감하여 2016년 4분기 이후 최저 수준에 도달했습니다. 이는 주로 중국에서 AI 투자 활동이 둔화되었기 때문으로 분석됩니다. 유럽의 AI 자금 조달도 하락했지만 팬데믹 이전 수준을 유지했습니다.
8. 전 분기 대비 AI 기업의 인수합병(M&A) 거래 건수는 12% 증가했지만, 기업공개(IPO) 및 특수목적 인수합병 회사(SPAC)와 같은 Exit 사례는 전무했습니다.

https://fleuret.org/public/lbdl.pdf

모바일에서 읽기 좋은 형식의 Deep Learning Content

DeepL 2017년 독일에서 창업

2019년부터 구글 번역기보다 검색양이 늘어남.

Perplexity는 꾸준히 검색관련해서 늘고 있음.

Neeva는 출시 이후 잠깐 Traffic이 있었다가 계속 정체.

Auto GPT도 최근 크게 인기를 끌었다가 다시 감소세.

Founders, Prepare for the freezingly cold winter.

Series A is really fricking hard to do right now.

Investing with an unknown Series B and C market in 9-18 months is making a lot of Series A investors sit on the sidelines for the time being.

@HarryStebbings
님에게 보내는 답글
Always shocks me how momentum driven the VC market is. Investing into a downturn results in the best returns.

The biggest businesses will be built out of this downturn, yet VC’s are all pulling back out of fear.

다음주 AI 관련 밋업을 준비중인데요 ㅎㅎ
지금 고려하고 있는 주제는 아래와 같아요!

1. 의료 관련 AI Status: Google's Medical Palmistry (Med-Palm)
2. Drag Your GAN: Interactive Point-based Manipulation on the Generative Image Manifold:
3. AI 관련 새롭게 나올 수 있는 인프라 사업들
4. Vision 동향
5. 스타트업 창업/ 투자의 기회

혹시 AI 밋업에서 깊게 논의할만한 주제가 어떤 게 있을까요?~ 아이디어 있으신 분들은 편하게 @MatthewMinseokKim으로 DM 주세요 🙏

제가 AI 뉴비라…. 여러분들의 많은 관심과 도움이 절실합니다 ㅎㅎ 🤗