Chatbot on Instagram: https://twitter.com/alex193a/status/1665825192398995469?s=20

Snap AI chat bot feature: https://youtu.be/jTU0OeNBx7s

It seems we're witnessing a ubiquitous integration of chatbots across industries!

From B2C platforms like Instagram and Snapchat introducing AI-based features like "My AI," to gaming and social media sectors exploring a multitude of use cases, the transformative power of AI is becoming increasingly apparent.

And let's not forget e-commerce. Consider Instacart's innovative 'Ask Instacart' feature, an AI-powered search tool designed to handle all grocery shopping-related queries. The brilliance lies in integrating natural language chat within Instacart's primary search bar, effectively dealing with inquiries about budgets, dietary specifications, cooking skills, and personal preferences. It's a glimpse into a future where every product might be supported by purpose-driven chatbots like this one.

For more information, follow this link: https://twitter.com/aakashg0/status/1666302406383239168?s=46&t=h5Byg6Wosg8MJb4pbPSDow

Even SaaS companies aren't shy about embracing AI. Take Zoom, for instance. They recently rolled out an AI assistant for their meetings, a development that could ignite intense competition among startups aiming to offer similar solutions.

As we step further into the AI era, I'm curious to hear from you. What AI services have truly fascinated you lately? Or do you have an idea for an AI service that doesn't exist yet but should? I'm looking forward to reading your innovative ideas and insights in the comments!

Feel free to share your thoughts and experiences on this growing trend.

Personal Assistance

https://www.nature.com/articles/s41586-023-06004-9

1. What is it?
Researchers have discovered new sorting algorithms that are faster than any existing algorithms.
The new algorithms were discovered using deep reinforcement learning, a type of artificial intelligence.
The new algorithms could be used to speed up a wide variety of tasks, such as sorting data, searching for information, and comparing files.
The research is still in its early stages, but it has the potential to revolutionize the way we sort data.


2. Why does it matter?
Sorting data is a fundamental operation in many computer algorithms.
Faster sorting algorithms could lead to significant performance improvements in a wide variety of applications.

1. Data mining and machine learning: Sorting is a fundamental operation in data mining and machine learning algorithms. Faster sorting algorithms can lead to faster execution times for these algorithms, which can be beneficial for tasks such as classification, regression, and clustering.
2. Databases: Sorting is often used to improve the performance of database queries. For example, a database server might sort the results of a query before returning them to the client. Faster sorting algorithms can lead to faster query times, which can improve the overall performance of the database.
3. Graphics and animation: Sorting is often used to sort objects in a scene before rendering them. For example, a graphics engine might sort objects by their distance from the camera before rendering them. Faster sorting algorithms can lead to faster rendering times, which can improve the overall performance of the graphics engine.
4. Scientific computing: Sorting is often used in scientific computing applications, such as numerical methods and simulations. Faster sorting algorithms can lead to faster execution times for these applications, which can be beneficial for tasks such as solving differential equations and simulating physical systems.

The research could lead to the development of new algorithms for other computational problems.

3. How could we use the research
- The new algorithms could be used to speed up existing sorting algorithms.
- The new algorithms could be used to develop new sorting algorithms for specific applications.
- The new algorithms could be used to improve the performance of other computer algorithms that rely on sorting.

4. challenges that still need to be addressed:
The new algorithms are still computationally expensive.
The new algorithms have not been thoroughly tested in real-world applications.
The new algorithms may not be suitable for all sorting problems.

VC 는 High Risk, High Return 을 추구하는 대표적인 업이다.

과장이 섞여 있긴 하지만, 100개 중 95개가 망해도 5개가 크게 성공하면 큰 이익을 보는 업으로도 알려져 있다.

최근 실리콘밸리 내 초창기 기업 중심으로 투자하는 VC에 계신 지인 분과 대화하며, 왜 스타트업 투자가 어려운지? 그런데 왜 이 업을 계속 하시는지? 물어보며 대화할 기회가 있었다.

그 분과 나눈 대화의 핵심은 아래와 같다.

"능력이 좋아 보이는 사람은 많아도, 오래 버티는 사람은 드물다.
오래 버티는 사람은 있어도, 진짜 잘하는 사람은 드물다.
잘하는 사람은 있어도, 인격과 리더십을 겸비한 사람은 드물다.
인격과 리더십을 겸비한 사람은 있어도, 운까지 타고 나는 팀은 드물다.

한 마디로, 능력이 있으면서도, 오래 버티면서도, 잘 하면서도, 좋은 팀을 구축/운영하면서도, 운 때를 기다리고 그 운을 탈 수 있는 사람을 찾는 것은 매우 어렵다.

그래도 우리는 그런 가능성이 있는 사람을 찾아 투자한다. 결국 스타트업은 사람이 세상을 바꿔나가는 업이기 때문이다. 그리고 우리가 투자한 팀이 빼어난 제품을 앞세워 시장과 세상을 바꿔나가는 광경을 볼 때 투자자로서 큰 보람을 느낀다"

그 분과 대화하며 스스로를 돌아보게 되었다. 약 3년 뒤, 나는 능력, 지구력/집념, 성과를 만들어 낸 경험, 리더십, 그리고 운을 가지고 있었던 사람으로 평가 받을 수 있을까?

이 구역에서 큰 성공을 만들어 내는 것이 매우 어렵지만, 그래서 더 해내고 싶다는 생각이 드는 하루였다.

Product Design - Karri Saarinen (Linear) Founder and CEO of Linear.

Sam pointed out that the Chat GPT Plugin has not yet achieved product-market fit (PMF), particularly when compared to ChatGPT. Nonetheless, the tool has received validation from a significant number of developers and users, suggesting that the GPT plugin could be a valuable resource for both B2C and B2B service providers. This is especially relevant given the current importance of Facebook advertising. Lately, I’ve noticed several Twitter threads, like this one (https://twitter.com/itsPaulAi/status/1666435102769905664), where people are promoting their ChatGPT plugins to attract more users. I’d be interested to hear your thoughts on this matter.

구글의 딥마인드는 2016년의 알파고에 이은, DQN 기반 강화학습의 끝판왕 격인 알파제로 (alphazero)로도 유명합니다. 딥마인드는 바둑, 체스, 장기 같은 게임의 승리 확률을 최대로 높이는 방식을 거의 그대로 차용하여, 강화학습으로 풀 수 있는 수많은 문제들에 대해 도전하고 있습니다. 몇 년 전에는 반도체 칩의 component 배치를 최적화하여 칩 성능을 획기적으로 개선시킬 수 있는 floorplanning 문제 (layout optimization)나 단백질의 아미노산 시퀀스가 주어졌을 때, 이들의 3차원 접힙 그리고 결정구조까지 추정할 수 있는 alphafold2 같은 알고리즘을 보고하기도 했습니다.

6월 7일자로 딥마인드의 연구진이 네이쳐지에 보고한 최근 연구 결과는 다름 아닌 정렬 알고리즘에 대한 개선입니다. 정렬은 우리가 매일 같이 활용하는 검색엔진부터 시작하여, 산업의 곳곳에서 데이터를 처리할 때 수도없이 반복적으로 활용되는 알고리즘입니다. 그리고 이러한 알고리즘들은 대개 C++로 짜여있고 오픈소스화되어 업데이트되고 있습니다. 딥마인드가 주목한 것은 단순히 정렬에 필요한 논리-산술 계산 (주로 비교)에 필요한 계산 시간을 줄이는 것을 넘어, 각 요소들이 메모리에 할당되고 다시 불려오는 보다 기초적인 (즉, 그야말로 폰노이만 구조 컴퓨터 과학의 원리에 가까운) 방식에서의 시간 절약에 대한 것이었습니다. C++만해도 사용자들이 직관적으로 이해할 수 있는 코드인 high-level language이지만, 사실 C++의 코드를 컴퓨터가 바로 이해하는 것은 아닙니다. 이를 컴퓨터가 이해할 수 있게 하려면 어셈블리어 같은 low-level language (기계어)가 필요한데, 어셈블리어에서는 보다 직관적인 메모리 관리와 할당 연산이 코딩됩니다.

딥마인드사는 자사가 개발한 alphazero 기반 강화학습 엔진인 AlphaDev라는 DQN기반 딥러닝 엔진을 이용하여 이러한 정렬 알고리즘의 기반을 이루는 어셈블리어 코드를 최적화하는 것에 주안을 두었습니다. 그들의 보고에 따르면 정렬 알고리즘에서 가장 원초적인 단계인 몇 개 안 되는 요소들의 비교와 자리 바꾸기 단계에서 많은 성능의 개선을 보였고 (~70%), 이를 이용한 해시 계산에서도 30% 정도의 개선을 보였다고 합니다.

매일 같이 수천조 번 이상 반복되면서 활용되는 정렬 알고리즘에서 이 정도의 속도 개선이 있다는 것은 그만큼 컴퓨팅 시간이 줄어듦을 의미하는 동시에, 그에 필요한 에너지를 절약할 수 있음을 의미합니다. 실제로 이 개선이 얼마나 광범위하게 보급될지 모르겠지만, 딥마인드사는 자사의 결과를 C++ 라이브러리에 업데이트하면서 공개했기 때문에, 빠른 보급이 예상되기도 합니다.

정렬 알고리즘의 원리와 그 중요성, 딥마인드사가 찾아낸 개선 아이디어, 그리고 그 파급효과에 대해 더 자세히 알고 싶은 분들은 답글의 링크를 확인해 주시면 좋을 것 같습니다.

https://alook.so/posts/Vntez6R?fbclid=IwAR3Q3gOlmtp48-y8RLtMNzKJaTcN0gAi2Plbnf7XacLyv4XzsI7sHy-Zux0

Hopefully, people won't pose overly general questions, and will instead moderate the discussion to allow technically-minded individuals to ask their questions during Sam's session.

Sam Altman recently said that he doesn't believe that ChatGPT plugins have product-market fit beyond browsing.
A few hypotheses on why (not mutually exclusive):

Correct concept but not good enough yet:

• GPT-4 picks the wrong plugins or fails to chain together multiple calls reliably. This is the major problem with most agent or plugin frameworks — they don’t work. They might be able to initiate a call to an external API but are so brittle that they often break or misbehave quickly. Whether or not we need bigger models or more specific ones (i.e., fine-tuned), I’m not sure.

• The killer-app plugins have yet to be developed.

• Larger context windows mean more plugins can be called simultaneously, unlocking more powerful workflows.

The concept is not correct:

• Altman alludes to this in the post (paraphrased by the author) — a lot of people thought they wanted their apps to be inside ChatGPT, but what they really wanted was ChatGPT in their apps.

• LLMs will have “horizontal” extensions, such as connecting them to a web search or a database, but they will not call generic APIs through an App Store-like interface. Each use case will need a specific interface.

Correct concept, but not the right implementation:

• Chat is not the right UX for plugins. If you know what you want to do, it’s often easier to just do a few clicks on the website. If you don’t, just a chat interface makes it hard to steer the model toward your goal.

• Too expensive to serve at the current price — GPT-4 has a quota of 25 messages every 3 hours. This might not be enough for users to reach the “aha moment.”

• Not the right UX in some other way (e.g., having users choose plugins ahead of time, OpenAPI specification not the correct interface).

• Can’t aggregate enough demand with a plugin system that only works with a single model and needs broader adoption (potentially open-source). Building a successful app store is hard — and often doesn’t lead to the monopolies observed by Apple’s iOS App Store (see necessary conditions for an app store monopoly).

https://twitter.com/mattrickard/status/1666618088371138560?s=46&t=h5Byg6Wosg8MJb4pbPSDow

Why gpt plugin didn’t find pmf yet.

the most special thing about openai is the culture of repeatable innovation.

it is relatively easy to copy something; it’s hard to do something for the first time. it’s really hard to do many things for the first time!

https://twitter.com/Jason/status/1666874006799278081?s=20

I believe that countries lacking a serious foundational model should be worried about their future. They need to establish concrete strategies and take all necessary steps to prevent themselves from falling too far behind.

https://youtu.be/MyTYAz82-V4

샘 알트먼 대담 관련 메모

1. Ego가 강한 리서처 엔지니어를 어떻게 협업할 수 있게 하나?
- Deepmind 등 다른 조직에 물어보면 마음이 어떻게 작동하는지 궁금해서 이런 연구를 해보고 싶다고 하지만, OpenAI에 있는 팀은 큰 임팩트를 만들기 위해 일한다.
- 공통의 목적에 집중하는 이기적이지 않은 구성원이 중요하다
2. Startup 3단계
1. Vision Stage: 아무것도 없고 이루고 싶은 꿈을 보고 온 사람들
2. Scale Stage: PMF를 찾고 고객군을 Expansion하고 있는 단계
3. Mature & Growth: 꽤 유명해지고 영향력도 커진 상황
- 이 때 오히려 유행때문에 온 사람과 진심으로 이 문제를 풀고 싶은 사람의 차이를 알아내는 게 어려움.
3. AI 시대에 우리는 어떤 스킬을 배워야하나?
- 기술 그자체는 계속 바뀜. 문제를 어떻게 정의하고 어떻게 해결할 수 있는지를 생각하면서 발전하는 기술을 잘 사용하는게 더 중요함.
- 학생들은 어떻게 생존해야하는지에 대한 질문에 대해서, 지금 시대의 학생들은 생산성의 기울기가 바뀌는 지점에 있기 때문에 생존이 아니라 번영할 수 있는 엄청난 타이밍이라고 생각한다.
- 소프트웨어가 아주 중요한 기술인데 단순히 특정 코드를 잘 짜는 문제를 넘어 *컴퓨터로 하여금 내 의도를 달성할 수 있게 하는 게 중요하다. 이를 하기 위해서는 Low-level, 특정 메커니즘이 어떻게 작동하는지를 잘 이해해야한다. GPT-4를 출시하고 나서 코드나 AI를 잘 몰랐던 사람들이 AI Application을 만드는 사례들을 자주 보고 있다.*
- Navigating through AI and going with it extremely open mind
4. OpenAI에서 경험했던 가장 힘들었던 실패는 무엇인가?
1. Sam: 외부에서 보면 우리는 성공의 가도를 경험했다고 생각하지만 0% 성공에 베팅하는 느낌이었다. 아이디어는 많지만 실제로 되진 않고 사람들의 신뢰를 얻기 어려웠다. 리서치할수록 얼마나 많은 인재, 돈이 필요한지도 몰라서 어려웠다.
2. Greg: 전세계 게임의 AI 지능을 측정하는 플랫폼인 OpenAI Universe를 만들려고 했는데 기술이 따라와주지 않았다. 반대로 GPT-3는 모델은 있었으나 뭘 해야할지 몰랐음. 그래서 SF에서 여러 고객을 만나면서 초기 고객을 확보할 수 있었음. 기술이 있는 상태에서 고객을 만나면서 뭔가를 구체화해나갔다.
5. AI startup에게 PMF를 찾았다는 건 어떤 의미인가?
- Sam: Iphone 이후에 2008년에 모바일 스타트업이 많이 나왔다. AI도 똑같다. AI Startup이라고 생각하는 것 자체가 틀릴 수 있다. Product-market fit is when a product is so exceptional that friends and family spontaneously talk about it. You certainly know it.
- 특정 도메인에 깊게 조사하면서, 다른 사람이 하고 있지 않은 일을 더블다운해서 문제를 해결해봐라.
6. AI가 사회에 미치는 파급력?
- 일자리를 많이 없앨수도 있지만 새로운 일자리도 나올 수 있다. AI가 마지막 혁명은 아니다. 우리가 상상을 못할 뿐이다. 내가 두려운 건 우리가 이걸 조절못하는 게 아니라 이 속도가 너무 빨라서 발생하는 부작용이다.
- 사람들의 생산성이 늘어나면서 경제적으로 일자리 적으로도 많은 변화가 있을거다. 기술의 발전을 보면 2세기 정도면 많은 사람들이 사회 구조에 적응한다.
7. OpenAI는 독점 회사인가?
1. 전기가 개발된 뒤 GE는 세탁기로 돈 많이 벌었다. 세탁기 말고도 전기가 우리 인류에 가져온 변화는 많다.
2. OpenAI의 미션은 AGI를 만드는 것이다. 그외에 신약 개발과 같은 문제를 우리가 풀 생각은 없다.

생각해볼만한 지점

1. OpenAI가 안가려고 하는 방향에서 가치있는 무언가를 만들어볼 수 있다.
1. 제약, 방산, 게임, 엔터 등에서 직접 문제를 해결한다.
2. 그리고 이런 팀들이 꼭 필요할 수밖에 없는 무언가를 제공한다.
2. AGI를 만드는 데에 필요한 영역이 아니라면 본인들이 직접할 생각이 없다.
1. 파인튜닝 마켓 플레이스가 만들어지면 반드시 필요한 인프라는 무엇인가?
2. 그외에 OpenAI가 직접하지 않지만 중요한 인프라는?