Harvey charges his customers a lot of money and they don't seem to mind paying it.
https://twitter.com/leveredvlad/status/1680977288467234817
https://twitter.com/leveredvlad/status/1680977288467234817
Twitter
0/ Let me show you why @gabepereyra's Harvey AI is a great business, and why other "Copilots for X" may not be.
A very quick thread ๐งต
A very quick thread ๐งต
์๋ก์ด ๋ธ๋ก๊ทธ ๊ฒ์๋ฌผ! ์ ๋๋ ์ดํฐ๋ธ AI x ๊ฒ์์ ๊ฐ์ฅ ํฐ ๊ธฐํ๋ ์๋ก์ด ์นดํ
๊ณ ๋ฆฌ์ ํ๋ ์ด๋ฅผ ์ฌ๋ ๊ฒ์
๋๋ค ๏ฟฝ๏ฟฝ. ์ ๋ํฐ๋ AI ํผ์คํธ ๊ฒ์์ ์ด๊ธฐ ๋ชจ์ต์ ์ฟ๋ณด๊ณ ์์ผ๋ฉฐ ๊ทธ ์ ์ฌ๋ ฅ์ ์์ฒญ๋ฉ๋๋ค. ์ ๋ํฐ๊ฐ ๊ธฐ๋ํ๋ ๋ช ๊ฐ์ง ๋ถ์ผ๋ฅผ ์๊ฐํฉ๋๋ค ๏ฟฝ๏ฟฝ.
1/ ์ ๋๋ ์ดํฐ๋ธ ์์ด์ ํธ - ์๋ฎฌ๋ ์ด์ ๊ฒ์ ๋ด ์์ด์ ํธ์ LLM์ ์ ์ฉํ์ฌ ๋๋๋๋ก ์ค์ ์ ๊ฐ์ ํ๋์ ๊ตฌํํฉ๋๋ค. ์์ ์น์์ ํ์ต๋ LLM์ ํตํด ๊ฒ์ ๋์์ด๋์ ์์๋ ฅ๋ฟ๋ง ์๋๋ผ ์ธ๊ฐ ์ฌํ์ ์์ธก ๋ถ๊ฐ๋ฅ์ฑ์ ๋ฐ์ํ๋ ์๋ก์ด ์ข ๋ฅ์ ์๋ฎฌ๋ ์ด์ ๊ฒ์์ด ๋ฑ์ฅํ๊ณ ์์ต๋๋ค. 24์๊ฐ ๋ด๋ด ๋ฉํฐ ์์ด์ ํธ ์๋ฎฌ๋ ์ด์ ์ ๋ณด๋ ๊ฒ์ ์ฐจ์ธ๋ ํธ๋ฃจ๋จผ ์ผ๊ฐ ๋ ์ ์์ผ๋ฉฐ, ์์์น ๋ชปํ ๋ฐฉ์์ผ๋ก ๋์์ด ์ฌ๋ฏธ์๊ฒ ์ฆ๊ธธ ์ ์์ต๋๋ค.
2/ ๊ฐ์ธํ - ๋ชจ๋ ํ๋ ์ด์ด์๊ฒ ๊ณ ์ ํ ๊ฒ์ํ๋ ์ด ๊ฒฝํ์ ์ ๊ณตํ์ฌ ๋ชฐ์ ๋์ ์ฌํ๋ ์ด ๊ฐ๋ฅ์ฑ์ ๊ทน๋ํํฉ๋๋ค. ์ฌ๋ก ์ฐ๊ตฌ: GTA 5๋ ํ์ฌ ๊ณต์ ๊ฒ์๋ณด๋ค ๊ฐ์ธํ๋ ๋กคํ๋ ์ ์๋ฒ์์ ๋ ๋ง์ ํ๋ ์ด์ด๋ฅผ ๋ง๋๊ณ ์์ต๋๋ค.
3/ AI ์คํ ๋ฆฌํ ๋ง - ๋ฌดํํ ์ธ๋ด์ฌ์ ๊ฐ์ง AI ์คํ ๋ฆฌํ ๋ฌ์ ์๋ด์ ๋ฐ๋ผ ์ข์ํ๋ IP ์ธ๊ณ์์ ์ํ๋ ๋งํผ ์๊ฐ์ ๋ณด๋ผ ์ ์์ต๋๋ค.
4/ ๋ค์ด๋ด๋ฏน ์๋ - ํ๋ ์ด์ด๊ฐ ๊ฒ์์ ์งํํ๋ฉด์ ์ค์๊ฐ์ผ๋ก ๋ ๋ฒจ๊ณผ ์ฝํ ์ธ ๋ฅผ ์์ฑํฉ๋๋ค. ์คํ ๋ฆฌ์ ์๋๋ฅผ ๋ด๋นํ๋ AI ๋๋ ํฐ๊ฐ ์์ผ๋ฉด ๋งค๋ฒ ํ๋ ์ดํ ๋๋ง๋ค ๋ฐ๋๋ โ๋ค๋ฒ์๋ฉโ ๊ฒ์์ ๋ง๋ค ์ ์์ต๋๋ค. ์ฅ๊ธฐ์ ์ผ๋ก๋ ๊ฒ์์ด ๋ ์ด์ ๋ ๋๋ง๋์ง ์๊ณ ์ ๊ฒฝ๋ง์ ์ฌ์ฉํ์ฌ ๋ฐํ์์ ์์ฑ๋๋ ๋ฏธ๋๋ฅผ ๋ณผ ์ ์์ต๋๋ค. ์ธ์ ๊ฐ ๋ทํ๋ฆญ์ค ์ํ์์ โ์ํธ์์ฉโ์ ํด๋ฆญํ๊ณ ๋ชจ๋ ์ฅ๋ฉด์ด ์์ฑ๋๊ณ ๊ฐ์ธํ๋ ๊ฐ์ ์ธ๊ณ๋ก ๋ค์ด๊ฐ ์ ์๊ฒ ๋ ๊ฒ์ ๋๋ค.
5/ AI ๋ถ์กฐ์ข ์ฌ - ๋ชจ๋ ๊ฒ์์ AI ๋๋ฐ์๋ฅผ ํตํฉํ์ฌ ์ํ๋ ๋๋ก ์ฝ์นํ๊ณ ํจ๊ป ํ๋ ์ดํ ์ ์์ต๋๋ค. UGC ์ ์ ๋์ฐ๋ฏธ๋ถํฐ ํ๋ ํํธ๋, e์คํฌ์ธ ์ฝ์น์ ์ด๋ฅด๊ธฐ๊น์ง ๋ชจ๋ ๊ฒ์์ AI ๋ถ์กฐ์ข ์ฌ๊ฐ ์๋ ๋ฏธ๋๋ โํผ์์๋ ์ข๊ณ , AI์ ํจ๊ปํ๋ฉด ๋ ์ข๊ณ , ์น๊ตฌ์ ํจ๊ปํ๋ฉด ๋ ์ข๋คโ๋ ๋ชจํ ์ ๋ฐ๋ผ ์ด๋ฃจ์ด์ง ๊ฒ์ผ๋ก ๋ณด์ ๋๋ค.
์์ง ์ด๊ธฐ ๋จ๊ณ์ด์ง๋ง ์ ๋ํฐ๋ ๋ง์ ์ฌ๋ฅ ์๋ AI x ๊ฒ์ ํ์ด ๋ง๋ค์ด์ง๊ณ ์๋ค๋ ์ฌ์ค์ ํฐ ๊ธฐ๋๋ฅผ ๊ฑธ๊ณ ์์ต๋๋ค. ๋ ๋ง์ ์ฌ๋ก๋ ์ ๋ํฐ ๋ธ๋ก๊ทธ์์ ํ์ธํด๋ณด์ธ์!
https://a16z.com/2023/07/19/the-neverending-game-how-ai-will-create-a-new-category-of-games/
1/ ์ ๋๋ ์ดํฐ๋ธ ์์ด์ ํธ - ์๋ฎฌ๋ ์ด์ ๊ฒ์ ๋ด ์์ด์ ํธ์ LLM์ ์ ์ฉํ์ฌ ๋๋๋๋ก ์ค์ ์ ๊ฐ์ ํ๋์ ๊ตฌํํฉ๋๋ค. ์์ ์น์์ ํ์ต๋ LLM์ ํตํด ๊ฒ์ ๋์์ด๋์ ์์๋ ฅ๋ฟ๋ง ์๋๋ผ ์ธ๊ฐ ์ฌํ์ ์์ธก ๋ถ๊ฐ๋ฅ์ฑ์ ๋ฐ์ํ๋ ์๋ก์ด ์ข ๋ฅ์ ์๋ฎฌ๋ ์ด์ ๊ฒ์์ด ๋ฑ์ฅํ๊ณ ์์ต๋๋ค. 24์๊ฐ ๋ด๋ด ๋ฉํฐ ์์ด์ ํธ ์๋ฎฌ๋ ์ด์ ์ ๋ณด๋ ๊ฒ์ ์ฐจ์ธ๋ ํธ๋ฃจ๋จผ ์ผ๊ฐ ๋ ์ ์์ผ๋ฉฐ, ์์์น ๋ชปํ ๋ฐฉ์์ผ๋ก ๋์์ด ์ฌ๋ฏธ์๊ฒ ์ฆ๊ธธ ์ ์์ต๋๋ค.
2/ ๊ฐ์ธํ - ๋ชจ๋ ํ๋ ์ด์ด์๊ฒ ๊ณ ์ ํ ๊ฒ์ํ๋ ์ด ๊ฒฝํ์ ์ ๊ณตํ์ฌ ๋ชฐ์ ๋์ ์ฌํ๋ ์ด ๊ฐ๋ฅ์ฑ์ ๊ทน๋ํํฉ๋๋ค. ์ฌ๋ก ์ฐ๊ตฌ: GTA 5๋ ํ์ฌ ๊ณต์ ๊ฒ์๋ณด๋ค ๊ฐ์ธํ๋ ๋กคํ๋ ์ ์๋ฒ์์ ๋ ๋ง์ ํ๋ ์ด์ด๋ฅผ ๋ง๋๊ณ ์์ต๋๋ค.
3/ AI ์คํ ๋ฆฌํ ๋ง - ๋ฌดํํ ์ธ๋ด์ฌ์ ๊ฐ์ง AI ์คํ ๋ฆฌํ ๋ฌ์ ์๋ด์ ๋ฐ๋ผ ์ข์ํ๋ IP ์ธ๊ณ์์ ์ํ๋ ๋งํผ ์๊ฐ์ ๋ณด๋ผ ์ ์์ต๋๋ค.
4/ ๋ค์ด๋ด๋ฏน ์๋ - ํ๋ ์ด์ด๊ฐ ๊ฒ์์ ์งํํ๋ฉด์ ์ค์๊ฐ์ผ๋ก ๋ ๋ฒจ๊ณผ ์ฝํ ์ธ ๋ฅผ ์์ฑํฉ๋๋ค. ์คํ ๋ฆฌ์ ์๋๋ฅผ ๋ด๋นํ๋ AI ๋๋ ํฐ๊ฐ ์์ผ๋ฉด ๋งค๋ฒ ํ๋ ์ดํ ๋๋ง๋ค ๋ฐ๋๋ โ๋ค๋ฒ์๋ฉโ ๊ฒ์์ ๋ง๋ค ์ ์์ต๋๋ค. ์ฅ๊ธฐ์ ์ผ๋ก๋ ๊ฒ์์ด ๋ ์ด์ ๋ ๋๋ง๋์ง ์๊ณ ์ ๊ฒฝ๋ง์ ์ฌ์ฉํ์ฌ ๋ฐํ์์ ์์ฑ๋๋ ๋ฏธ๋๋ฅผ ๋ณผ ์ ์์ต๋๋ค. ์ธ์ ๊ฐ ๋ทํ๋ฆญ์ค ์ํ์์ โ์ํธ์์ฉโ์ ํด๋ฆญํ๊ณ ๋ชจ๋ ์ฅ๋ฉด์ด ์์ฑ๋๊ณ ๊ฐ์ธํ๋ ๊ฐ์ ์ธ๊ณ๋ก ๋ค์ด๊ฐ ์ ์๊ฒ ๋ ๊ฒ์ ๋๋ค.
5/ AI ๋ถ์กฐ์ข ์ฌ - ๋ชจ๋ ๊ฒ์์ AI ๋๋ฐ์๋ฅผ ํตํฉํ์ฌ ์ํ๋ ๋๋ก ์ฝ์นํ๊ณ ํจ๊ป ํ๋ ์ดํ ์ ์์ต๋๋ค. UGC ์ ์ ๋์ฐ๋ฏธ๋ถํฐ ํ๋ ํํธ๋, e์คํฌ์ธ ์ฝ์น์ ์ด๋ฅด๊ธฐ๊น์ง ๋ชจ๋ ๊ฒ์์ AI ๋ถ์กฐ์ข ์ฌ๊ฐ ์๋ ๋ฏธ๋๋ โํผ์์๋ ์ข๊ณ , AI์ ํจ๊ปํ๋ฉด ๋ ์ข๊ณ , ์น๊ตฌ์ ํจ๊ปํ๋ฉด ๋ ์ข๋คโ๋ ๋ชจํ ์ ๋ฐ๋ผ ์ด๋ฃจ์ด์ง ๊ฒ์ผ๋ก ๋ณด์ ๋๋ค.
์์ง ์ด๊ธฐ ๋จ๊ณ์ด์ง๋ง ์ ๋ํฐ๋ ๋ง์ ์ฌ๋ฅ ์๋ AI x ๊ฒ์ ํ์ด ๋ง๋ค์ด์ง๊ณ ์๋ค๋ ์ฌ์ค์ ํฐ ๊ธฐ๋๋ฅผ ๊ฑธ๊ณ ์์ต๋๋ค. ๋ ๋ง์ ์ฌ๋ก๋ ์ ๋ํฐ ๋ธ๋ก๊ทธ์์ ํ์ธํด๋ณด์ธ์!
https://a16z.com/2023/07/19/the-neverending-game-how-ai-will-create-a-new-category-of-games/
Andreessen Horowitz
The NeverEnding Game: How AI Will Create a New Category of Games
We believe the largest opportunity long-term is in leveraging AI to change not just how we create games, but the nature of the games themselves.
For years, the tech media had characterized John and Patrick, 34, as boyish business prodigies who monkishly shared an apartment, rode rented e-bikes to work, and preferred reading economic histories and science fiction to ostentatious displays of their growing wealth. John, a student of capitalism who encourages employees to read biographies about moguls like Larry Ellison and John Malone, has lately come into his own as a brass-knuckled manager who has assumed critical leadership roles as his company hurtles toward its next iteration. At the same time, he has been adding a new chapter to his own billionaireโs journey, with a much-loved phrase serving as an epigraph: โThe world is a museum of passion projects.โ
LLM ์ ํ๋ฆฌ์ผ์ด์
์ํคํ
์ฒ๋? (RAG์ ์ดํด์ ๊ธฐ์ ์คํ ํ์)
- ๋น์ฆ๋์ค ๋๋ฉ์ธ ๊ธฐ๋ฐ์ผ๋ก ๋ํ ์ธ์ด ๋ชจ๋ธ (LLM) ์ ํ๋ฆฌ์ผ์ด์ ์ ๊ฐ๋ฐํ๊ณ ์ ํ ๋ (์๋ฅผ ๋ค์ด, ๊ธ์ต์ฌ ๊ณ ๊ฐ ์๋ ์ฑ๋ด) ๋ฌธ์ ๊ฐ ๋๋ ์ ์ LLM์ ์ ๋ณด ๋ถ์กฑ๊ณผ ์ด๋ก ์ธํ ์ ํ๋ ๋ต๋ณ ๋ฅ๋ ฅ์ด๋ค. ์๋ฅผ ๋ค์ด, GPT 3.5๋ 2021๋ 9์ ์ดํ์ ๋ฐ์ดํฐ๊ฐ ์์ผ๋ฏ๋ก ์ต์ ๋ด์ค์ ๋ํ ๋ต๋ณ์ ์ ๊ณตํ ์ ์๋ค.
- ์ด ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ๊ธฐ ์ํ ๋ฐฉ์์ผ๋ก LLM์ ์๋ก์ด ๋ฐ์ดํฐ๋ก ํ์ธํ๋ํ๋ ๊ฒ์ด ์๋ค. ๊ทธ๋ฌ๋ ์ด๋ ์๋นํ ๋น์ฉ์ด ์์๋๋ค. ํ์ฌ ๊ธฐ์ค์ผ๋ก FLAN-T5-XXL (11B) ๋ชจ๋ธ์ CNN ๋ฐ์ผ๋ฆฌ ๋ฉ์ผ ๋ฐ์ดํฐ์ 1๊ฐ์ ๋ํด ํ์ธํ๋ํ๋ฉด ์ฝ 77๋ง ์์ด ๋ค๊ฒ ๋๋ค.
๋ ๋ค๋ฅธ ๋์์ผ๋ก๋ ์ฐ๋ฆฌ๊ฐ ์ํ๋ ์ ๋ณด๊ฐ ๋ด๊ธด ๋ฌธ์๋ฅผ ์ง์ ํ๋กฌํํธ ์ฝํ ์คํธ์ ๋ฃ์ด์ฃผ๊ณ ์ํ๋ ์๋ต์ ์ป๋ ๊ฒ์ด๋ค. ์ฐ๊ตฌ์ ๋ฐ๋ฅด๋ฉด ํ๋กฌํํธ์ ๊ฐ์น๋ ๋ฐ์ดํฐ ์ํ ์ฝ 100๊ฐ์ ์คํ๋ ์ ๋๋ผ๊ณ ํ๋ค.
- ํ์ง๋ง ๋ชจ๋ ์ ๋ณด๋ฅผ ์ฝํ ์คํธ์ ์ผ์ผ์ด ๋ฃ์ด์ฃผ๋ ๊ฒ์ ํ์ค์ ์ผ๋ก ๋ถ๊ฐ๋ฅํ๋ค. GPT-4๊ฐ ์ฒ๋ฆฌ ๊ฐ๋ฅํ ์ ๋ ฅ์ ์ต๋ 50ํ์ด์ง ์ ๋๋ก ์ ํ๋๋ค. ์ด๋ฌํ ์ํฉ์์๋ ์ฐ๋ฆฌ๊ฐ ๊ฐ์ง ์ ๋ณด๋ฅผ ๋ฐ์ดํฐ๋ฒ ์ด์ค์ ์ ์ฅํด๋๊ณ , ์ฌ์ฉ์์ ์ง์๊ฐ ๋ค์ด์ฌ ๋ (์๋ฅผ ๋ค์ด, ์ฑ๋ด์ ํตํด ์ํ ๊ณ์ข๋ฅผ ๊ฐ์คํ๋ ๋ฐฉ๋ฒ์ ๋ฌผ์์ ๋) ๊ด๋ จ๋ ์ ๋ณด๋ฅผ ๊ฒ์ํ์ฌ ํด๋น ์ ๋ณด๊ฐ ๋ด๊ธด ๋ฌธ์๋ค์ ํ๋กฌํํธ๋ฅผ ํตํด LLM์ ์ ๋ฌํ๋ ๋ฐฉ์์ด ๋ ํจ์จ์ ์ด๋ค. ์ด๋ฌํ ์๋น์ค ์ํคํ ์ฒ๋ฅผ โ๊ฒ์ ์ฆ๊ฐ ์์ฑโ(Retrieval Augmented Generation, RAG)๋ผ๊ณ ํ๋ค.
- ์ฐ๋ฆฌ๋ ์ ๋ณด๋ฅผ ์ป๊ธฐ ์ํด LLM์ ํ์ฉํ๋๋ฐ, LLM์๊ฒ ์ ๋ณด๋ฅผ ์ ๋ ฅํ๋ ๋ฐฉ์์ด ๋ค์ ์ด์ํด ๋ณด์ผ ์ ์๋ค. ๊ทธ๋ฌ๋ ์ ๋ณด์ ์ ์์ ์ ๋ณด์ ์ฒ๋ฆฌ(ํด์)๋ ์์ ํ ๋ค๋ฅธ ๊ธฐ๋ฅ์ด๋ค. ์ 2์ฐจ ์ธ๊ณ ๋์ ๋ ์๊ตญ ์ ๋ณด๋ถ๋ ๋ ์ผ๊ตฐ์ ์ํธ๋ฅผ ์ป์ด์ ์จ๋ฐ ํ๋ง์๊ฒ ์ ๋ฌํ๋ค. ๊ทธ๋ฌ๋ฉด ํ๋ง์ ์ฝ๋ก์์ค ๋จธ์ ์ด ์ด ์ํธ๋ฅผ ํด์ํด ์ฃผ์๋ค. ์ด๋ฐ ๋ชจ์ต์ ๋จธ๋ฆฟ์์ ๊ทธ๋ ค๋ณด๋ฉด ์ดํด๊ฐ ๋น ๋ฅผ ๊ฒ์ด๋ค. ์ด๋ ๊ฒ ๋ถ์ ์ด ๊ฐ๋ฅํ ์ด์ ๋ ๋ฐฐ์ฐ์ง ์์ ์ ๋ณด๋ฅผ ์ผ๋ฐํํ์ฌ ํด์ํ๋ LLM์ ๋ฅ๋ ฅ์ด ๋งค์ฐ ์ฐ์ํด์ง ๊ฒฐ๊ณผ์ด๋ค. (์ด๋ฅผ ์ ๋ก์ท ํ์ต ๋๋ ์ธ-์ฝํ ์คํธ ํ์ต์ด๋ผ๊ณ ๋ ํ๋ค.) ๋ค์ ๋งํด, ์ด๋ ์ ๋ ์ผ๋ฐํ ์ฑ๋ฅ์ด ์๋ ์ธ์ด ๋ชจ๋ธ์ด ์๋๋ผ๋ฉด ์ด๋ฌํ ์ํคํ ์ฒ๋ฅผ ์ฌ์ฉํ๊ธฐ ์ด๋ ค์ธ ๊ฒ์ด๋ค.
์ด์ ๋ถํฐ ์ธ์ด ๋ชจ๋ธ ์ฑ๋ฅ์ ํฅ์์ํค๊ธฐ ์ํด ๊ฒ์์ ํ์ฉํ๋ ์๋๊ฐ ๋ง์์ผ๋ฉฐ, ๋ํ์ ์ผ๋ก RETRO์ REARM์ด ์๋ค. ํ์ง๋ง ํ์ฌ๋ RAG ์ํคํ ์ฒ๊ฐ ์ฐ์ ๊ณ์์ ์ฃผ๋ชฉ๋ฐ๊ณ ์๋ค. ์ด๋ ๋น์ฝ์ ์ผ๋ก ํฅ์๋ ์ธ-์ฝํ ์คํธ ํ์ต ๋ฅ๋ ฅ๊ณผ ๋ชจ๋ธ ํ์ต์ด ๋ฐ๋ก ํ์ํ์ง ์์ ํธ๋ฆฌํจ ๋๋ฌธ์ด๋ค.
- RAG ์ํคํ ์ฒ์ ์ฃผ๋ ์์ ํ๋ฆ์ ์ดํด๋ณด์. ์ฒซ ๋ฒ์งธ ์์ ํ๋ฆ์, ์ฐ๋ฆฌ๊ฐ ๊ฐ์ง ์ ๋ณด๋ฅผ ๊ฒ์ํ๊ธฐ ์ํด DB์ ์ ๋ณด๋ฅผ ์ ์ฅํ๋ ์ผ์ด๋ค. ๊ด๊ณํ ๋ฐ์ดํฐ๋ฒ ์ด์ค(RDB)์ ์ ํํ๋ ์ ๋ณด๋ฅผ ์ ์ฅํ๊ณ , LLM์๊ฒ SQL ๋ฌธ์ ์์ฑํ์ฌ ๊ฒ์ํ๋๋ก ํ๋ ๋ฐฉ๋ฒ๋ ๊ฐ๋ฅํ๋ค. ๊ทธ๋ฌ๋ ์ฐ๋ฆฌ๊ฐ ๊ฐ์ง ์ ๋ณด๋ ์์ฐ์ด๋ก ์์ฑ๋ ๋ฌธ์ ํ์ผ์ธ ๊ฒฝ์ฐ(์: PDF) ๊ฐ ๋ ํํ๋ค.
์์ฐ์ด๋ฅผ DB์ ์ ์ฅํ๋ ค๋ฉด, ์ผ๋ฐ์ ์ผ๋ก ์ซ์ ํํ๋ก ๋ณํํด์ผ ํ๋ค. ํน์ ๋จ์ด๋ ๋ฌธ์ฅ๋ค์ด ์กด์ฌํ๋์ง ์ฌ๋ถ๋ฅผ ๋ํ๋ด๋ ์ด์ง๊ฐ ๋ฒกํฐ๋ก ๋ณํํ ์ ์์ง๋ง, ๋ณด๋ค ํ๋์ ์ธ ๊ธฐ์ ์ ์๋ฏธ๊ฐ ์ ์ฌํ ๋ฌธ์ฅ๋ค์ด ์ ์ฌํ ๋ฒกํฐ ๊ฐ์ ๊ฐ๋๋ก ๋ณํํ๋ ๊ฒ์ด๋ค. ์ด๋ ๊ฒ ํจ์ผ๋ก์จ ๋ ์์ถ๋ ๊ธธ์ด์ ๋ฒกํฐ ํํ๋ก ์ ๋ณด๋ฅผ ํํํ ์ ์๊ฒ ๋๋ค.
โ์๋ฏธ๊ฐ ์ ์ฌํ๋คโ๋ผ๋ ํํ์ด ๋์๋๋ฐ, ์ด๋ โ์ ๋ณด์ ํด์โ ๊ณผ์ ์ด ํ์ํจ์ ๋ปํ๋ค. ์ด๋ฅผ ์ํด์๋ ์ธ์ด ๋ชจ๋ธ์ ๊ฐ์ ์ด ํ์ํ๋ค. (๋ฐ๋์ LLM์ด ์๋์ด๋ ๋๋ค.) ์์งํ ๋ฌธ์๋ค์ ์์ ์กฐ๊ฐ๋ค๋ก ๋ถํ ํ๊ณ (์ฒญํน), ์ธ์ด ๋ชจ๋ธ์ ํด์์ ํตํด ๋ฒกํฐ ํํ(์๋ฒ ๋ฉ)๋ก ๋ณํํ ํ, ์ด๋ฅผ ๋ฒกํฐ DB์ ์ ์ฅํ๋ค. ์ด ๊ณผ์ ์ ๊ฒ์ ์์ง์ ์ค๋ ๊ธฐ์ ์ด์ง๋ง, ์ต๊ทผ์ ๋ค์ ๊ฐ๊ด๋ฐ๊ณ ์๋ค.
- ๋ฌธ์๋ฅผ ์ ์ ํ๋ ๋ฐ์ดํฐ ์ ์ฒ๋ฆฌ ์์ (ETL)์ ์ฃผ๋ก Databricks, Apache Airflow์ ๊ฐ์ ๊ธฐ์กด ๋๊ตฌ๋ฅผ ์ฌ์ฉํ๋ฉฐ, LangChain ๋๋ LlamaIndex์ ๋ฌธ์ ๋ก๋ ๊ธฐ๋ฅ์ ์ถ๊ฐ๋ก ํ์ฉํ ์๋ ์๋ค.
์๋ฒ ๋ฉ ์์ ์ ์ ์ฒ๋ฆฌ์ ํฌํจ๋๋ฉฐ, OpenAI์ API(text-embedding-ada-002), Cohere, ํ๊น ํ์ด์ค์ BERT, Sentence Transformer, GPT-J ๋ฑ์ ์ฌ์ฉํ ์ ์๋ค. ์๋ฒ ๋ฉ์ LLM ์ฑ์ ์ฑ๋ฅ์ ์ง์ ์ ์ธ ์ํฅ์ ๋ฏธ์น๋ฏ๋ก, ๋งค์ฐ ์ ์คํ๊ฒ ์ ํํด์ผ ํ๋ค. ๋ํ, ์ฐ์ํ ์๋ฒ ๋ฉ์ด๋๋ผ๋ ์ฐ๋ฆฌ๊ฐ ์ํ๋ ์ธ์ด๋ฅผ ์ง์ํ์ง ์๋๋ค๋ฉด ์ฌ์ฉํ ์ ์๋ค.
๋ฐ์ดํฐ๋ฒ ์ด์ค๋ RDB๊ฐ ์๋ ๋ฒกํฐ DB๋ฅผ ์ฌ์ฉํด์ผ ํ๋ค. ํด๋ ์ดํฟ AI ์ฐฝ๋ฆฝ์์ธ ์นฉ ํ์์ด โ๊ทธ๋ํ DB์ ํด๊ฐ 2021๋ ์ด๋ผ๋ฉด, ๋ฒกํฐ DB์ ํด๋ 2023๋ โ์ด๋ผ๊ณ ๋งํ ๊ฒ์ฒ๋ผ ์ด ๋ถ์ผ์ ๋ํ ๊ด์ฌ์ด ๋๋ค. Pinecone์ ์์ ์ ์ธ ํด๋ผ์ฐ๋ ํธ์คํ ๊ธฐ๋ฐ์ผ๋ก ์๋น์ค๋๋ฉฐ, Weaviate, Vespa, Qdrant๋ ๋จ์ผ ๋ ธ๋ ๊ธฐ๋ฐ์ ์คํ์์ค DB์ด๋ค. Chroma, Faiss๋ ๋ก์ปฌ ๋ฒกํฐ ๊ด๋ฆฌ ๋ผ์ด๋ธ๋ฌ๋ฆฌ๋ก, ์๋ฐํ DB๋ ์๋์ง๋ง (์ค๋ฉ ๋ฐ ๋ณต์ ๋ฅผ ํตํ ์ฑ๋ฅ ๋ณด์ฅ, ๋ด๊ฒฐํจ์ฑ ํฅ์, ๋ชจ๋ํฐ๋ง, ์ ๊ทผ ์ ์ด, ๋ฐฑ์ ๊ณผ ์ปฌ๋ ์ ๋ฑ DB์ ์ฃผ๋ ๊ธฐ๋ฅ์ ์ ๊ณตํ์ง ์๊ธฐ ๋๋ฌธ์) ์๋ฒ ๋ฉ ๊ฒ์ ์ฉ๋๋ก ๊ฐ๋ณ๊ฒ ์ฌ์ฉํ ์ ์๋ค. pgvector์ ๊ฐ์ด PostgreSQL OLTP ํ์ฅํ๋ ๋๋ฌผ์ง๋ง ์ฌ์ฉ๋๋ ์์๊ฐ ์๋ค.
- ์์ ํ๋ฆ์ผ๋ก ๋์๊ฐ, ๋ ๋ฒ์งธ ํ๋ฆ์ LLM ์ฑ์ ์ง์๊ฐ ๋ค์ด์ค๋ฉด (์๋ฅผ ๋ค์ด, "์ํ ๊ณ์ข๋ฅผ ๊ฐ์คํ๋ ค๋ฉด ์ด๋ป๊ฒ ํด์ผ ํ๋์?") ์ด ๋ฌธ์ฅ์ ์๋ฒ ๋ฉ ๋ฒกํฐ๋ก ๋ง๋ค๊ณ , ๋ฒกํฐ DB์์ ์์น์ ์ผ๋ก ๊ฑฐ๋ฆฌ๊ฐ ๊ฐ์ฅ ๊ฐ๊น์ด ๋ฌธ์๋ค์ ๊ฒ์ํ์ฌ ๊ฐ์ ธ์จ๋ค.
๊ทธ๋ฌ๋ ๊ณ์ฐํ์ ์ผ๋ก '๊ฐ์ฅ ๊ฐ๊น์ด' ๋ฌธ์ ๋ฒกํฐ๋ฅผ ์ฐพ๋ ๊ฒ์ ๋ฒกํฐ์ ํฌ๊ธฐ (์ฐจ์)์ด ์ปค์ง์๋ก ์ด๋ ค์์ง๋ค. ๋ฐ๋ผ์ '๊ทผ์ฌ์ ์ผ๋ก ๊ฐ๊น์ด' (Approximate Nearest Neighbor, ANN) ๋ฒกํฐ๋ฅผ ๋น ๋ฅด๊ฒ ์ฐพ๋ ๋ฐฉ๋ฒ์ด ์ฃผ๋ก ์ฌ์ฉ๋๋ค. ๋น ๋ฅธ ๊ฒ์์ ์ํด ๋ฒกํฐ๋ ๋ฏธ๋ฆฌ ์ธ๋ฑ์ฑ๋๋ฉฐ, ์ด๋ฅผ ์ํด ๋ฌด์์ ํฌ์, PQ (Product Quantization), LSH (Locality Sensitive Hashing), HNSW (Hierarchical Navigable Small World) ๋ฑ์ ๊ธฐ๋ฒ๋ค์ด ์ ์ฉ๋๋ค. ์ด๋ฌํ ๊ธฐ๋ฒ๋ค์ ์ ๋ฌด์ ๊ตฌํ์ ๋ฒกํฐ DB๋ง๋ค ๋ค๋ฅด๋ฉฐ, ์ด๋ LLM ์ฑ์ ์ฑ๋ฅ์ ์ํฅ์ ๋ฏธ์น๋ฏ๋ก ์ฃผ์๊ฐ ํ์ํ๋ค. ๋ํ, ๋ฒกํฐ ์ธ๋ฑ์ฑ ๋์ ์ ํธ๋ฆฌ๋ ์ง์ ๊ทธ๋ํ ๊ตฌ์กฐ ๋๋ ์ด๋ค์ ์กฐํฉ์ ํ์ฉํ ์ธ๋ฑ์ฑ์ ๊ณ ๋ คํ๊ธฐ๋ ํ๋ค.
๋ํ ์ง์๋ฌธ์ด ๋๋ฌด ๊ฐ๊ฒฐํ๋ค๋ฉด ๊ด๋ จ์ฑ ์๋ ๋ฌธ์๋ฅผ ์ฐพ์์ค๊ธฐ ์ด๋ ค์ธ ์ ์๊ณ ์ด๋ฅผ ๋ณด์ํ๊ธฐ ์ํ ์ฐ๊ตฌ๋ค์ด ์๋ค. ์์ปจ๋, ๊ฐ์์ ๋ฌธ์๋ฅผ ์๋ฒ ๋ฉํ์ฌ ์ง์๋ฅผ ๋ณด๊ฐํ๋ค๊ฑฐ๋ ์ฝํ ์คํธ ๋ฌธ์ ์์ฑ์ ํด๋ฌ์คํฐ๋ง ์๊ณ ๋ฆฌ์ฆ์ ์ ์ฉํ '์์ฑ ํ ์ฝ๊ธฐ' (GenRead) ๊ธฐ๋ฒ ๋ฑ์ด ์๋ค.
- ์ธ ๋ฒ์งธ ์์ ํ๋ฆ์ผ๋ก ์งํ๋ ๋ด์ฉ์ ์ค๋ช ํด๋ณด์. ์ง์์ ๊ด๋ จ ์๋ ๋ฌธ์(์๋ฅผ ๋ค์ด, ๋น๋๋ฉด ์ํ ๊ณ์ข ๊ฐ์ค ์๋ด ๋ฌธ์)๋ฅผ ๊ฐ์ ธ์๋ค๋ฉด, ์ด๋ฅผ ํ๋กฌํํธ ์ฝํ ์คํธ์ ์ ๋ ฅํ๊ณ LLM์๊ฒ ๋ต๋ณ์ ์์ฒญํด์ผ ํ๋ค. ์ด๋ฅผ ์ํด์๋ ์ง์์ ๋ํ ์๋ฒ ๋ฉ ์ฒ๋ฆฌ, ๊ฒ์ ์์ฒญ, ๊ฒ์ ๊ฒฐ๊ณผ๋ฅผ ํ์ฉํ ํ๋กฌํํธ ์์ง๋์ด๋ง ์์ ์ด ํ์ํ๋ค. ์ด๋ฌํ ์์ ์ ํน์ ์ฃผ์ฒด๊ฐ ์ค์์์ ์ ์ดํด์ฃผ๋๋ฐ, ์ด๋ฅผ ์ค์ผ์คํธ๋ ์ด์ ํ๋ ์์ํฌ๋ผ๊ณ ํ๋ค.
์ค์ผ์คํธ๋ ์ด์ ํ๋ ์์ํฌ ์ค ๋ํ์ ์ธ ๊ฒ์ด Langchain์ด๋ฉฐ, LlamaIndex (์ต์ด ๋ช ์นญ์ GPT Index)๋ ์ฃผ๋ชฉ๋ฐ๊ณ ์๋ค. Langchain์ ์ฅํฉํ ์ธํฐํ์ด์ค์ ๋๋ฆฐ ๊ตฌํ์ผ๋ก ์ธํด ํ์ด์ฌ์ผ๋ก ์ง์ ๊ฐ๋ฐํ๋ ๊ฒฝ์ฐ๋ ์๋ค. ๊ทธ๋ฌ๋ Langchain์ ์์ง 0.0.239 ๋ฒ์ ์ผ๋ก ๊ฐ๋ฐ์ด ์งํ ์ค์ด๋ฏ๋ก ๊ธฐ๋ค๋ ค๋ด์ผ ํ ํ์๊ฐ ์๋ค. ์ฌ๋ฐ๊ฒ๋ ChatGPT์ ํ๋ฌ๊ทธ์ธ์ ์ฌ์ฉํ์ฌ ์ค์ผ์คํธ๋ ์ด์ ์ ์ํํด๋ณผ ์๋ ์๋ค.
LLM์ ์ฑํผ์ธ์ ๋น์ฐํ OpenAI์ gpt-4, gpt-4โ32k์ด๋ฉฐ, 50๋ฐฐ ์ ๋ ดํ๊ณ ๋น ๋ฅธ gpt-3.5-turbo๋ฅผ ์ฌ์ฉํด๋ณผ ์๋ ์๋ค. ๋ํ, Anthropic์ Claude๋ GPT-3.5 ์์ค์ ์ ํ๋์ ์ ์ํ ์ถ๋ก ์๋๋ฅผ ๊ฐ์ง๊ณ ์์ผ๋ฉฐ, ํนํ Claude 2๋ 100k ๊ธธ์ด์ ์ฝํ ์คํธ ์ฐฝ์ ์ง์ํ๋ค๊ณ ํ๋ค. ์ผ๋ถ ๋จ์ํ ์์ฒญ์ ์คํ์์ค ๋ชจ๋ธ๋ก ๋ถ๊ธฐํ์ฌ ๋์ํ๋ฉด์ ๋น์ฉ์ ๋ฎ์ถ ์๋ ์๋ค.
- ๋น์ฆ๋์ค ๋๋ฉ์ธ ๊ธฐ๋ฐ์ผ๋ก ๋ํ ์ธ์ด ๋ชจ๋ธ (LLM) ์ ํ๋ฆฌ์ผ์ด์ ์ ๊ฐ๋ฐํ๊ณ ์ ํ ๋ (์๋ฅผ ๋ค์ด, ๊ธ์ต์ฌ ๊ณ ๊ฐ ์๋ ์ฑ๋ด) ๋ฌธ์ ๊ฐ ๋๋ ์ ์ LLM์ ์ ๋ณด ๋ถ์กฑ๊ณผ ์ด๋ก ์ธํ ์ ํ๋ ๋ต๋ณ ๋ฅ๋ ฅ์ด๋ค. ์๋ฅผ ๋ค์ด, GPT 3.5๋ 2021๋ 9์ ์ดํ์ ๋ฐ์ดํฐ๊ฐ ์์ผ๋ฏ๋ก ์ต์ ๋ด์ค์ ๋ํ ๋ต๋ณ์ ์ ๊ณตํ ์ ์๋ค.
- ์ด ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ๊ธฐ ์ํ ๋ฐฉ์์ผ๋ก LLM์ ์๋ก์ด ๋ฐ์ดํฐ๋ก ํ์ธํ๋ํ๋ ๊ฒ์ด ์๋ค. ๊ทธ๋ฌ๋ ์ด๋ ์๋นํ ๋น์ฉ์ด ์์๋๋ค. ํ์ฌ ๊ธฐ์ค์ผ๋ก FLAN-T5-XXL (11B) ๋ชจ๋ธ์ CNN ๋ฐ์ผ๋ฆฌ ๋ฉ์ผ ๋ฐ์ดํฐ์ 1๊ฐ์ ๋ํด ํ์ธํ๋ํ๋ฉด ์ฝ 77๋ง ์์ด ๋ค๊ฒ ๋๋ค.
๋ ๋ค๋ฅธ ๋์์ผ๋ก๋ ์ฐ๋ฆฌ๊ฐ ์ํ๋ ์ ๋ณด๊ฐ ๋ด๊ธด ๋ฌธ์๋ฅผ ์ง์ ํ๋กฌํํธ ์ฝํ ์คํธ์ ๋ฃ์ด์ฃผ๊ณ ์ํ๋ ์๋ต์ ์ป๋ ๊ฒ์ด๋ค. ์ฐ๊ตฌ์ ๋ฐ๋ฅด๋ฉด ํ๋กฌํํธ์ ๊ฐ์น๋ ๋ฐ์ดํฐ ์ํ ์ฝ 100๊ฐ์ ์คํ๋ ์ ๋๋ผ๊ณ ํ๋ค.
- ํ์ง๋ง ๋ชจ๋ ์ ๋ณด๋ฅผ ์ฝํ ์คํธ์ ์ผ์ผ์ด ๋ฃ์ด์ฃผ๋ ๊ฒ์ ํ์ค์ ์ผ๋ก ๋ถ๊ฐ๋ฅํ๋ค. GPT-4๊ฐ ์ฒ๋ฆฌ ๊ฐ๋ฅํ ์ ๋ ฅ์ ์ต๋ 50ํ์ด์ง ์ ๋๋ก ์ ํ๋๋ค. ์ด๋ฌํ ์ํฉ์์๋ ์ฐ๋ฆฌ๊ฐ ๊ฐ์ง ์ ๋ณด๋ฅผ ๋ฐ์ดํฐ๋ฒ ์ด์ค์ ์ ์ฅํด๋๊ณ , ์ฌ์ฉ์์ ์ง์๊ฐ ๋ค์ด์ฌ ๋ (์๋ฅผ ๋ค์ด, ์ฑ๋ด์ ํตํด ์ํ ๊ณ์ข๋ฅผ ๊ฐ์คํ๋ ๋ฐฉ๋ฒ์ ๋ฌผ์์ ๋) ๊ด๋ จ๋ ์ ๋ณด๋ฅผ ๊ฒ์ํ์ฌ ํด๋น ์ ๋ณด๊ฐ ๋ด๊ธด ๋ฌธ์๋ค์ ํ๋กฌํํธ๋ฅผ ํตํด LLM์ ์ ๋ฌํ๋ ๋ฐฉ์์ด ๋ ํจ์จ์ ์ด๋ค. ์ด๋ฌํ ์๋น์ค ์ํคํ ์ฒ๋ฅผ โ๊ฒ์ ์ฆ๊ฐ ์์ฑโ(Retrieval Augmented Generation, RAG)๋ผ๊ณ ํ๋ค.
- ์ฐ๋ฆฌ๋ ์ ๋ณด๋ฅผ ์ป๊ธฐ ์ํด LLM์ ํ์ฉํ๋๋ฐ, LLM์๊ฒ ์ ๋ณด๋ฅผ ์ ๋ ฅํ๋ ๋ฐฉ์์ด ๋ค์ ์ด์ํด ๋ณด์ผ ์ ์๋ค. ๊ทธ๋ฌ๋ ์ ๋ณด์ ์ ์์ ์ ๋ณด์ ์ฒ๋ฆฌ(ํด์)๋ ์์ ํ ๋ค๋ฅธ ๊ธฐ๋ฅ์ด๋ค. ์ 2์ฐจ ์ธ๊ณ ๋์ ๋ ์๊ตญ ์ ๋ณด๋ถ๋ ๋ ์ผ๊ตฐ์ ์ํธ๋ฅผ ์ป์ด์ ์จ๋ฐ ํ๋ง์๊ฒ ์ ๋ฌํ๋ค. ๊ทธ๋ฌ๋ฉด ํ๋ง์ ์ฝ๋ก์์ค ๋จธ์ ์ด ์ด ์ํธ๋ฅผ ํด์ํด ์ฃผ์๋ค. ์ด๋ฐ ๋ชจ์ต์ ๋จธ๋ฆฟ์์ ๊ทธ๋ ค๋ณด๋ฉด ์ดํด๊ฐ ๋น ๋ฅผ ๊ฒ์ด๋ค. ์ด๋ ๊ฒ ๋ถ์ ์ด ๊ฐ๋ฅํ ์ด์ ๋ ๋ฐฐ์ฐ์ง ์์ ์ ๋ณด๋ฅผ ์ผ๋ฐํํ์ฌ ํด์ํ๋ LLM์ ๋ฅ๋ ฅ์ด ๋งค์ฐ ์ฐ์ํด์ง ๊ฒฐ๊ณผ์ด๋ค. (์ด๋ฅผ ์ ๋ก์ท ํ์ต ๋๋ ์ธ-์ฝํ ์คํธ ํ์ต์ด๋ผ๊ณ ๋ ํ๋ค.) ๋ค์ ๋งํด, ์ด๋ ์ ๋ ์ผ๋ฐํ ์ฑ๋ฅ์ด ์๋ ์ธ์ด ๋ชจ๋ธ์ด ์๋๋ผ๋ฉด ์ด๋ฌํ ์ํคํ ์ฒ๋ฅผ ์ฌ์ฉํ๊ธฐ ์ด๋ ค์ธ ๊ฒ์ด๋ค.
์ด์ ๋ถํฐ ์ธ์ด ๋ชจ๋ธ ์ฑ๋ฅ์ ํฅ์์ํค๊ธฐ ์ํด ๊ฒ์์ ํ์ฉํ๋ ์๋๊ฐ ๋ง์์ผ๋ฉฐ, ๋ํ์ ์ผ๋ก RETRO์ REARM์ด ์๋ค. ํ์ง๋ง ํ์ฌ๋ RAG ์ํคํ ์ฒ๊ฐ ์ฐ์ ๊ณ์์ ์ฃผ๋ชฉ๋ฐ๊ณ ์๋ค. ์ด๋ ๋น์ฝ์ ์ผ๋ก ํฅ์๋ ์ธ-์ฝํ ์คํธ ํ์ต ๋ฅ๋ ฅ๊ณผ ๋ชจ๋ธ ํ์ต์ด ๋ฐ๋ก ํ์ํ์ง ์์ ํธ๋ฆฌํจ ๋๋ฌธ์ด๋ค.
- RAG ์ํคํ ์ฒ์ ์ฃผ๋ ์์ ํ๋ฆ์ ์ดํด๋ณด์. ์ฒซ ๋ฒ์งธ ์์ ํ๋ฆ์, ์ฐ๋ฆฌ๊ฐ ๊ฐ์ง ์ ๋ณด๋ฅผ ๊ฒ์ํ๊ธฐ ์ํด DB์ ์ ๋ณด๋ฅผ ์ ์ฅํ๋ ์ผ์ด๋ค. ๊ด๊ณํ ๋ฐ์ดํฐ๋ฒ ์ด์ค(RDB)์ ์ ํํ๋ ์ ๋ณด๋ฅผ ์ ์ฅํ๊ณ , LLM์๊ฒ SQL ๋ฌธ์ ์์ฑํ์ฌ ๊ฒ์ํ๋๋ก ํ๋ ๋ฐฉ๋ฒ๋ ๊ฐ๋ฅํ๋ค. ๊ทธ๋ฌ๋ ์ฐ๋ฆฌ๊ฐ ๊ฐ์ง ์ ๋ณด๋ ์์ฐ์ด๋ก ์์ฑ๋ ๋ฌธ์ ํ์ผ์ธ ๊ฒฝ์ฐ(์: PDF) ๊ฐ ๋ ํํ๋ค.
์์ฐ์ด๋ฅผ DB์ ์ ์ฅํ๋ ค๋ฉด, ์ผ๋ฐ์ ์ผ๋ก ์ซ์ ํํ๋ก ๋ณํํด์ผ ํ๋ค. ํน์ ๋จ์ด๋ ๋ฌธ์ฅ๋ค์ด ์กด์ฌํ๋์ง ์ฌ๋ถ๋ฅผ ๋ํ๋ด๋ ์ด์ง๊ฐ ๋ฒกํฐ๋ก ๋ณํํ ์ ์์ง๋ง, ๋ณด๋ค ํ๋์ ์ธ ๊ธฐ์ ์ ์๋ฏธ๊ฐ ์ ์ฌํ ๋ฌธ์ฅ๋ค์ด ์ ์ฌํ ๋ฒกํฐ ๊ฐ์ ๊ฐ๋๋ก ๋ณํํ๋ ๊ฒ์ด๋ค. ์ด๋ ๊ฒ ํจ์ผ๋ก์จ ๋ ์์ถ๋ ๊ธธ์ด์ ๋ฒกํฐ ํํ๋ก ์ ๋ณด๋ฅผ ํํํ ์ ์๊ฒ ๋๋ค.
โ์๋ฏธ๊ฐ ์ ์ฌํ๋คโ๋ผ๋ ํํ์ด ๋์๋๋ฐ, ์ด๋ โ์ ๋ณด์ ํด์โ ๊ณผ์ ์ด ํ์ํจ์ ๋ปํ๋ค. ์ด๋ฅผ ์ํด์๋ ์ธ์ด ๋ชจ๋ธ์ ๊ฐ์ ์ด ํ์ํ๋ค. (๋ฐ๋์ LLM์ด ์๋์ด๋ ๋๋ค.) ์์งํ ๋ฌธ์๋ค์ ์์ ์กฐ๊ฐ๋ค๋ก ๋ถํ ํ๊ณ (์ฒญํน), ์ธ์ด ๋ชจ๋ธ์ ํด์์ ํตํด ๋ฒกํฐ ํํ(์๋ฒ ๋ฉ)๋ก ๋ณํํ ํ, ์ด๋ฅผ ๋ฒกํฐ DB์ ์ ์ฅํ๋ค. ์ด ๊ณผ์ ์ ๊ฒ์ ์์ง์ ์ค๋ ๊ธฐ์ ์ด์ง๋ง, ์ต๊ทผ์ ๋ค์ ๊ฐ๊ด๋ฐ๊ณ ์๋ค.
- ๋ฌธ์๋ฅผ ์ ์ ํ๋ ๋ฐ์ดํฐ ์ ์ฒ๋ฆฌ ์์ (ETL)์ ์ฃผ๋ก Databricks, Apache Airflow์ ๊ฐ์ ๊ธฐ์กด ๋๊ตฌ๋ฅผ ์ฌ์ฉํ๋ฉฐ, LangChain ๋๋ LlamaIndex์ ๋ฌธ์ ๋ก๋ ๊ธฐ๋ฅ์ ์ถ๊ฐ๋ก ํ์ฉํ ์๋ ์๋ค.
์๋ฒ ๋ฉ ์์ ์ ์ ์ฒ๋ฆฌ์ ํฌํจ๋๋ฉฐ, OpenAI์ API(text-embedding-ada-002), Cohere, ํ๊น ํ์ด์ค์ BERT, Sentence Transformer, GPT-J ๋ฑ์ ์ฌ์ฉํ ์ ์๋ค. ์๋ฒ ๋ฉ์ LLM ์ฑ์ ์ฑ๋ฅ์ ์ง์ ์ ์ธ ์ํฅ์ ๋ฏธ์น๋ฏ๋ก, ๋งค์ฐ ์ ์คํ๊ฒ ์ ํํด์ผ ํ๋ค. ๋ํ, ์ฐ์ํ ์๋ฒ ๋ฉ์ด๋๋ผ๋ ์ฐ๋ฆฌ๊ฐ ์ํ๋ ์ธ์ด๋ฅผ ์ง์ํ์ง ์๋๋ค๋ฉด ์ฌ์ฉํ ์ ์๋ค.
๋ฐ์ดํฐ๋ฒ ์ด์ค๋ RDB๊ฐ ์๋ ๋ฒกํฐ DB๋ฅผ ์ฌ์ฉํด์ผ ํ๋ค. ํด๋ ์ดํฟ AI ์ฐฝ๋ฆฝ์์ธ ์นฉ ํ์์ด โ๊ทธ๋ํ DB์ ํด๊ฐ 2021๋ ์ด๋ผ๋ฉด, ๋ฒกํฐ DB์ ํด๋ 2023๋ โ์ด๋ผ๊ณ ๋งํ ๊ฒ์ฒ๋ผ ์ด ๋ถ์ผ์ ๋ํ ๊ด์ฌ์ด ๋๋ค. Pinecone์ ์์ ์ ์ธ ํด๋ผ์ฐ๋ ํธ์คํ ๊ธฐ๋ฐ์ผ๋ก ์๋น์ค๋๋ฉฐ, Weaviate, Vespa, Qdrant๋ ๋จ์ผ ๋ ธ๋ ๊ธฐ๋ฐ์ ์คํ์์ค DB์ด๋ค. Chroma, Faiss๋ ๋ก์ปฌ ๋ฒกํฐ ๊ด๋ฆฌ ๋ผ์ด๋ธ๋ฌ๋ฆฌ๋ก, ์๋ฐํ DB๋ ์๋์ง๋ง (์ค๋ฉ ๋ฐ ๋ณต์ ๋ฅผ ํตํ ์ฑ๋ฅ ๋ณด์ฅ, ๋ด๊ฒฐํจ์ฑ ํฅ์, ๋ชจ๋ํฐ๋ง, ์ ๊ทผ ์ ์ด, ๋ฐฑ์ ๊ณผ ์ปฌ๋ ์ ๋ฑ DB์ ์ฃผ๋ ๊ธฐ๋ฅ์ ์ ๊ณตํ์ง ์๊ธฐ ๋๋ฌธ์) ์๋ฒ ๋ฉ ๊ฒ์ ์ฉ๋๋ก ๊ฐ๋ณ๊ฒ ์ฌ์ฉํ ์ ์๋ค. pgvector์ ๊ฐ์ด PostgreSQL OLTP ํ์ฅํ๋ ๋๋ฌผ์ง๋ง ์ฌ์ฉ๋๋ ์์๊ฐ ์๋ค.
- ์์ ํ๋ฆ์ผ๋ก ๋์๊ฐ, ๋ ๋ฒ์งธ ํ๋ฆ์ LLM ์ฑ์ ์ง์๊ฐ ๋ค์ด์ค๋ฉด (์๋ฅผ ๋ค์ด, "์ํ ๊ณ์ข๋ฅผ ๊ฐ์คํ๋ ค๋ฉด ์ด๋ป๊ฒ ํด์ผ ํ๋์?") ์ด ๋ฌธ์ฅ์ ์๋ฒ ๋ฉ ๋ฒกํฐ๋ก ๋ง๋ค๊ณ , ๋ฒกํฐ DB์์ ์์น์ ์ผ๋ก ๊ฑฐ๋ฆฌ๊ฐ ๊ฐ์ฅ ๊ฐ๊น์ด ๋ฌธ์๋ค์ ๊ฒ์ํ์ฌ ๊ฐ์ ธ์จ๋ค.
๊ทธ๋ฌ๋ ๊ณ์ฐํ์ ์ผ๋ก '๊ฐ์ฅ ๊ฐ๊น์ด' ๋ฌธ์ ๋ฒกํฐ๋ฅผ ์ฐพ๋ ๊ฒ์ ๋ฒกํฐ์ ํฌ๊ธฐ (์ฐจ์)์ด ์ปค์ง์๋ก ์ด๋ ค์์ง๋ค. ๋ฐ๋ผ์ '๊ทผ์ฌ์ ์ผ๋ก ๊ฐ๊น์ด' (Approximate Nearest Neighbor, ANN) ๋ฒกํฐ๋ฅผ ๋น ๋ฅด๊ฒ ์ฐพ๋ ๋ฐฉ๋ฒ์ด ์ฃผ๋ก ์ฌ์ฉ๋๋ค. ๋น ๋ฅธ ๊ฒ์์ ์ํด ๋ฒกํฐ๋ ๋ฏธ๋ฆฌ ์ธ๋ฑ์ฑ๋๋ฉฐ, ์ด๋ฅผ ์ํด ๋ฌด์์ ํฌ์, PQ (Product Quantization), LSH (Locality Sensitive Hashing), HNSW (Hierarchical Navigable Small World) ๋ฑ์ ๊ธฐ๋ฒ๋ค์ด ์ ์ฉ๋๋ค. ์ด๋ฌํ ๊ธฐ๋ฒ๋ค์ ์ ๋ฌด์ ๊ตฌํ์ ๋ฒกํฐ DB๋ง๋ค ๋ค๋ฅด๋ฉฐ, ์ด๋ LLM ์ฑ์ ์ฑ๋ฅ์ ์ํฅ์ ๋ฏธ์น๋ฏ๋ก ์ฃผ์๊ฐ ํ์ํ๋ค. ๋ํ, ๋ฒกํฐ ์ธ๋ฑ์ฑ ๋์ ์ ํธ๋ฆฌ๋ ์ง์ ๊ทธ๋ํ ๊ตฌ์กฐ ๋๋ ์ด๋ค์ ์กฐํฉ์ ํ์ฉํ ์ธ๋ฑ์ฑ์ ๊ณ ๋ คํ๊ธฐ๋ ํ๋ค.
๋ํ ์ง์๋ฌธ์ด ๋๋ฌด ๊ฐ๊ฒฐํ๋ค๋ฉด ๊ด๋ จ์ฑ ์๋ ๋ฌธ์๋ฅผ ์ฐพ์์ค๊ธฐ ์ด๋ ค์ธ ์ ์๊ณ ์ด๋ฅผ ๋ณด์ํ๊ธฐ ์ํ ์ฐ๊ตฌ๋ค์ด ์๋ค. ์์ปจ๋, ๊ฐ์์ ๋ฌธ์๋ฅผ ์๋ฒ ๋ฉํ์ฌ ์ง์๋ฅผ ๋ณด๊ฐํ๋ค๊ฑฐ๋ ์ฝํ ์คํธ ๋ฌธ์ ์์ฑ์ ํด๋ฌ์คํฐ๋ง ์๊ณ ๋ฆฌ์ฆ์ ์ ์ฉํ '์์ฑ ํ ์ฝ๊ธฐ' (GenRead) ๊ธฐ๋ฒ ๋ฑ์ด ์๋ค.
- ์ธ ๋ฒ์งธ ์์ ํ๋ฆ์ผ๋ก ์งํ๋ ๋ด์ฉ์ ์ค๋ช ํด๋ณด์. ์ง์์ ๊ด๋ จ ์๋ ๋ฌธ์(์๋ฅผ ๋ค์ด, ๋น๋๋ฉด ์ํ ๊ณ์ข ๊ฐ์ค ์๋ด ๋ฌธ์)๋ฅผ ๊ฐ์ ธ์๋ค๋ฉด, ์ด๋ฅผ ํ๋กฌํํธ ์ฝํ ์คํธ์ ์ ๋ ฅํ๊ณ LLM์๊ฒ ๋ต๋ณ์ ์์ฒญํด์ผ ํ๋ค. ์ด๋ฅผ ์ํด์๋ ์ง์์ ๋ํ ์๋ฒ ๋ฉ ์ฒ๋ฆฌ, ๊ฒ์ ์์ฒญ, ๊ฒ์ ๊ฒฐ๊ณผ๋ฅผ ํ์ฉํ ํ๋กฌํํธ ์์ง๋์ด๋ง ์์ ์ด ํ์ํ๋ค. ์ด๋ฌํ ์์ ์ ํน์ ์ฃผ์ฒด๊ฐ ์ค์์์ ์ ์ดํด์ฃผ๋๋ฐ, ์ด๋ฅผ ์ค์ผ์คํธ๋ ์ด์ ํ๋ ์์ํฌ๋ผ๊ณ ํ๋ค.
์ค์ผ์คํธ๋ ์ด์ ํ๋ ์์ํฌ ์ค ๋ํ์ ์ธ ๊ฒ์ด Langchain์ด๋ฉฐ, LlamaIndex (์ต์ด ๋ช ์นญ์ GPT Index)๋ ์ฃผ๋ชฉ๋ฐ๊ณ ์๋ค. Langchain์ ์ฅํฉํ ์ธํฐํ์ด์ค์ ๋๋ฆฐ ๊ตฌํ์ผ๋ก ์ธํด ํ์ด์ฌ์ผ๋ก ์ง์ ๊ฐ๋ฐํ๋ ๊ฒฝ์ฐ๋ ์๋ค. ๊ทธ๋ฌ๋ Langchain์ ์์ง 0.0.239 ๋ฒ์ ์ผ๋ก ๊ฐ๋ฐ์ด ์งํ ์ค์ด๋ฏ๋ก ๊ธฐ๋ค๋ ค๋ด์ผ ํ ํ์๊ฐ ์๋ค. ์ฌ๋ฐ๊ฒ๋ ChatGPT์ ํ๋ฌ๊ทธ์ธ์ ์ฌ์ฉํ์ฌ ์ค์ผ์คํธ๋ ์ด์ ์ ์ํํด๋ณผ ์๋ ์๋ค.
LLM์ ์ฑํผ์ธ์ ๋น์ฐํ OpenAI์ gpt-4, gpt-4โ32k์ด๋ฉฐ, 50๋ฐฐ ์ ๋ ดํ๊ณ ๋น ๋ฅธ gpt-3.5-turbo๋ฅผ ์ฌ์ฉํด๋ณผ ์๋ ์๋ค. ๋ํ, Anthropic์ Claude๋ GPT-3.5 ์์ค์ ์ ํ๋์ ์ ์ํ ์ถ๋ก ์๋๋ฅผ ๊ฐ์ง๊ณ ์์ผ๋ฉฐ, ํนํ Claude 2๋ 100k ๊ธธ์ด์ ์ฝํ ์คํธ ์ฐฝ์ ์ง์ํ๋ค๊ณ ํ๋ค. ์ผ๋ถ ๋จ์ํ ์์ฒญ์ ์คํ์์ค ๋ชจ๋ธ๋ก ๋ถ๊ธฐํ์ฌ ๋์ํ๋ฉด์ ๋น์ฉ์ ๋ฎ์ถ ์๋ ์๋ค.
์ด๋ฐ ๊ฒฝ์ฐ๋ฅผ ๋๋นํ์ฌ Databricks, AnyScale, Mosaic, Modal, RunPod ํ๋ซํผ์ ๋ชจ๋ธ ํ์ธํ๋ ๋๊ตฌ๋ฅผ, Hugging Face์ Replicate๋ API ์ธํฐํ์ด์ค๋ฅผ ์ ๊ณตํ๊ณ ์๋ค.
์์ค์๋ ๋ค์ํ ์์ ์ฉ ์คํ์์ค LLM ๋ชจ๋ธ์ด ์กด์ฌํ๋ฉฐ(Together, Mosaic, Falcon, Mistral ๋ฑ) ์ด๋ค์ด GPT-3.5์ ์ ํ๋ ์์ค์ ๋ค๋ค๋ฅธ๋ค๋ฉด ์ฐ์ ๊ณ์์๋ ์คํ์์ค ์ฌ์ฉ๋ ๊ณ ๋ คํ ๊ฐ๋ฅ์ฑ์ด ๋ณด์ธ๋ค. ์ต๊ทผ Meta์์ Llama2๋ฅผ ๋ฆด๋ฆฌ์ฆํ๋ฉด์ LLM ์ฌ์๋ ๊ฐ์ฑ์๊ณ ์ฐ์ํ ๋ชจ๋ธ์ด ์์์ ธ ๋์ค๋ ์คํ ์ด๋ธ ๋ํจ์ ๋ชจ๋จผํธ๊ฐ ๋ฐ์ํ์ง ์์๊น ๊ทธ ๊ท์ถ๊ฐ ์ฃผ๋ชฉ๋๊ณ ์๋ค.
- ์ฃผ๋ ์์ ํ๋ฆ์ ๋ํ ์ด์ผ๊ธฐ๋ ๋๋ฌ๋ค. ์์ฝํ์๋ฉด, ์ด๋ค ์๋ฒ ๋ฉ, ๋ฒกํฐ DB, ๊ทธ๋ฆฌ๊ณ LLM์ ์ฌ์ฉํ ์ง๊ฐ ์ ํ๋ฆฌ์ผ์ด์ ์ ์ฑ๋ฅ์ ์ข์ฐํ๋ ํต์ฌ ์์์ด๋ค. MLOps์ ๋น์ทํ๊ฒ RAG ์ฃผ์๋ก๋ ์๋ง์ LLMOps ๋๊ตฌ๋ค์ ์ํ๊ณ๊ฐ ํ์ฑ๋๊ณ ์๋ค. LLM ์๋ต ์บ์ฑ์ ์ํด Redis, GPTCache๊ฐ, LLM ์ถ๋ ฅ ๋ชจ๋ํฐ๋ง, ์ถ์ , ํ๊ฐ๋ฅผ ์ํด W&B, MLflow, PromptLayer, Helicone์ด, ์ถ๋ ฅ์ ์ ํด์ฑ ๊ฒ์ฆ์ ์ํด Guardrails๊ฐ, ๊ทธ๋ฆฌ๊ณ ํ๋กฌํํธ ์ฃผ์ ๊ณต๊ฒฉ ๋ฐฉ์ด๋ฅผ ์ํด Rebuff๊ฐ ์ ๊ณต๋๊ณ ์๋ค.
์ ์ฒด์ ์ธ RAG ์ํคํ ์ฒ ํธ์คํ ์ ์ฃผ๋ก ํด๋ผ์ฐ๋ ๊ณต๊ธ์ ์๋น์ค ๋ด์์ ์ด๋ฃจ์ด์ง๊ฒ ์ง๋ง, ํฅ๋ฏธ๋ก์ด ๋ ๊ฐ์ง ์๋๊ฐ ์๋ค. Streamship์ LLM ์ฑ์ ์๋-ํฌ-์๋๋ก ํธ์คํ ํ๋ฉด์ ๋ค์ํ ๊ธฐ๋ฅ์ ์ ๊ณตํ๋ ค๊ณ ํ๊ณ , ๋ ์์ ์ธ LLM ๋ชจ๋ธ์ ๊ฐ์ถ๊ณ ์๋ AnyScale, Mosaic์ ๋ชจ๋ธ๊ณผ ํ์ด์ฌ ์ฝ๋๋ฅผ ํ ๊ณณ์์ ํธ์คํ ๊ฐ๋ฅํ๋๋ก ์ง์ํ๊ณ ์๋ค.
- ๋ค์๋ฒ์๋ RAG ์ํคํ ์ฒ์ ๋ํด AWS ์๋น์ค๋ก ํ์ ํ์ฌ ์ ์ด๋ณผ ์์ ์ด๋ค.
์ฐธ์กฐ:
- Emerging Architectures for LLM Applications(https://a16z.com/2023/06/20/emerging-architectures-for-llm-applications/)
- Knowledge Retrieval Architecture for LLMโs (2023)(https://mattboegner.com/knowledge-retrieval-architecture-for-llms/?fbclid=IwAR1zYHaStMU-DJuP84iZ-h9K1vMMb_qVtBsQ5FotPqAjv5Lb4fyyBG_nAoI)
- Building LLM Applications for Production(https://huyenchip.com//2023/04/11/llm-engineering.html)
- ChatGPT์ ์ ๋์ฝ(์ฅ๊ธฐ๊ธฐ์ต ์ ์ฅ์)์ผ๋ก ๊ฐ๊ด๋ฐ๊ณ ์๋ Vector DB์ ๋ํด ์์๋ณด์(https://devocean.sk.com/experts/techBoardDetail.do?ID=164964&fbclid=IwAR2XOaqC8QwGjWoThJmUG-mldeuyiIpLefJHmzd9qJE-GuFhqXlQB-ODwi8)
์์ค์๋ ๋ค์ํ ์์ ์ฉ ์คํ์์ค LLM ๋ชจ๋ธ์ด ์กด์ฌํ๋ฉฐ(Together, Mosaic, Falcon, Mistral ๋ฑ) ์ด๋ค์ด GPT-3.5์ ์ ํ๋ ์์ค์ ๋ค๋ค๋ฅธ๋ค๋ฉด ์ฐ์ ๊ณ์์๋ ์คํ์์ค ์ฌ์ฉ๋ ๊ณ ๋ คํ ๊ฐ๋ฅ์ฑ์ด ๋ณด์ธ๋ค. ์ต๊ทผ Meta์์ Llama2๋ฅผ ๋ฆด๋ฆฌ์ฆํ๋ฉด์ LLM ์ฌ์๋ ๊ฐ์ฑ์๊ณ ์ฐ์ํ ๋ชจ๋ธ์ด ์์์ ธ ๋์ค๋ ์คํ ์ด๋ธ ๋ํจ์ ๋ชจ๋จผํธ๊ฐ ๋ฐ์ํ์ง ์์๊น ๊ทธ ๊ท์ถ๊ฐ ์ฃผ๋ชฉ๋๊ณ ์๋ค.
- ์ฃผ๋ ์์ ํ๋ฆ์ ๋ํ ์ด์ผ๊ธฐ๋ ๋๋ฌ๋ค. ์์ฝํ์๋ฉด, ์ด๋ค ์๋ฒ ๋ฉ, ๋ฒกํฐ DB, ๊ทธ๋ฆฌ๊ณ LLM์ ์ฌ์ฉํ ์ง๊ฐ ์ ํ๋ฆฌ์ผ์ด์ ์ ์ฑ๋ฅ์ ์ข์ฐํ๋ ํต์ฌ ์์์ด๋ค. MLOps์ ๋น์ทํ๊ฒ RAG ์ฃผ์๋ก๋ ์๋ง์ LLMOps ๋๊ตฌ๋ค์ ์ํ๊ณ๊ฐ ํ์ฑ๋๊ณ ์๋ค. LLM ์๋ต ์บ์ฑ์ ์ํด Redis, GPTCache๊ฐ, LLM ์ถ๋ ฅ ๋ชจ๋ํฐ๋ง, ์ถ์ , ํ๊ฐ๋ฅผ ์ํด W&B, MLflow, PromptLayer, Helicone์ด, ์ถ๋ ฅ์ ์ ํด์ฑ ๊ฒ์ฆ์ ์ํด Guardrails๊ฐ, ๊ทธ๋ฆฌ๊ณ ํ๋กฌํํธ ์ฃผ์ ๊ณต๊ฒฉ ๋ฐฉ์ด๋ฅผ ์ํด Rebuff๊ฐ ์ ๊ณต๋๊ณ ์๋ค.
์ ์ฒด์ ์ธ RAG ์ํคํ ์ฒ ํธ์คํ ์ ์ฃผ๋ก ํด๋ผ์ฐ๋ ๊ณต๊ธ์ ์๋น์ค ๋ด์์ ์ด๋ฃจ์ด์ง๊ฒ ์ง๋ง, ํฅ๋ฏธ๋ก์ด ๋ ๊ฐ์ง ์๋๊ฐ ์๋ค. Streamship์ LLM ์ฑ์ ์๋-ํฌ-์๋๋ก ํธ์คํ ํ๋ฉด์ ๋ค์ํ ๊ธฐ๋ฅ์ ์ ๊ณตํ๋ ค๊ณ ํ๊ณ , ๋ ์์ ์ธ LLM ๋ชจ๋ธ์ ๊ฐ์ถ๊ณ ์๋ AnyScale, Mosaic์ ๋ชจ๋ธ๊ณผ ํ์ด์ฌ ์ฝ๋๋ฅผ ํ ๊ณณ์์ ํธ์คํ ๊ฐ๋ฅํ๋๋ก ์ง์ํ๊ณ ์๋ค.
- ๋ค์๋ฒ์๋ RAG ์ํคํ ์ฒ์ ๋ํด AWS ์๋น์ค๋ก ํ์ ํ์ฌ ์ ์ด๋ณผ ์์ ์ด๋ค.
์ฐธ์กฐ:
- Emerging Architectures for LLM Applications(https://a16z.com/2023/06/20/emerging-architectures-for-llm-applications/)
- Knowledge Retrieval Architecture for LLMโs (2023)(https://mattboegner.com/knowledge-retrieval-architecture-for-llms/?fbclid=IwAR1zYHaStMU-DJuP84iZ-h9K1vMMb_qVtBsQ5FotPqAjv5Lb4fyyBG_nAoI)
- Building LLM Applications for Production(https://huyenchip.com//2023/04/11/llm-engineering.html)
- ChatGPT์ ์ ๋์ฝ(์ฅ๊ธฐ๊ธฐ์ต ์ ์ฅ์)์ผ๋ก ๊ฐ๊ด๋ฐ๊ณ ์๋ Vector DB์ ๋ํด ์์๋ณด์(https://devocean.sk.com/experts/techBoardDetail.do?ID=164964&fbclid=IwAR2XOaqC8QwGjWoThJmUG-mldeuyiIpLefJHmzd9qJE-GuFhqXlQB-ODwi8)
Andreessen Horowitz
Emerging Architectures for LLM Applications
A reference architecture for the LLM app stack. It shows the most common systems, tools, and design patterns used by AI startups and tech companies.
AI๋ก ์ธํด์ ์๋ก์ด UX(์์ฑ, ์ด๋ฏธ์ง, ์์, ํ
์คํธ) ๋ฑ ์๋ก์ด ๊ธฐ๊ธฐ๊ฐ ๋ฑ์ฅํ ์๋ ์๊ฒ ๋ค์. ์ด ์์์ Iphone์ ์ฒ์ ๊ฐ๋ฐํ๋ ์๊ธฐ์ ํ๋ํ๋ ์์๋ค์ ์ธํฐ๋ทฐ์
๋๋ค.
์ด ๋ด๋ฌํฐ๋ธ๋ ์์ดํฐ์ ๊ตฌ์๋ถํฐ ๋์ค์๊ฒ ๊ณต๊ฐ๋๊ธฐ๊น์ง์ ์ ํ์ ์์ดํฐ ๊ฐ๋ฐ ์ฌ์ ์ ๋ํด ์ค๋ช ํฉ๋๋ค. ์คํฐ๋ธ ์ก์ค๊ฐ ์ด๋๋ ์ ํ ํ์ ์ฒ์์ ์์ดํ์ ๊ฐ์ ํ๊ณ ํด๋ํฐ๊ณผ์ ์ ์ฌ์ ๊ฒฝ์์ ๋ง์๊ธฐ ์ํด ์์ดํ์ ํด๋ํฐ๊ณผ ๊ฒฐํฉํ์ฌ ์์ฅ ์ง์๋ฅผ ์ ์งํ๋ ๊ฒ์ ๋ชฉํ๋ก ์ผ์์ต๋๋ค. ์ฒซ ๋ฒ์งธ ๋์์ธ์ ์์ดํ์ ์ธํฐํ์ด์ค์ ํ๋์จ์ด ํค๋ณด๋๋ฅผ ํตํฉํ์ง๋ง, ๋ ผ๋ฆฌ์ ์ด๊ณ ์ง๊ด์ ์ธ ๋ค์ด์ผ๋ง ๋ฉ์ปค๋์ฆ์ ๊ฐ๋ฐํ๋ ๋ฐ ์ด๋ ค์์ ๊ฒช์์ต๋๋ค.
๊ทธ๋ฌ๋ ์ค ํ๋ธ๋ฆฟ์ฉ์ผ๋ก ๊ฐ๋ฐํ๋ ํฐ์น ๊ธฐ์ ์ ํฌ์ผ ์ฌ์ด์ฆ ํด๋ํฐ์ ์ ์ฉํ๋ ์์ด๋์ด๋ฅผ ๋ ์ฌ๋ฆฌ๊ฒ ๋์์ต๋๋ค. ํ์ ๋ช ๊ฐ์ง ์ฅ์ ๋ฌผ๊ณผ ๊ฒฉ๋ ฌํ ์์ ์ ์ง๋ฉดํ๊ณ , ์ก์ค๋ ์ ๋งํ ๊ฒฐ๊ณผ๋ฌผ์ ์ ์ํ์ง ๋ชปํ๋ฉด ํ๋ก์ ํธ๋ฅผ ๋ค๋ฅธ ํ์ ๋๊ธฐ๊ฒ ๋ค๊ณ ์ํํ์ต๋๋ค.
๊ฐ์ฅ ์ด๋ ค์ ๋ ๋ถ๋ถ ์ค ํ๋๋ ๊ธฐ๋ฅ์ ์ด๊ณ ์ฌ์ฉ์ ์นํ์ ์ธ ์ํํธ์จ์ด ํค๋ณด๋๋ฅผ ์ค๊ณํ๋ ๊ฒ์ด์๋๋ฐ, ์ด๋ฏธ ์ ์๋ ค์ง BlackBerry์ ๋น๊ต๋ ๊ฒ์ ์์๊ธฐ ๋๋ฌธ์ ๋๋ค. ํค๋ณด๋ ์๋ฃจ์ ์ ํ์ดํํ๋ ๋์ ๋ค์ ๊ธ์๊ฐ ๋ฟ์ ๊ฐ๋ฅ์ฑ์ด ์๋ ์์ญ์ ํ๋ํ๋ ๋์ ํ๊ฒฉ ์์ญ ์์คํ ์ ๊ฐ๋ฐํ ํ์์ผ๋ก๋ถํฐ ๋์์ต๋๋ค.
์ด ํ๋ก์ ํธ๋ Apple ๋ด๋ถ์์๋ ์ผ๊ธ ๋น๋ฐ๋ก ์ ์ง๋์ด ์ํํธ์จ์ด ํ๊ณผ ํ๋์จ์ด ํ์ด ์๋ก์ ์์ ๋ด์ฉ์ ์์ง ๋ชปํ๋ ๊ฒฝ์ฐ๊ฐ ๋ง์์ต๋๋ค. ๋ง์นจ๋ด ์ก์ค๊ฐ ๋ผ์ด๋ธ ๋ฐ๋ชจ๋ฅผ ํตํด ์ ํ์ ๊ณต๊ฐํ๊ณ , ์ถ์์ ๋์์ ๋์ค์ ์์ฒญ๋ ๊ด์ฌ์ ๋ฐ์ผ๋ฉฐ ์์ดํฐ์ด ๊ณง ์ฌํ์ ์ผ๋ก ํฐ ์ํฅ์ ๋ฏธ์น ๊ฒ์์ ์์ํ์ต๋๋ค.
๊ด๋ จํด์๋ ์ด๋ฐ ์ฑ ๋ค๋ ์ข๊ฒ ๋ค์.
https://www.amazon.com/Creative-Selection-Inside-Apples-Process/dp/1250194466
https://www.amazon.com/Build-Unorthodox-Guide-Making-Things/dp/B09CF2YB6Z/ref=sr_1_1?crid=3MS1L5GA70UZ1&keywords=build&qid=1690167035&s=books&sprefix=build%2Cstripbooks-intl-ship%2C274&sr=1-1
์ด ๋ด๋ฌํฐ๋ธ๋ ์์ดํฐ์ ๊ตฌ์๋ถํฐ ๋์ค์๊ฒ ๊ณต๊ฐ๋๊ธฐ๊น์ง์ ์ ํ์ ์์ดํฐ ๊ฐ๋ฐ ์ฌ์ ์ ๋ํด ์ค๋ช ํฉ๋๋ค. ์คํฐ๋ธ ์ก์ค๊ฐ ์ด๋๋ ์ ํ ํ์ ์ฒ์์ ์์ดํ์ ๊ฐ์ ํ๊ณ ํด๋ํฐ๊ณผ์ ์ ์ฌ์ ๊ฒฝ์์ ๋ง์๊ธฐ ์ํด ์์ดํ์ ํด๋ํฐ๊ณผ ๊ฒฐํฉํ์ฌ ์์ฅ ์ง์๋ฅผ ์ ์งํ๋ ๊ฒ์ ๋ชฉํ๋ก ์ผ์์ต๋๋ค. ์ฒซ ๋ฒ์งธ ๋์์ธ์ ์์ดํ์ ์ธํฐํ์ด์ค์ ํ๋์จ์ด ํค๋ณด๋๋ฅผ ํตํฉํ์ง๋ง, ๋ ผ๋ฆฌ์ ์ด๊ณ ์ง๊ด์ ์ธ ๋ค์ด์ผ๋ง ๋ฉ์ปค๋์ฆ์ ๊ฐ๋ฐํ๋ ๋ฐ ์ด๋ ค์์ ๊ฒช์์ต๋๋ค.
๊ทธ๋ฌ๋ ์ค ํ๋ธ๋ฆฟ์ฉ์ผ๋ก ๊ฐ๋ฐํ๋ ํฐ์น ๊ธฐ์ ์ ํฌ์ผ ์ฌ์ด์ฆ ํด๋ํฐ์ ์ ์ฉํ๋ ์์ด๋์ด๋ฅผ ๋ ์ฌ๋ฆฌ๊ฒ ๋์์ต๋๋ค. ํ์ ๋ช ๊ฐ์ง ์ฅ์ ๋ฌผ๊ณผ ๊ฒฉ๋ ฌํ ์์ ์ ์ง๋ฉดํ๊ณ , ์ก์ค๋ ์ ๋งํ ๊ฒฐ๊ณผ๋ฌผ์ ์ ์ํ์ง ๋ชปํ๋ฉด ํ๋ก์ ํธ๋ฅผ ๋ค๋ฅธ ํ์ ๋๊ธฐ๊ฒ ๋ค๊ณ ์ํํ์ต๋๋ค.
๊ฐ์ฅ ์ด๋ ค์ ๋ ๋ถ๋ถ ์ค ํ๋๋ ๊ธฐ๋ฅ์ ์ด๊ณ ์ฌ์ฉ์ ์นํ์ ์ธ ์ํํธ์จ์ด ํค๋ณด๋๋ฅผ ์ค๊ณํ๋ ๊ฒ์ด์๋๋ฐ, ์ด๋ฏธ ์ ์๋ ค์ง BlackBerry์ ๋น๊ต๋ ๊ฒ์ ์์๊ธฐ ๋๋ฌธ์ ๋๋ค. ํค๋ณด๋ ์๋ฃจ์ ์ ํ์ดํํ๋ ๋์ ๋ค์ ๊ธ์๊ฐ ๋ฟ์ ๊ฐ๋ฅ์ฑ์ด ์๋ ์์ญ์ ํ๋ํ๋ ๋์ ํ๊ฒฉ ์์ญ ์์คํ ์ ๊ฐ๋ฐํ ํ์์ผ๋ก๋ถํฐ ๋์์ต๋๋ค.
์ด ํ๋ก์ ํธ๋ Apple ๋ด๋ถ์์๋ ์ผ๊ธ ๋น๋ฐ๋ก ์ ์ง๋์ด ์ํํธ์จ์ด ํ๊ณผ ํ๋์จ์ด ํ์ด ์๋ก์ ์์ ๋ด์ฉ์ ์์ง ๋ชปํ๋ ๊ฒฝ์ฐ๊ฐ ๋ง์์ต๋๋ค. ๋ง์นจ๋ด ์ก์ค๊ฐ ๋ผ์ด๋ธ ๋ฐ๋ชจ๋ฅผ ํตํด ์ ํ์ ๊ณต๊ฐํ๊ณ , ์ถ์์ ๋์์ ๋์ค์ ์์ฒญ๋ ๊ด์ฌ์ ๋ฐ์ผ๋ฉฐ ์์ดํฐ์ด ๊ณง ์ฌํ์ ์ผ๋ก ํฐ ์ํฅ์ ๋ฏธ์น ๊ฒ์์ ์์ํ์ต๋๋ค.
๊ด๋ จํด์๋ ์ด๋ฐ ์ฑ ๋ค๋ ์ข๊ฒ ๋ค์.
https://www.amazon.com/Creative-Selection-Inside-Apples-Process/dp/1250194466
https://www.amazon.com/Build-Unorthodox-Guide-Making-Things/dp/B09CF2YB6Z/ref=sr_1_1?crid=3MS1L5GA70UZ1&keywords=build&qid=1690167035&s=books&sprefix=build%2Cstripbooks-intl-ship%2C274&sr=1-1
Relax. Not Everyone is Out to Get You
โIf you ever feel that the world is against you, you are not alone. We all have a tendency to assume that when anything goes wrong, the fault lies within some great conspiracy against us. A co-worker fails to give you a report in time? They must be trying to derail your career and beat you to a promotion. Your child drops and breaks an expensive plate? They must be trying to annoy you and waste your time. WiFi in a coffee shop not working? The staff must be lying about having it to lure you in and sample their crappy espresso. But the simple fact is that these explanations which we tend to jump to are rarely true."
โIf you ever feel that the world is against you, you are not alone. We all have a tendency to assume that when anything goes wrong, the fault lies within some great conspiracy against us. A co-worker fails to give you a report in time? They must be trying to derail your career and beat you to a promotion. Your child drops and breaks an expensive plate? They must be trying to annoy you and waste your time. WiFi in a coffee shop not working? The staff must be lying about having it to lure you in and sample their crappy espresso. But the simple fact is that these explanations which we tend to jump to are rarely true."
Who controls your focus?
โFocus was ingrained in Jobsโs personality and had been honed by his Zen training. He relentlessly filtered out what he considered distractions. Colleagues and family members would at times be exasperated as they tried to get him to deal with issuesโa legal problem, a medical diagnosisโthey considered important. But he would give a cold stare and refuse to shift his laserlike focus until he was ready.โ
โFocus was ingrained in Jobsโs personality and had been honed by his Zen training. He relentlessly filtered out what he considered distractions. Colleagues and family members would at times be exasperated as they tried to get him to deal with issuesโa legal problem, a medical diagnosisโthey considered important. But he would give a cold stare and refuse to shift his laserlike focus until he was ready.โ
Key questions for a new business
1. The customers
1. How big?
2. How fast growing?
2. Problems?
1. How severe?
3. Solutions
1. Why are or will customer not satisfied with this current solution?
4. Your Solution
1. What do we understand that others donโt?
- Could we do that better, cheaper, faster or totally different way?
- Do you understand the competition?
5. Competition
1. Do you have competition?
2. Do you have any proxy in other areas?
6. Distribution
1. Which channel is ideal to scale this idea to 10, 100x?
7. Unit Economics
1. if the difference between money spent and money earned per customer is (+), the business will make money someday.
2. Even if it's - now, if it's getting better, it's something to look forward to.
8. Why now?
1. How has this opportunity evolved?
2. Have technologies been evolved?
3. Have the regulation been changed?
9. Why you?
1. Do you want to address this problem for several years?
10. Idea space?
1. Does this area or problem have a good potential?
1. The customers
1. How big?
2. How fast growing?
2. Problems?
1. How severe?
3. Solutions
1. Why are or will customer not satisfied with this current solution?
4. Your Solution
1. What do we understand that others donโt?
- Could we do that better, cheaper, faster or totally different way?
- Do you understand the competition?
5. Competition
1. Do you have competition?
2. Do you have any proxy in other areas?
6. Distribution
1. Which channel is ideal to scale this idea to 10, 100x?
7. Unit Economics
1. if the difference between money spent and money earned per customer is (+), the business will make money someday.
2. Even if it's - now, if it's getting better, it's something to look forward to.
8. Why now?
1. How has this opportunity evolved?
2. Have technologies been evolved?
3. Have the regulation been changed?
9. Why you?
1. Do you want to address this problem for several years?
10. Idea space?
1. Does this area or problem have a good potential?
AI startup ํ์๋ ๋ถ๋ค 7์ 30์ผ๊น์ง Sequioa Arc(์ด๊ธฐ ์คํํธ์
ํฌ์ ํ๋ก๊ทธ๋จ like YC)๊ฐ ์ด๋ ธ๋ค์.
https://www.sequoiacap.com/arc
Pros
Sequioa๋คํธ์ํฌ๋ฅผ ํ์ฉํ ์ ์๋ค.
Cons
๋ง์ฝ Sequioa๊ฐ ํ์ํฌ์ ์ ํด์ฃผ๋ฉด ์ ๋ชป๋ฐ์๋์ง ์ง๋ฌธ์ ๋ง์ด ๋ฐ์ ์ ์์ต๋๋ค.
https://www.sequoiacap.com/arc
Pros
Sequioa๋คํธ์ํฌ๋ฅผ ํ์ฉํ ์ ์๋ค.
Cons
๋ง์ฝ Sequioa๊ฐ ํ์ํฌ์ ์ ํด์ฃผ๋ฉด ์ ๋ชป๋ฐ์๋์ง ์ง๋ฌธ์ ๋ง์ด ๋ฐ์ ์ ์์ต๋๋ค.
Sequoiacap
Sequoia Arc: Company Building Immersion
Learn Sequoiaโs approach to Company Design from best-in-class founders, operators & Sequoia partners.
How will spatial services be redefined in the future?
https://www.linkedin.com/posts/genai-works_the-best-stop-motion-video-ever-produced-activity-7089135122884530176-WMBN?utm_source=share&utm_medium=member_desktop
https://www.linkedin.com/posts/genai-works_the-best-stop-motion-video-ever-produced-activity-7089135122884530176-WMBN?utm_source=share&utm_medium=member_desktop
Linkedin
Generative AI on LinkedIn: The best stop-motion video ever produced so far ๐ฅ
Imagine 30 years agoโฆ | 221 comments
Imagine 30 years agoโฆ | 221 comments
The best stop-motion video ever produced so far ๐ฅ
Imagine 30 years ago, when effects like this took THOUSANDS of hours to produce.
Enabled by AI trackingโฆ | 221 comments on LinkedIn
Imagine 30 years ago, when effects like this took THOUSANDS of hours to produce.
Enabled by AI trackingโฆ | 221 comments on LinkedIn
Bolt, a symbol of overheated financing and questionable due diligence during the pandemic, received an SEC subpoena over statements it made to investors, according to an investor letter. A separate suit says founder Ryan Breslow ousted three board members for not forgiving a $30 million loan.
https://www.theinformation.com/articles/bolt-probed-by-sec-investors-over-statements-made-during-fundraising?utm_medium=email&utm_campaign=article_email&utm_content=article-10930&utm_source=sg&rc=ocojsj
https://www.theinformation.com/articles/bolt-probed-by-sec-investors-over-statements-made-during-fundraising?utm_medium=email&utm_campaign=article_email&utm_content=article-10930&utm_source=sg&rc=ocojsj
The Information
Bolt Probed by SEC, Investors Over Statements Made During Fundraising
The Securities and Exchange Commission subpoenaed e-commerce software startup Bolt and sent a notice to co-founder and former CEO Ryan Breslow last year over their past statements to current and potential investors, according to an April 2023 letter fromโฆ
โ์ค๋ฆฌ์ฝ๋ฐธ๋ฆฌ์์๋ ์ข์ ๊ธฐํ๋ฅผ ๋ซ๊ธฐ ์ํด ์๋ก ์ธ์ฐ๊ณ ๊ฒฝ์ํ๊ธฐ๋ณด๋ค๋, ๊ณต์ ํ๊ณ ํ๋ ฅํฉ๋๋ค. ์ฑ๊ณตํ ์ฌ๋์ ์งํฌํ๊ธฐ ๋ณด๋ค๋, ๋ค์ ์ธ๋๋ฅผ ๋์ด์ฃผ๊ณ ๋์์ค๋๋ค. ์ค๋ ๋ง๋ ์ธ์ฐ์ผ๋ก ๋คํจ๊ป ๋ ํ๋ ฅํ๊ณ , ๊ณต์ ํ์ฌ AI๋ฅผ ๋ฐ์ ์ํค๊ธฐ๋ฅผ ๊ธฐ์ํฉ๋๋ค.โ
โค1
How innovation happens in bio pharma?
Builders will need to understand both a) how to exploit the latest and greatest AI tech, and (perhaps more importantly) b) how to commercialize a product or platform in biopharma and healthcare with a defensible product and go-to-market strategy. As such, we believe teams with depth in both (scientists, AI experts, healthcare builders and operators, product and go-to-market experts) will be best poised to lead and win in this new era.
Builders will need to understand both a) how to exploit the latest and greatest AI tech, and (perhaps more importantly) b) how to commercialize a product or platform in biopharma and healthcare with a defensible product and go-to-market strategy. As such, we believe teams with depth in both (scientists, AI experts, healthcare builders and operators, product and go-to-market experts) will be best poised to lead and win in this new era.
What AI startups should you keep an eye on? :robot_face: ๐ฅ We asked some incredible investors and founders for their picks. Here are 13 companies pushing the AI frontier ๐
1. Alife
Alife is revolutionizing IVF with AI-powered tools. Itโs enhancing decision-making at crucial stages like ovarian stimulation & embryo selection, making fertility treatments more accessible and efficient.
- Rebecca Kaden, Union Square Ventures
2. Glean
Glean uses AI to provide unified, contextual search across apps. Quickly becoming more than just a tool - itโs an intuitive work assistant.
- Josh Coyne, Kleiner Perkins
3. LanceDB (YC W22)
Multi-modal AI is revolutionary, but data management remains a challenge. Lance optimizes storage and handling for this unstructured data, increasing performance, & reducing costs.
- Saar Gur, CRV
4. Abnormal Security
Weโve seen a surge in AI-powered fraud. As these sophisticated attacks rise, so does the need for AI defenses. Abnormal Security uses AI to counter AI threats.
- Saam Motamedi, Greylock
5. Factory
Factory is creating AI coding โdroidsโ designed to take care of an engineerโs annoying busywork, tackling routine tasks like code review and debugging.
- Markie Wagner, Delphi Labs
6. Lamini
Lamini LLM engine creates and fine-tunes customized, private models. It also has a neat partnership with Databricks, making it even easier to get up and running.
- Todd Jackson & James C. Wu, First Round Capital
7. Sereact
Sereact is revolutionizing warehouse automation, leveraging AI to train its robot arm. From picking electronic devices to soft fruits, its arm navigates spatial and physical nuances v well.
- Nathan Benaich, Air Street Capital
8. Mistral AI
Mistral, founded by impressive AI talent, is developing superior OS language models. A potential European challenger to OpenAI.
- Stanislas Polu, Dust
9. poolside
Poolside is another player in the AI-programming space. Its approach is to create a dedicated foundation model focused on one use case: code generation.
- Matan Grinberg, Factory
10. NewLimit
NewLimit is using ML to change the game in epigenetic reprogramming. Their approach could be transformative for treating intractable diseases.
- Simon Barnett, Dimension
11. Runway
Runway is building a new creative suite with AI. It brings professional-grade video creation to anyone. Already used by Fortune 500 and major movies productsions.
- Grace Isford, Lux Capital
12. Labelbox
By making it easy to select, annotate, and assess data, Labelbox makes it easier to experiment with using AI models like GPT-4.
- Robert Kaplan, SoftBank
13. Dust
Dust leverages LLMs for enterprise productivity. The startup is building a โteam operating systemโ designed to augment knowledge workers.
- Konstantine Buhler, Sequoia Capital
Thereโs a lot more insight and detail in the piece, linked below. Jump in and subscribe for more glimpses of the future ๐
1. Alife
Alife is revolutionizing IVF with AI-powered tools. Itโs enhancing decision-making at crucial stages like ovarian stimulation & embryo selection, making fertility treatments more accessible and efficient.
- Rebecca Kaden, Union Square Ventures
2. Glean
Glean uses AI to provide unified, contextual search across apps. Quickly becoming more than just a tool - itโs an intuitive work assistant.
- Josh Coyne, Kleiner Perkins
3. LanceDB (YC W22)
Multi-modal AI is revolutionary, but data management remains a challenge. Lance optimizes storage and handling for this unstructured data, increasing performance, & reducing costs.
- Saar Gur, CRV
4. Abnormal Security
Weโve seen a surge in AI-powered fraud. As these sophisticated attacks rise, so does the need for AI defenses. Abnormal Security uses AI to counter AI threats.
- Saam Motamedi, Greylock
5. Factory
Factory is creating AI coding โdroidsโ designed to take care of an engineerโs annoying busywork, tackling routine tasks like code review and debugging.
- Markie Wagner, Delphi Labs
6. Lamini
Lamini LLM engine creates and fine-tunes customized, private models. It also has a neat partnership with Databricks, making it even easier to get up and running.
- Todd Jackson & James C. Wu, First Round Capital
7. Sereact
Sereact is revolutionizing warehouse automation, leveraging AI to train its robot arm. From picking electronic devices to soft fruits, its arm navigates spatial and physical nuances v well.
- Nathan Benaich, Air Street Capital
8. Mistral AI
Mistral, founded by impressive AI talent, is developing superior OS language models. A potential European challenger to OpenAI.
- Stanislas Polu, Dust
9. poolside
Poolside is another player in the AI-programming space. Its approach is to create a dedicated foundation model focused on one use case: code generation.
- Matan Grinberg, Factory
10. NewLimit
NewLimit is using ML to change the game in epigenetic reprogramming. Their approach could be transformative for treating intractable diseases.
- Simon Barnett, Dimension
11. Runway
Runway is building a new creative suite with AI. It brings professional-grade video creation to anyone. Already used by Fortune 500 and major movies productsions.
- Grace Isford, Lux Capital
12. Labelbox
By making it easy to select, annotate, and assess data, Labelbox makes it easier to experiment with using AI models like GPT-4.
- Robert Kaplan, SoftBank
13. Dust
Dust leverages LLMs for enterprise productivity. The startup is building a โteam operating systemโ designed to augment knowledge workers.
- Konstantine Buhler, Sequoia Capital
Thereโs a lot more insight and detail in the piece, linked below. Jump in and subscribe for more glimpses of the future ๐
๐1
โNobody tells this to people who are beginners, I wish someone told me. All of us who do creative work, we get into it because we have good taste. But there is this gap. For the first couple years you make stuff, itโs just not that good. Itโs trying to be good, it has potential, but itโs not. But your taste, the thing that got you into the game, is still killer. And your taste is why your work disappoints you. A lot of people never get past this phase, they quit. Most people I know who do interesting, creative work went through years of this. We know our work doesnโt have this special thing that we want it to have. We all go through this. And if you are just starting out or you are still in this phase, you gotta know its normal and the most important thing you can do is do a lot of work. Put yourself on a deadline so that every week you will finish one story. It is only by going through a volume of work that you will close that gap, and your work will be as good as your ambitions. And I took longer to figure out how to do this than anyone Iโve ever met. Itโs gonna take awhile. Itโs normal to take awhile. Youโve just gotta fight your way through.โ
โ Ira Glass
โ Ira Glass