AI가 괴물이 될 거다 라는 모두의 공포감 속에서 영지식 증명(ZK)을 활용한 어떤 AI 연산의 검산 내지 신뢰성을 검증할 수 있는 도구로서 ZKML에 대해 관심을 가지고 기말고사가 끝나고 시간이 날 때마다 조금씩 살펴봤다. 특히 지난 번 샘 알트만의 방한 때 OpenAI 엔지니어와 5분 정도 대화를 나눌 기회가 있었는데 OpenAI도 내부적으로 ZKML 연구를 하고 있다고 한다.
샘 알트만의 월드코인이 ZKML을 최소한 마케팅 용어로나마 표방하고 있으니 당연할 지도 모른다. 하지만 ZKML의 실무적 도입에 대해서는 아직까지 시기상조라는 생각이 들었고 계속 리서치가 필요하다는 의견을 갖게 되었다(나는 문과에서 전과한 수학과 학부생이니까 계속 공부할 기회가 있을 것이다. 사실 지난 주말에는 또 한국통계학회에서 진행하는 수리통계 석사생 대상 강의를 듣고 이게 뭐지 한 걸 보면 난 호기심 부자가 맞다.)
ZKML 라이브러리로는 EZKL이 가장 유명한데 나의 질문 공세에 매우 빠르면서도 친절하게 대답해주어 감명 받았고 정말 고마운 마음이다. Halo2를 사용하는 EZKL 라이브러리의 목적은 인공지능 모델의 출력이 특정 입력에 대해 정확하게 계산되었음을 증명하는 것이고, 일반적으로 블록체인에서 주장하는 “상호 무신뢰 상태에서의 신뢰 부여” 에 부합하는 유즈케이스라고 생각했다.
일반적으로 머신러닝에서 숨기고자 하는 것은 모델의 가중치와 파라미터이므로 모델의 전체 정보를 포함하는 ONNX 파일은 숨겨져야 한다.
내가 파악한 EZKL의 구동 원리는 대략적으로 다음과 같다:
1. 모델 생성: 증명자(prover)는 머신러닝 모델을 생성하고, 이 모델의 가중치와 파라미터를 알게 된다.
2. 해시 생성: 증명자는 이 가중치와 파라미터를 해시 함수에 입력하여 결과 해시 값을 얻고 해시 함수는 원래의 정보를 완전히 복구할 수 없도록 변환하는 일방향 함수이므로 주어진 해시 값만으로는 원래의 가중치와 파라미터를 알아낼 수 없다.
3. 프리 커밋: 증명자는 이 해시 값을 사전 커밋값으로 사용하고 커밋값은 후에 검증 과정에서 사용되며, 증명자는 이 해시 값을 검증자에게 보낸다.
4. 증명 생성: 증명자는 이 모델을 사용하여 작업을 수행하고, 그 결과에 대한 증명을 생성한다. 이 증명에는 해시 값을 사용하여 생성한 모델 파라미터의 해시 값이 포함된다.
5. 증명 검증: 검증자(verifier)는 증명자로부터 받은 증명을 검증한다. 검증자는 증명 내의 해시 값과 증명자로부터 사전에 받은 해시 값이 일치하는지 확인한다. 두 해시 값이 일치한다면, 검증자는 증명자가 작업을 수행할 때 약속한 모델의 가중치와 파라미터를 사용했다고 확신할 수 있다.
이 과정을 통해, 증명자는 실제 가중치와 파라미터를 공개하지 않고도, 이들이 정상적으로 사용되었다는 것을 검증자에게 증명할 수 있는 것이 목표다. 그래서 이는 ONNX 파일 자체를 공개하지 않고도 모델의 신뢰성을 검증하는 방법으로 사용될 수 있다고 한다.
하지만, 허점이 하나 있다. ONNX 파일이라는 모델 형식을 사용하여, EZKL 라이브러리가 신뢰할 수 있는 검증 키(verifying key)와 증명 키(proving key)를 생성한다는 것이다. ONNX 파일은 모델의 구조뿐만 아니라 가중치와 같은 모델의 파라미터를 포함하고 있으므로, ONNX 파일을 소유하고 있는 개체가 해당 모델의 기밀 정보를 접근하고 조작할 수 있다는 의미이다. 그렇다고 투명성을 위해 ONNX 파일을 공개하자니 이건 기업 기밀 유출 내지 과도한 정보 공개이다.
그렇기 때문에, 검증 키와 증명 키를 생성하는 과정에서 ONNX 파일을 보유하고 있는 생성자를 믿어야 하는 문제가 생기게 된다. 따라서 genesis setup에서는 모델 개발자에게 trust를 현실적으로 부여해야 한다는 이야기다. 모델의 개발자가 그 파일을 적절하게 보호하고, 파일이 정확한 파라미터와 함께 올바르게 생성되었다는 것을 보장할 수 있어야 함을 의미하는데 이는 암호학이 궁극적으로 달성하고자 하는 “완전한 무신뢰 상태” 목표 달성에 실패한다.
물론, 이러한 문제를 해결하기 위한 가능한 방법은 다자간 계산(MPC)을 이용해 ONNX 파일을 공동으로 생성하는 것이지만, 이는 현실적으로는 복잡한 프로토콜을 요구하며, 아직까지는 엔터프라이즈 환경에서 실용적이지 않다.
따라서 이러한 문제들은 EZKL 라이브러리가 single-point of failure가 존재하는 현재 아키텍처 상 기업 수준의 생산 환경에서 현재 구조 하에서 실질적으로 적용될 수 있는지에 대한 의문을 가지게 된다. (물론 zk-SNARKs 환경에서 부동소수점 계산이 제대로 되지 않아 tolerance를 일부 상쇄해줘야 한다는 단점도 있지만 이는 차치하도록 하자)
하지만 온디바이스 ML에 대해서는 유용하게 사용될 수도 있겠다. 만약 애플이 구동하는 어떤 온디바이스 신용평가 ML 모델이 있다고 한다면 애플이 가지고 있는 모델과 아이폰에서 구동하는 ML 모델은 동일할 것이므로 아이폰과 애플 사이에는 ML 모델은 public으로 두고 아이폰에서 제공하는 데이터는 private으로 두어 최종적으로 애플에 ML 모델을 돌린 결과값인 신용평가 정보(이 아이폰 사용자는 신용 등급이 A등급입니다)를 제출하고 그 모델을 맞게 돌렸다고 하는, 즉 중간에서 위변조가 이루어지지 않았다는 proof를 함께 제출하면 애플은 사용자의 민감 정보를 수집하지 않고도 모델의 결과값을 신뢰할 수 있을 것이다.
그리고 한 가지 더.. 실질적으로 ZK의 구동은 서버에서 proof를 생성하고 클라이언트에서 wasm으로 bind된 verify 바이너리를 call하여 증명의 참 거짓 여부를 알게 될 것이다. verify 바이너리의 checksum만 봐도 내가 사용하는 라이브러리의 신뢰성을 부여할 수 있다. 다시 말해, 특수하게 신뢰공증을 제공해야 할 경우를 제외하고는 굳이 블록체인에 검증 연산을 실행할 필요가 보이지는 않는다.
Sigurd
샘 알트만의 월드코인이 ZKML을 최소한 마케팅 용어로나마 표방하고 있으니 당연할 지도 모른다. 하지만 ZKML의 실무적 도입에 대해서는 아직까지 시기상조라는 생각이 들었고 계속 리서치가 필요하다는 의견을 갖게 되었다(나는 문과에서 전과한 수학과 학부생이니까 계속 공부할 기회가 있을 것이다. 사실 지난 주말에는 또 한국통계학회에서 진행하는 수리통계 석사생 대상 강의를 듣고 이게 뭐지 한 걸 보면 난 호기심 부자가 맞다.)
ZKML 라이브러리로는 EZKL이 가장 유명한데 나의 질문 공세에 매우 빠르면서도 친절하게 대답해주어 감명 받았고 정말 고마운 마음이다. Halo2를 사용하는 EZKL 라이브러리의 목적은 인공지능 모델의 출력이 특정 입력에 대해 정확하게 계산되었음을 증명하는 것이고, 일반적으로 블록체인에서 주장하는 “상호 무신뢰 상태에서의 신뢰 부여” 에 부합하는 유즈케이스라고 생각했다.
일반적으로 머신러닝에서 숨기고자 하는 것은 모델의 가중치와 파라미터이므로 모델의 전체 정보를 포함하는 ONNX 파일은 숨겨져야 한다.
내가 파악한 EZKL의 구동 원리는 대략적으로 다음과 같다:
1. 모델 생성: 증명자(prover)는 머신러닝 모델을 생성하고, 이 모델의 가중치와 파라미터를 알게 된다.
2. 해시 생성: 증명자는 이 가중치와 파라미터를 해시 함수에 입력하여 결과 해시 값을 얻고 해시 함수는 원래의 정보를 완전히 복구할 수 없도록 변환하는 일방향 함수이므로 주어진 해시 값만으로는 원래의 가중치와 파라미터를 알아낼 수 없다.
3. 프리 커밋: 증명자는 이 해시 값을 사전 커밋값으로 사용하고 커밋값은 후에 검증 과정에서 사용되며, 증명자는 이 해시 값을 검증자에게 보낸다.
4. 증명 생성: 증명자는 이 모델을 사용하여 작업을 수행하고, 그 결과에 대한 증명을 생성한다. 이 증명에는 해시 값을 사용하여 생성한 모델 파라미터의 해시 값이 포함된다.
5. 증명 검증: 검증자(verifier)는 증명자로부터 받은 증명을 검증한다. 검증자는 증명 내의 해시 값과 증명자로부터 사전에 받은 해시 값이 일치하는지 확인한다. 두 해시 값이 일치한다면, 검증자는 증명자가 작업을 수행할 때 약속한 모델의 가중치와 파라미터를 사용했다고 확신할 수 있다.
이 과정을 통해, 증명자는 실제 가중치와 파라미터를 공개하지 않고도, 이들이 정상적으로 사용되었다는 것을 검증자에게 증명할 수 있는 것이 목표다. 그래서 이는 ONNX 파일 자체를 공개하지 않고도 모델의 신뢰성을 검증하는 방법으로 사용될 수 있다고 한다.
하지만, 허점이 하나 있다. ONNX 파일이라는 모델 형식을 사용하여, EZKL 라이브러리가 신뢰할 수 있는 검증 키(verifying key)와 증명 키(proving key)를 생성한다는 것이다. ONNX 파일은 모델의 구조뿐만 아니라 가중치와 같은 모델의 파라미터를 포함하고 있으므로, ONNX 파일을 소유하고 있는 개체가 해당 모델의 기밀 정보를 접근하고 조작할 수 있다는 의미이다. 그렇다고 투명성을 위해 ONNX 파일을 공개하자니 이건 기업 기밀 유출 내지 과도한 정보 공개이다.
그렇기 때문에, 검증 키와 증명 키를 생성하는 과정에서 ONNX 파일을 보유하고 있는 생성자를 믿어야 하는 문제가 생기게 된다. 따라서 genesis setup에서는 모델 개발자에게 trust를 현실적으로 부여해야 한다는 이야기다. 모델의 개발자가 그 파일을 적절하게 보호하고, 파일이 정확한 파라미터와 함께 올바르게 생성되었다는 것을 보장할 수 있어야 함을 의미하는데 이는 암호학이 궁극적으로 달성하고자 하는 “완전한 무신뢰 상태” 목표 달성에 실패한다.
물론, 이러한 문제를 해결하기 위한 가능한 방법은 다자간 계산(MPC)을 이용해 ONNX 파일을 공동으로 생성하는 것이지만, 이는 현실적으로는 복잡한 프로토콜을 요구하며, 아직까지는 엔터프라이즈 환경에서 실용적이지 않다.
따라서 이러한 문제들은 EZKL 라이브러리가 single-point of failure가 존재하는 현재 아키텍처 상 기업 수준의 생산 환경에서 현재 구조 하에서 실질적으로 적용될 수 있는지에 대한 의문을 가지게 된다. (물론 zk-SNARKs 환경에서 부동소수점 계산이 제대로 되지 않아 tolerance를 일부 상쇄해줘야 한다는 단점도 있지만 이는 차치하도록 하자)
하지만 온디바이스 ML에 대해서는 유용하게 사용될 수도 있겠다. 만약 애플이 구동하는 어떤 온디바이스 신용평가 ML 모델이 있다고 한다면 애플이 가지고 있는 모델과 아이폰에서 구동하는 ML 모델은 동일할 것이므로 아이폰과 애플 사이에는 ML 모델은 public으로 두고 아이폰에서 제공하는 데이터는 private으로 두어 최종적으로 애플에 ML 모델을 돌린 결과값인 신용평가 정보(이 아이폰 사용자는 신용 등급이 A등급입니다)를 제출하고 그 모델을 맞게 돌렸다고 하는, 즉 중간에서 위변조가 이루어지지 않았다는 proof를 함께 제출하면 애플은 사용자의 민감 정보를 수집하지 않고도 모델의 결과값을 신뢰할 수 있을 것이다.
그리고 한 가지 더.. 실질적으로 ZK의 구동은 서버에서 proof를 생성하고 클라이언트에서 wasm으로 bind된 verify 바이너리를 call하여 증명의 참 거짓 여부를 알게 될 것이다. verify 바이너리의 checksum만 봐도 내가 사용하는 라이브러리의 신뢰성을 부여할 수 있다. 다시 말해, 특수하게 신뢰공증을 제공해야 할 경우를 제외하고는 굳이 블록체인에 검증 연산을 실행할 필요가 보이지는 않는다.
Sigurd
https://www.forbes.com/sites/alexkonrad/2023/07/10/flexport-founder-ryan-petersen-joins-founders-fund/
I believe entrepreneurs who did zero to one, could find next entrepreneurs better as there wore the similar shoes with them.
I believe entrepreneurs who did zero to one, could find next entrepreneurs better as there wore the similar shoes with them.
Forbes
Flexport Founder Ryan Petersen Is VC Firm Founders Fund’s Newest Partner
Flexport founder Ryan Petersen is joining Founders Fund, the Peter Thiel-founded VC firm that had previously backed him, as an investment partner.
We just published my interview with Slow Ventures GP (and former VP Product Facebook) Sam Lessin. A contrarian in the best sense, Sam was a pleasure to talk with.
A few highlights:
👽 Lessons from science fiction. Science fiction has often served as inspiration for technologists. For Sam Lessin, it’s the genre’s similarities with investing that are perhaps most interesting. Though leveraging very different mediums, both science fiction worldbuilders and venture investors advance a thesis for what the world might become.
📊 The merits of metrics. For many years of his career, Sam considered metrics limiting. He believed that focusing too closely on certain figures “over-constrained” a problem, thwarting the ability to address its fundamentals. He has changed his opinion. Rather than a restriction, Sam now sees metrics as an opportunity for agency. Once given a certain number to focus on, team members are empowered to handle the matter as they deem best.
🤥 Delusion and honesty. By definition, founders are deluded – at least in Sam’s view. To change the world, disrupt incumbents, and remake industries, productive insanity is required. Founders have to balance that wild ambition with internal honesty. For Sam, the ideal entrepreneur understands how to balance being “strategically crazy” with deep introspection.
🧠 AI hype. As Silicon Valley rushes to capitalize AI startups, Sam is largely sitting back. Though he finds the technology compelling, the long-time VC sees it as a poor place to invest. Sam expects the value of this technology to primarily accrue to large, established players, with few new startups breaking through.
🏆 Winning big. Sam has logged remarkable successes in his investing career, backing companies like Slack, Robinhood, Airtable, Nextdoor, and Solana. Sam doesn’t see himself as a true investing craftsman despite his wins. In his view, the best investors are not only directionally correct but bold enough to double and triple down. That’s how you can hit a $10 billion return on even a single exceptional bet.
https://lnkd.in/gP2zhSSu
A few highlights:
👽 Lessons from science fiction. Science fiction has often served as inspiration for technologists. For Sam Lessin, it’s the genre’s similarities with investing that are perhaps most interesting. Though leveraging very different mediums, both science fiction worldbuilders and venture investors advance a thesis for what the world might become.
📊 The merits of metrics. For many years of his career, Sam considered metrics limiting. He believed that focusing too closely on certain figures “over-constrained” a problem, thwarting the ability to address its fundamentals. He has changed his opinion. Rather than a restriction, Sam now sees metrics as an opportunity for agency. Once given a certain number to focus on, team members are empowered to handle the matter as they deem best.
🤥 Delusion and honesty. By definition, founders are deluded – at least in Sam’s view. To change the world, disrupt incumbents, and remake industries, productive insanity is required. Founders have to balance that wild ambition with internal honesty. For Sam, the ideal entrepreneur understands how to balance being “strategically crazy” with deep introspection.
🧠 AI hype. As Silicon Valley rushes to capitalize AI startups, Sam is largely sitting back. Though he finds the technology compelling, the long-time VC sees it as a poor place to invest. Sam expects the value of this technology to primarily accrue to large, established players, with few new startups breaking through.
🏆 Winning big. Sam has logged remarkable successes in his investing career, backing companies like Slack, Robinhood, Airtable, Nextdoor, and Solana. Sam doesn’t see himself as a true investing craftsman despite his wins. In his view, the best investors are not only directionally correct but bold enough to double and triple down. That’s how you can hit a $10 billion return on even a single exceptional bet.
https://lnkd.in/gP2zhSSu
The Generalist
Modern Meditations: Sam Lessin
The Slow Ventures GP on philosophy, empowering metrics, AI hype, and John Wick.
She started a dating app called Bumble in 2014 that let women make the first move and became the youngest self-made billionaire in the world.
Nearly 9 years and countless Bumble weddings and babies later, she's celebrated over 1.5 billion first moves.
Here are 4 pieces of advice from the queen of dating, Whitney Wolfe Herd:
1. 𝘐 𝘳𝘦𝘢𝘭𝘭𝘺 𝘵𝘳𝘺 𝘵𝘰 𝘢𝘴𝘬 𝘮𝘺𝘴𝘦𝘭𝘧 𝘵𝘩𝘦 𝘲𝘶𝘦𝘴𝘵𝘪𝘰𝘯 𝘰𝘧 𝘯𝘪𝘯𝘦. 𝘞𝘪𝘭𝘭 𝘵𝘩𝘪𝘴 𝘮𝘢𝘵𝘵𝘦𝘳 𝘪𝘯 𝘯𝘪𝘯𝘦 𝘮𝘪𝘯𝘶𝘵𝘦𝘴, 𝘯𝘪𝘯𝘦 𝘩𝘰𝘶𝘳𝘴, 𝘯𝘪𝘯𝘦 𝘥𝘢𝘺𝘴, 𝘯𝘪𝘯𝘦 𝘸𝘦𝘦𝘬𝘴, 𝘯𝘪𝘯𝘦 𝘮𝘰𝘯𝘵𝘩𝘴 𝘰𝘳 𝘯𝘪𝘯𝘦 𝘺𝘦𝘢𝘳𝘴? 𝘐𝘧 𝘪𝘵 𝘸𝘪𝘭𝘭 𝘵𝘳𝘶𝘭𝘺 𝘮𝘢𝘵𝘵𝘦𝘳 𝘧𝘰𝘳 𝘢𝘭𝘭 𝘰𝘧 𝘵𝘩𝘰𝘴𝘦, 𝘱𝘢𝘺 𝘢𝘵𝘵𝘦𝘯𝘵𝘪𝘰𝘯 𝘵𝘰 𝘪𝘵.
2. 𝘈𝘧𝘵𝘦𝘳 𝘨𝘳𝘢𝘥𝘶𝘢𝘵𝘪𝘯𝘨 𝘪𝘯 𝘐𝘯𝘵𝘦𝘳𝘯𝘢𝘵𝘪𝘰𝘯𝘢𝘭 𝘙𝘦𝘭𝘢𝘵𝘪𝘰𝘯𝘴 𝘪𝘯 2011, 𝘐 𝘵𝘶𝘳𝘯𝘦𝘥 𝘥𝘰𝘸𝘯 𝘴𝘢𝘧𝘦, 𝘤𝘰𝘳𝘱𝘰𝘳𝘢𝘵𝘦 𝘫𝘰𝘣 𝘰𝘧𝘧𝘦𝘳𝘴 𝘢𝘯𝘥 𝘪𝘯𝘴𝘵𝘦𝘢𝘥 𝘢𝘤𝘤𝘦𝘱𝘵𝘦𝘥 𝘢 𝘱𝘰𝘴𝘪𝘵𝘪𝘰𝘯 𝘢𝘵 𝘢𝘯 '𝘪𝘯𝘤𝘶𝘣𝘢𝘵𝘰𝘳' 𝘪𝘯 𝘓.𝘈. - 𝘢 𝘵𝘦𝘤𝘩 𝘸𝘰𝘳𝘥 𝘧𝘰𝘳 𝘢 𝘵𝘦𝘢𝘮 𝘰𝘧 𝘱𝘦𝘰𝘱𝘭𝘦 𝘸𝘩𝘰 𝘢𝘳𝘦 𝘧𝘶𝘯𝘥𝘦𝘥 𝘣𝘺 𝘪𝘯𝘷𝘦𝘴𝘵𝘰𝘳𝘴 𝘵𝘰 𝘤𝘳𝘦𝘢𝘵𝘦 𝘢𝘱𝘱𝘴. 𝘐 𝘬𝘯𝘦𝘸 𝘵𝘩𝘦 𝘧𝘶𝘵𝘶𝘳𝘦 𝘸𝘢𝘴 𝘥𝘪𝘨𝘪𝘵𝘢𝘭 𝘢𝘯𝘥 𝘵𝘩𝘢𝘵 𝘐 𝘩𝘢𝘥 𝘵𝘰 𝘵𝘢𝘬𝘦 𝘢 𝘳𝘪𝘴𝘬.
3. 𝘓𝘰𝘰𝘬 𝘢𝘵 𝘸𝘩𝘢𝘵 𝘪𝘴 𝘣𝘳𝘰𝘬𝘦𝘯 𝘪𝘯 𝘴𝘰𝘤𝘪𝘦𝘵𝘺, 𝘧𝘪𝘨𝘶𝘳𝘦 𝘰𝘶𝘵 𝘩𝘰𝘸 𝘵𝘰 𝘮𝘢𝘬𝘦 𝘪𝘵 𝘣𝘦𝘵𝘵𝘦𝘳, 𝘢𝘯𝘥 𝘵𝘩𝘦𝘯, 𝘢𝘳𝘰𝘶𝘯𝘥 𝘵𝘩𝘢𝘵, 𝘧𝘰𝘳𝘮𝘶𝘭𝘢𝘵𝘦 𝘢 𝘣𝘶𝘴𝘪𝘯𝘦𝘴𝘴.
4. 𝘏𝘢𝘷𝘦 𝘢 𝘥𝘳𝘦𝘢𝘮, 𝘤𝘩𝘢𝘴𝘦 𝘪𝘵 𝘥𝘰𝘸𝘯, 𝘫𝘶𝘮𝘱 𝘰𝘷𝘦𝘳 𝘦𝘷𝘦𝘳𝘺 𝘴𝘪𝘯𝘨𝘭𝘦 𝘩𝘶𝘳𝘥𝘭𝘦, 𝘢𝘯𝘥 𝘳𝘶𝘯 𝘵𝘩𝘳𝘰𝘶𝘨𝘩 𝘧𝘪𝘳𝘦 𝘢𝘯𝘥 𝘪𝘤𝘦 𝘵𝘰 𝘨𝘦𝘵 𝘵𝘩𝘦𝘳𝘦.
https://twitter.com/arjunmahadevan/status/1678394447459909634?s=46&t=h5Byg6Wosg8MJb4pbPSDow
Nearly 9 years and countless Bumble weddings and babies later, she's celebrated over 1.5 billion first moves.
Here are 4 pieces of advice from the queen of dating, Whitney Wolfe Herd:
1. 𝘐 𝘳𝘦𝘢𝘭𝘭𝘺 𝘵𝘳𝘺 𝘵𝘰 𝘢𝘴𝘬 𝘮𝘺𝘴𝘦𝘭𝘧 𝘵𝘩𝘦 𝘲𝘶𝘦𝘴𝘵𝘪𝘰𝘯 𝘰𝘧 𝘯𝘪𝘯𝘦. 𝘞𝘪𝘭𝘭 𝘵𝘩𝘪𝘴 𝘮𝘢𝘵𝘵𝘦𝘳 𝘪𝘯 𝘯𝘪𝘯𝘦 𝘮𝘪𝘯𝘶𝘵𝘦𝘴, 𝘯𝘪𝘯𝘦 𝘩𝘰𝘶𝘳𝘴, 𝘯𝘪𝘯𝘦 𝘥𝘢𝘺𝘴, 𝘯𝘪𝘯𝘦 𝘸𝘦𝘦𝘬𝘴, 𝘯𝘪𝘯𝘦 𝘮𝘰𝘯𝘵𝘩𝘴 𝘰𝘳 𝘯𝘪𝘯𝘦 𝘺𝘦𝘢𝘳𝘴? 𝘐𝘧 𝘪𝘵 𝘸𝘪𝘭𝘭 𝘵𝘳𝘶𝘭𝘺 𝘮𝘢𝘵𝘵𝘦𝘳 𝘧𝘰𝘳 𝘢𝘭𝘭 𝘰𝘧 𝘵𝘩𝘰𝘴𝘦, 𝘱𝘢𝘺 𝘢𝘵𝘵𝘦𝘯𝘵𝘪𝘰𝘯 𝘵𝘰 𝘪𝘵.
2. 𝘈𝘧𝘵𝘦𝘳 𝘨𝘳𝘢𝘥𝘶𝘢𝘵𝘪𝘯𝘨 𝘪𝘯 𝘐𝘯𝘵𝘦𝘳𝘯𝘢𝘵𝘪𝘰𝘯𝘢𝘭 𝘙𝘦𝘭𝘢𝘵𝘪𝘰𝘯𝘴 𝘪𝘯 2011, 𝘐 𝘵𝘶𝘳𝘯𝘦𝘥 𝘥𝘰𝘸𝘯 𝘴𝘢𝘧𝘦, 𝘤𝘰𝘳𝘱𝘰𝘳𝘢𝘵𝘦 𝘫𝘰𝘣 𝘰𝘧𝘧𝘦𝘳𝘴 𝘢𝘯𝘥 𝘪𝘯𝘴𝘵𝘦𝘢𝘥 𝘢𝘤𝘤𝘦𝘱𝘵𝘦𝘥 𝘢 𝘱𝘰𝘴𝘪𝘵𝘪𝘰𝘯 𝘢𝘵 𝘢𝘯 '𝘪𝘯𝘤𝘶𝘣𝘢𝘵𝘰𝘳' 𝘪𝘯 𝘓.𝘈. - 𝘢 𝘵𝘦𝘤𝘩 𝘸𝘰𝘳𝘥 𝘧𝘰𝘳 𝘢 𝘵𝘦𝘢𝘮 𝘰𝘧 𝘱𝘦𝘰𝘱𝘭𝘦 𝘸𝘩𝘰 𝘢𝘳𝘦 𝘧𝘶𝘯𝘥𝘦𝘥 𝘣𝘺 𝘪𝘯𝘷𝘦𝘴𝘵𝘰𝘳𝘴 𝘵𝘰 𝘤𝘳𝘦𝘢𝘵𝘦 𝘢𝘱𝘱𝘴. 𝘐 𝘬𝘯𝘦𝘸 𝘵𝘩𝘦 𝘧𝘶𝘵𝘶𝘳𝘦 𝘸𝘢𝘴 𝘥𝘪𝘨𝘪𝘵𝘢𝘭 𝘢𝘯𝘥 𝘵𝘩𝘢𝘵 𝘐 𝘩𝘢𝘥 𝘵𝘰 𝘵𝘢𝘬𝘦 𝘢 𝘳𝘪𝘴𝘬.
3. 𝘓𝘰𝘰𝘬 𝘢𝘵 𝘸𝘩𝘢𝘵 𝘪𝘴 𝘣𝘳𝘰𝘬𝘦𝘯 𝘪𝘯 𝘴𝘰𝘤𝘪𝘦𝘵𝘺, 𝘧𝘪𝘨𝘶𝘳𝘦 𝘰𝘶𝘵 𝘩𝘰𝘸 𝘵𝘰 𝘮𝘢𝘬𝘦 𝘪𝘵 𝘣𝘦𝘵𝘵𝘦𝘳, 𝘢𝘯𝘥 𝘵𝘩𝘦𝘯, 𝘢𝘳𝘰𝘶𝘯𝘥 𝘵𝘩𝘢𝘵, 𝘧𝘰𝘳𝘮𝘶𝘭𝘢𝘵𝘦 𝘢 𝘣𝘶𝘴𝘪𝘯𝘦𝘴𝘴.
4. 𝘏𝘢𝘷𝘦 𝘢 𝘥𝘳𝘦𝘢𝘮, 𝘤𝘩𝘢𝘴𝘦 𝘪𝘵 𝘥𝘰𝘸𝘯, 𝘫𝘶𝘮𝘱 𝘰𝘷𝘦𝘳 𝘦𝘷𝘦𝘳𝘺 𝘴𝘪𝘯𝘨𝘭𝘦 𝘩𝘶𝘳𝘥𝘭𝘦, 𝘢𝘯𝘥 𝘳𝘶𝘯 𝘵𝘩𝘳𝘰𝘶𝘨𝘩 𝘧𝘪𝘳𝘦 𝘢𝘯𝘥 𝘪𝘤𝘦 𝘵𝘰 𝘨𝘦𝘵 𝘵𝘩𝘦𝘳𝘦.
https://twitter.com/arjunmahadevan/status/1678394447459909634?s=46&t=h5Byg6Wosg8MJb4pbPSDow
X (formerly Twitter)
Arjun Mahadevan (Mr. LLC 🇺🇸) on X
She started a dating app called Bumble in 2014 that let women make the first move and became the youngest self-made billionaire in the world.
Nearly 9 years and countless Bumble weddings and babies later, she's celebrated over 1.5 billion first moves.
Here…
Nearly 9 years and countless Bumble weddings and babies later, she's celebrated over 1.5 billion first moves.
Here…
원타임 북클럽 : 일명 "실시간 책번개"
새로운 개념의 북클럽 방식을 설계했는데 소개할까 한다. 지인분들께 드리는 새해선물로 생각해 주시면 좋겠다. 기본적으로 한번만 하고 마는 일회성 북클럽이다.
한번은 꼭 읽고 싶지만 이대로 가다간 평생 안읽을 것 같은 책을 고른다. 이게 중요하다. 두께는 상관 없음.
누군가가 이번주 무슨 요일 밤 몇시 이렇게 제안을 하면 관심있는 사람들이 모인다. 코로나 땜에 온라인으로. 딱 한시간만. 제안한 사람은 물론, 모이는 사람 누구도 그 책을 미리 읽어올 필요가 없다. 아마 아무도 안읽고 모이는 것이 더 흔할 것이다. 다만 전자책/종이책은 준비할 필요가 있다.
모이면 다음 순서로 진행을 한다.
1. (5분) 서로 소개 및 이 책에 대해 기대되는 것들 나누기 (이미 어느 정도 정보가 있는 분들이 있을 것이므로)
2. (5분) 타이머 설정후 각자 개인적으로 책을 훑으면서 이번 모임에서 내가 읽고 싶은 부분을 찾는다(보통은 챕터 단위로 하게 되더라). 그리고 해당 부분을 내 셀에 적는다. <온라인 회의 요결> https://youtu.be/fKgitEaFmd0 참고
3. (5분) 앞의 내용 공유
4. (15분) 역시 타이머. 각자 자기가 읽기로 한 부분 읽기. 읽으면서 내 컬럼에 인상적인 문구는 복붙하고, 통찰이나 질문도 적음.
5. (20분) 앞의 내용 공유. 서로 질문하고 토론. 중간에 필요에 따라 책의 해당 부분을 찾아 함께 읽고 논의할 수도 있음.
6. (10분) 전체 소감 나누기. 앞으로 뭘 해보겠다 하는 행동계획도 좋음.
이렇게 하면 딱 한시간이다. 서너명에서 예닐곱명까지 이렇게 해봤다. 이걸 하고 나면 각자 읽은 부분은 정말 짧지만 신기하게 책의 와꾸가 들어오게 된다. 퍼즐 맞추기 같다고 할까.
제안자는 이 활동을 토대로 추진력을 얻어 이 책을 더 보게 될 수도 있고, 혹은 이 정도면 됐다 하고 미련을 버릴 수도 있다. 참석자들이 대부분 마음에 들어하면 이 책으로 정해진 횟수(통상 4-6회 정도를 추천) 동안 정기적으로 이 모임을 진행할 수도 있다.
이런 방식으로 근래에 북클럽을 여러번 했는데 참석자들의 만족도가 매우 높았다. 참고로 선정한 책들은 모두 원서에 전문서적이었다. 15분이 절대 짧은 시간이 아니라는거, 내가 이렇게까지 몰입해서 능동적으로 읽을 수도 있다는거에 놀라게 될 거다. 이걸 꾸준히 하면 독서 능력/야생학습 능력이 확 늘게 된다.
새로운 개념의 북클럽 방식을 설계했는데 소개할까 한다. 지인분들께 드리는 새해선물로 생각해 주시면 좋겠다. 기본적으로 한번만 하고 마는 일회성 북클럽이다.
한번은 꼭 읽고 싶지만 이대로 가다간 평생 안읽을 것 같은 책을 고른다. 이게 중요하다. 두께는 상관 없음.
누군가가 이번주 무슨 요일 밤 몇시 이렇게 제안을 하면 관심있는 사람들이 모인다. 코로나 땜에 온라인으로. 딱 한시간만. 제안한 사람은 물론, 모이는 사람 누구도 그 책을 미리 읽어올 필요가 없다. 아마 아무도 안읽고 모이는 것이 더 흔할 것이다. 다만 전자책/종이책은 준비할 필요가 있다.
모이면 다음 순서로 진행을 한다.
1. (5분) 서로 소개 및 이 책에 대해 기대되는 것들 나누기 (이미 어느 정도 정보가 있는 분들이 있을 것이므로)
2. (5분) 타이머 설정후 각자 개인적으로 책을 훑으면서 이번 모임에서 내가 읽고 싶은 부분을 찾는다(보통은 챕터 단위로 하게 되더라). 그리고 해당 부분을 내 셀에 적는다. <온라인 회의 요결> https://youtu.be/fKgitEaFmd0 참고
3. (5분) 앞의 내용 공유
4. (15분) 역시 타이머. 각자 자기가 읽기로 한 부분 읽기. 읽으면서 내 컬럼에 인상적인 문구는 복붙하고, 통찰이나 질문도 적음.
5. (20분) 앞의 내용 공유. 서로 질문하고 토론. 중간에 필요에 따라 책의 해당 부분을 찾아 함께 읽고 논의할 수도 있음.
6. (10분) 전체 소감 나누기. 앞으로 뭘 해보겠다 하는 행동계획도 좋음.
이렇게 하면 딱 한시간이다. 서너명에서 예닐곱명까지 이렇게 해봤다. 이걸 하고 나면 각자 읽은 부분은 정말 짧지만 신기하게 책의 와꾸가 들어오게 된다. 퍼즐 맞추기 같다고 할까.
제안자는 이 활동을 토대로 추진력을 얻어 이 책을 더 보게 될 수도 있고, 혹은 이 정도면 됐다 하고 미련을 버릴 수도 있다. 참석자들이 대부분 마음에 들어하면 이 책으로 정해진 횟수(통상 4-6회 정도를 추천) 동안 정기적으로 이 모임을 진행할 수도 있다.
이런 방식으로 근래에 북클럽을 여러번 했는데 참석자들의 만족도가 매우 높았다. 참고로 선정한 책들은 모두 원서에 전문서적이었다. 15분이 절대 짧은 시간이 아니라는거, 내가 이렇게까지 몰입해서 능동적으로 읽을 수도 있다는거에 놀라게 될 거다. 이걸 꾸준히 하면 독서 능력/야생학습 능력이 확 늘게 된다.
아침부터 굿뉴스가 왔습니다. 구글 AI Week에 맞춰 온것같기도 한데요. Google Workspace에서 AI기능을 사용하게 된다고 합니다. 아주 재미있을것 같습니다.
--
오늘부터 사용 가능한 Workspace Labs의 특징들
[Google Docs에서 AI와 함께 글을 써보세요]
Google Docs에서는 인공지능을 이용해 여러분의 질문에 따른 텍스트를 제안해드립니다. 예를 들어 "Help me write (Labs)"라는 질문을 통해 블로그 포스트를 작성하거나 노래 가사를 쓰는 것이 가능하며, 이미 존재하는 텍스트를 더 상세하게 혹은 간결하게 재작성하는 것도 가능합니다.
[Gmail에서 빠르게 이메일을 작성하거나 개선해보세요]
Gmail에서는 인공지능을 이용해 여러분의 질문에 따른 이메일을 작성할 수 있습니다. "Help me write (Labs)" 버튼을 Gmail에서 선택하고 질문을 입력해 직장에 보낼 커버레터나 친구들에게 보낼 생일 초대장을 작성하거나, 초안을 더 상세하게 혹은 간결하게 수정하는 것도 가능합니다.
[Google Slides에서 AI로 이미지를 생성해보세요]
Google Slides에서는 인공지능을 이용해 여러분의 질문에 따른 이미지를 생성할 수 있습니다. 예를 들어, "Help me visualize" 버튼을 선택하고 질문을 입력해 피크닉이나 추상화 그림 등의 이미지를 생성하는 것이 가능합니다.
[Google Sheets에서 AI를 활용해 정리해보세요]
Google Sheets에서는 인공지능을 이용해 여러분의 질문에 따른 표를 제안해드립니다. 예를 들어 "Help me organize (Workspace Labs)" 기능을 이용해 여행 계획이나 작업 트래커를 작성하는 것이 가능합니다.
--
오늘부터 사용 가능한 Workspace Labs의 특징들
[Google Docs에서 AI와 함께 글을 써보세요]
Google Docs에서는 인공지능을 이용해 여러분의 질문에 따른 텍스트를 제안해드립니다. 예를 들어 "Help me write (Labs)"라는 질문을 통해 블로그 포스트를 작성하거나 노래 가사를 쓰는 것이 가능하며, 이미 존재하는 텍스트를 더 상세하게 혹은 간결하게 재작성하는 것도 가능합니다.
[Gmail에서 빠르게 이메일을 작성하거나 개선해보세요]
Gmail에서는 인공지능을 이용해 여러분의 질문에 따른 이메일을 작성할 수 있습니다. "Help me write (Labs)" 버튼을 Gmail에서 선택하고 질문을 입력해 직장에 보낼 커버레터나 친구들에게 보낼 생일 초대장을 작성하거나, 초안을 더 상세하게 혹은 간결하게 수정하는 것도 가능합니다.
[Google Slides에서 AI로 이미지를 생성해보세요]
Google Slides에서는 인공지능을 이용해 여러분의 질문에 따른 이미지를 생성할 수 있습니다. 예를 들어, "Help me visualize" 버튼을 선택하고 질문을 입력해 피크닉이나 추상화 그림 등의 이미지를 생성하는 것이 가능합니다.
[Google Sheets에서 AI를 활용해 정리해보세요]
Google Sheets에서는 인공지능을 이용해 여러분의 질문에 따른 표를 제안해드립니다. 예를 들어 "Help me organize (Workspace Labs)" 기능을 이용해 여행 계획이나 작업 트래커를 작성하는 것이 가능합니다.
semianalysis.com/p/gpt-4-architecture-infrastructure?utm_campaign=post&utm_medium=web
OpenAI’s most durable moat is that they have the most real-world usage, leading engineering talent, and can continue to race ahead of others with future models.
The most interesting aspect of GPT-4 is understanding why they made certain architectural decisions.
Agree
OpenAI’s most durable moat is that they have the most real-world usage, leading engineering talent, and can continue to race ahead of others with future models.
The most interesting aspect of GPT-4 is understanding why they made certain architectural decisions.
Agree
SemiAnalysis
GPT-4 Architecture, Infrastructure, Training Dataset, Costs, Vision, MoE
Demystifying GPT-4: The engineering tradeoffs that led OpenAI to their architecture. OpenAI is keeping the architecture of GPT-4 closed not because of some existential risk to humanity but because …
Forwarded from 요즘AI
OpenAI 창립 멤버 중 한 명인 안드레아 카르파티(Andrej karpathy)가 ‘왜 혁신적 AI에 도달하기 어려운가’라는 아티클을 리트윗했습니다.
AI 진보의 최전선에 있는 그가 다소 보수적인 입장의 아티클을 공유한 것인데, 함께 고민해볼 만한 논거들을 정리해봤습니다.
원본 번역글
—
0/ 일부 AI 옹호론자들은 AI 혁신으로 인해 세계 GDP 성장률이 역사적으로 단 한 번도 넘지 못했던 3%를 넘을 수 있을 것이라고 주장합니다.
물론 혁신의 과정 자체를 자동화할 수 있다면 충분히 가능한 미래지만, 이를 위해서 넘어야 할 과제들이 굉장히 많습니다.
1/ 가장 어려운 문제는 ‘세상은 항상 불균형하게 발전한다는 것’입니다.
일례로 과거의 제조업, 최근의 IT산업은 도구 및 장비의 기술 혁신으로 인해 큰 생산성의 향상을 경험했습니다. 반면, 노동 집약적이거나 인간의 상호작용이 필요한 의료, 교육 등의 공공 부문 직업은 기술의 영향을 크게 받지 못했습니다.
1-1/ 이러한 불균형은 ‘보몰 효과(Baumol effect)*’를 야기할 수 있으며, 이로 인해 생산성이 크게 증가한 직업의 성장률마저 상쇄될 수 있습니다.
*보몰 효과 : 노동 생산성이 크게 증가한 직업의 임금 상승에 반응하여, 생산성이 상대적으로 덜 증가한 직업의 임금도 고용 경쟁에 의해 상승하는 현상. (관련 링크)
1-2/ 결국 AI가 모든 영역을 자동화할 수 있어야 의미있는 수준의 경제 성장이 가능해질 것입니다.
2/ 그렇다면 현재 AI 기술의 발전만으로 모든 산업을 효율화시킬 수 있을까요? 이것이 가능해지려면 다른 분야의 기술 발전도 함께 일어나야 합니다.
2-1/ 로봇 공학은 AI의 발전에 크게 뒤쳐져 있습니다. 벌레의 꿈틀거림은 굉장히 간단한 움직임이지만, 여전히 구현하기 힘든 영역입니다.
2-2/ 현재 대부분의 제조, 건설업은 하드웨어를 필요로 하는데(인력과 같은), 이러한 인력을 대체할 만한 로봇 기술이 발전하지 않는다면 AI 기술만으로는 성장이 크게 가속화되기에는 한계가 있을 수 있습니다.
2-3/ 하드웨어 최적화 또한 한계에 다다랐다는 연구 결과가 있습니다.
컴퓨팅 파워를 몇 배로 확장하려면 하드웨어 영역에 수천억 달러의 추가 지출이 필요합니다. 무어의 법칙이 멈추기 전에 혁신적 AI에 도달할 수 있을지가 주요 관건이 될 것 같습니다.
2-4/ 일각의 연구에서는 2026년에는 고품질의 언어 데이터가 고갈될 수 있다고 경고했습니다. 물론 합성 데이터와 같은 대안이 제시되고 있지만, 이는 근본적인 해결책이 아닙니다.
2-5/ 인간 피드백은 AI의 결과물을 더욱 유용하게 만들지만, 이로 인해 생산성의 향상은 제한될 수 있습니다.
2-6/ 그렇다고 인간 피드백을 제외하기도 어려운 상황입니다. 인간은 가치관에 따라 행동하려고 노력하기 때문에 가장 중요한 데이터는 사람들의 가치관에 대한 것, 즉 인간이 관여해야 하는 것이기 때문입니다.
2-7/ 데이터 문제를 해결하기 위해, 인간의 경험과 다른 감각(후각, 촉각과 같은) 데이터를 사용하는 것을 고려해볼 수 있겠지만, 아직 여기까지 기술이 발전하지 못했습니다.
3/ 기술적 장애물뿐만 아니라, 사회적, 경제적 장애물도 AI의 영향력을 제한할 수 있습니다.
3-1/ 사회적, 정치적 장벽으로 인해 기술의 도입이 늦어지거나 때로는 완전히 중단되기도 합니다.
일례로, 런던의 공영 지하철 기관사는 대체할 수 있는 기술이 수십 년 전부터 존재했음에도 불구하고 전국 평균의 두 배에 가까운 임금을 받고 있습니다.
3-2/ 또한 혁신적인 경제 성장을 이루기 위해선 자동화만으로는 충분하지 않습니다. OpenAI에서는 “약 19%의 직업은 업무의 50% 이상에 대해 GPT-4를 활용한 애플리케이션을 구축할 수 있다”고 추산했습니다.
3-3/ 반대로 말하면 GPT-4만으로는 완전 자동화에 근접하지 못한다는 의미이며, 신뢰성이 필수적인 영역 또한 AI의 기술적 한계로 당분간 영향을 받지 않을 것입니다. 이는 인류에 변혁적인 영향을 미치지 못하는 수준입니다.
—
안드레아 카르파티(Andrej karpathy)는 해당 글을 리트윗함으로써 혁신적 AI의 도래를 위해 준비할 것이 아직 굉장히 많음을 말하고 싶었던 것 같습니다.
즉 기술과 혁신 사이에는 수많은 난관과 사회적 합의점이 존재하며, 이러한 지점들이 논의되고 해결될 때 우리는 AI 기술이 가져다 준 ‘진정한 혜택’을 느낄 수 있을 것입니다.
위 글의 논거에 대해서는 다양한 의견이 존재할 것 같습니다. 일례로 요즘AI는 교육 및 의료 부문 또한 AI로 인해 엄청난 생산성 향상을 겪을 것이라고 예상하는데요. 다만 이를 위해서는 여러 사회적, 제도적 합의가 필요하다는 것에도 동의합니다.
즉 기술의 발전이 혁신을 만드는 것은 분명하지만, 혁신의 크기를 결정하는 데에는 여러 차원의 합의가 거쳐질 수 밖에 없습니다. 구독자분들도 AI가 가져올 미래를 생각하며 이런 다양한 논거에 대해 고민하는 시간을 가져보는 것도 좋을 것 같습니다.
추가적으로 기록된 데이터 뿐만 아니라 후각, 촉각, 직감 등의 암묵적 데이터가 AI 학습에 사용될 수도 있을 거라는 관점이 흥미로웠습니다.
친구와 나눈 카톡 대화가 단 몇 년 만에 학습에 필요한 데이터가 되었듯이, 앞으로는 또 어떤 데이터들이 중요해지고, 또 AI 학습에 활용될 것인지가 재밌는 관전 포인트가 될 것 같습니다.
긴 글 읽어주셔서 감사합니다 :)
AI 진보의 최전선에 있는 그가 다소 보수적인 입장의 아티클을 공유한 것인데, 함께 고민해볼 만한 논거들을 정리해봤습니다.
원본 번역글
—
0/ 일부 AI 옹호론자들은 AI 혁신으로 인해 세계 GDP 성장률이 역사적으로 단 한 번도 넘지 못했던 3%를 넘을 수 있을 것이라고 주장합니다.
물론 혁신의 과정 자체를 자동화할 수 있다면 충분히 가능한 미래지만, 이를 위해서 넘어야 할 과제들이 굉장히 많습니다.
1/ 가장 어려운 문제는 ‘세상은 항상 불균형하게 발전한다는 것’입니다.
일례로 과거의 제조업, 최근의 IT산업은 도구 및 장비의 기술 혁신으로 인해 큰 생산성의 향상을 경험했습니다. 반면, 노동 집약적이거나 인간의 상호작용이 필요한 의료, 교육 등의 공공 부문 직업은 기술의 영향을 크게 받지 못했습니다.
1-1/ 이러한 불균형은 ‘보몰 효과(Baumol effect)*’를 야기할 수 있으며, 이로 인해 생산성이 크게 증가한 직업의 성장률마저 상쇄될 수 있습니다.
*보몰 효과 : 노동 생산성이 크게 증가한 직업의 임금 상승에 반응하여, 생산성이 상대적으로 덜 증가한 직업의 임금도 고용 경쟁에 의해 상승하는 현상. (관련 링크)
1-2/ 결국 AI가 모든 영역을 자동화할 수 있어야 의미있는 수준의 경제 성장이 가능해질 것입니다.
2/ 그렇다면 현재 AI 기술의 발전만으로 모든 산업을 효율화시킬 수 있을까요? 이것이 가능해지려면 다른 분야의 기술 발전도 함께 일어나야 합니다.
2-1/ 로봇 공학은 AI의 발전에 크게 뒤쳐져 있습니다. 벌레의 꿈틀거림은 굉장히 간단한 움직임이지만, 여전히 구현하기 힘든 영역입니다.
2-2/ 현재 대부분의 제조, 건설업은 하드웨어를 필요로 하는데(인력과 같은), 이러한 인력을 대체할 만한 로봇 기술이 발전하지 않는다면 AI 기술만으로는 성장이 크게 가속화되기에는 한계가 있을 수 있습니다.
2-3/ 하드웨어 최적화 또한 한계에 다다랐다는 연구 결과가 있습니다.
컴퓨팅 파워를 몇 배로 확장하려면 하드웨어 영역에 수천억 달러의 추가 지출이 필요합니다. 무어의 법칙이 멈추기 전에 혁신적 AI에 도달할 수 있을지가 주요 관건이 될 것 같습니다.
2-4/ 일각의 연구에서는 2026년에는 고품질의 언어 데이터가 고갈될 수 있다고 경고했습니다. 물론 합성 데이터와 같은 대안이 제시되고 있지만, 이는 근본적인 해결책이 아닙니다.
2-5/ 인간 피드백은 AI의 결과물을 더욱 유용하게 만들지만, 이로 인해 생산성의 향상은 제한될 수 있습니다.
2-6/ 그렇다고 인간 피드백을 제외하기도 어려운 상황입니다. 인간은 가치관에 따라 행동하려고 노력하기 때문에 가장 중요한 데이터는 사람들의 가치관에 대한 것, 즉 인간이 관여해야 하는 것이기 때문입니다.
2-7/ 데이터 문제를 해결하기 위해, 인간의 경험과 다른 감각(후각, 촉각과 같은) 데이터를 사용하는 것을 고려해볼 수 있겠지만, 아직 여기까지 기술이 발전하지 못했습니다.
3/ 기술적 장애물뿐만 아니라, 사회적, 경제적 장애물도 AI의 영향력을 제한할 수 있습니다.
3-1/ 사회적, 정치적 장벽으로 인해 기술의 도입이 늦어지거나 때로는 완전히 중단되기도 합니다.
일례로, 런던의 공영 지하철 기관사는 대체할 수 있는 기술이 수십 년 전부터 존재했음에도 불구하고 전국 평균의 두 배에 가까운 임금을 받고 있습니다.
3-2/ 또한 혁신적인 경제 성장을 이루기 위해선 자동화만으로는 충분하지 않습니다. OpenAI에서는 “약 19%의 직업은 업무의 50% 이상에 대해 GPT-4를 활용한 애플리케이션을 구축할 수 있다”고 추산했습니다.
3-3/ 반대로 말하면 GPT-4만으로는 완전 자동화에 근접하지 못한다는 의미이며, 신뢰성이 필수적인 영역 또한 AI의 기술적 한계로 당분간 영향을 받지 않을 것입니다. 이는 인류에 변혁적인 영향을 미치지 못하는 수준입니다.
—
안드레아 카르파티(Andrej karpathy)는 해당 글을 리트윗함으로써 혁신적 AI의 도래를 위해 준비할 것이 아직 굉장히 많음을 말하고 싶었던 것 같습니다.
즉 기술과 혁신 사이에는 수많은 난관과 사회적 합의점이 존재하며, 이러한 지점들이 논의되고 해결될 때 우리는 AI 기술이 가져다 준 ‘진정한 혜택’을 느낄 수 있을 것입니다.
위 글의 논거에 대해서는 다양한 의견이 존재할 것 같습니다. 일례로 요즘AI는 교육 및 의료 부문 또한 AI로 인해 엄청난 생산성 향상을 겪을 것이라고 예상하는데요. 다만 이를 위해서는 여러 사회적, 제도적 합의가 필요하다는 것에도 동의합니다.
즉 기술의 발전이 혁신을 만드는 것은 분명하지만, 혁신의 크기를 결정하는 데에는 여러 차원의 합의가 거쳐질 수 밖에 없습니다. 구독자분들도 AI가 가져올 미래를 생각하며 이런 다양한 논거에 대해 고민하는 시간을 가져보는 것도 좋을 것 같습니다.
추가적으로 기록된 데이터 뿐만 아니라 후각, 촉각, 직감 등의 암묵적 데이터가 AI 학습에 사용될 수도 있을 거라는 관점이 흥미로웠습니다.
친구와 나눈 카톡 대화가 단 몇 년 만에 학습에 필요한 데이터가 되었듯이, 앞으로는 또 어떤 데이터들이 중요해지고, 또 AI 학습에 활용될 것인지가 재밌는 관전 포인트가 될 것 같습니다.
긴 글 읽어주셔서 감사합니다 :)
NAVER
혁신적 AI에 도달하기 어려운 이유(번역)
OpenAI 창립 멤버 중 한 명인 안드레아 카르파티(Andrej karpathy)가 ‘왜 혁신적 AI에 도달하기 어려운가’라는 아티클을 리트윗했습니다.