Andrej도 Reflection에 대해서 이야기했는데 Jim Fan도 이야기하네요 ㅎㅎ

GPT-4에는 다른 어떤 모델보다 매우 유용하고 강력한 기능인 셀프 디버그 기능이 있습니다.

아무리 숙련된 인간 프로그래머라도 첫 번째 시도에서 항상 프로그램을 올바르게 만들 수는 없습니다. 실행 결과를 살펴보고, 무엇이 잘못되었는지 추론하고, 수정 사항을 적용하고, 헹구고, 반복합니다. 에이전트 루프는 환경의 피드백을 받아 반복적으로 코드를 개선하는 것입니다.

이 논문을 적극 추천합니다: “코드 생성을 위한 GPT 셀프 리페어 이해하기“(다른 LLM과 비교하여 GPT-4의 셀프 디버그 기능을 정량화한 문서)를 적극 추천합니다. 몇 가지 주요 결과

GPT-4가 자가 복구가 가능한 핵심 이유는 강력한 피드백 기능입니다. 코드에 무엇이 잘못되었는지를 효과적으로 스스로 반영할 수 있습니다. 다른 어떤 모델도 따라올 수 없습니다.
피드백 모델과 코드 생성 모델이 같을 필요는 없습니다. 사실 피드백 모델이 병목현상입니다.
GPT-3.5는 GPT-4의 피드백을 받으면 훨씬 더 좋은 코드를 작성할 수 있습니다.
GPT-4 자체도 전문가의 피드백을 받으면 훨씬 더 좋은 코드를 작성할 수 있습니다.

Paper: Demystifying GPT Self-Repair for Code Generation
Link: https://arxiv.org/abs/2306.09896
Authors: Theo X. Olausson, Jeevana Priya Inala, Chenglong Wang, Jianfeng Gao, Armando Solar-Lezama

OpenAI는 많은 소프트웨어 엔지니어를 교사로 고용하여 다음 GPT를 교육하고 있을 가능성이 매우 높습니다. 그들은 생성할 필요가 없습니다. 비평만 있으면 됩니다.

Why transformative artificial intelligence is really, really hard to achieve
1. The transformational potential of AI is constrained by its hardest problems
2. Despite rapid progress in some AI subfields, major technical hurdles remain
3. Even if technical AI progress continues, social and economic hurdles may limit its impact

Source:https://thegradient.pub/why-transformative-artificial-intelligence-is-really-really-hard-to-achieve/

Thought

1. The transformational potential of AI is constrained by its hardest problems
=> AI로 특정 부분을 개선할 수 있으나 다른 부분들로 인해 병목이 생길거라고 말했는데 근거가 많이 빈약해서 설득되지 않네요. 오히려 하나의 Breakthrough가 나오면 새로운 문제도 더 빨리 풀지 않으려나요?

2. Despite rapid progress in some AI subfields, major technical hurdles remain
- 로봇 공학 속도가 느리고 Open AI도 로봇 공학 팀을 해체했다. -> OpenAI disbanded its robotic team because it found you could do all your training in a simulation, and it would work just fine. 이런 의견도 있고 저도 비슷합니다. Tesla는 왜 로봇을 만드나요? ㅎㅎ
- 다른 논리들은 완전 공감합니다.
2.1. The continued falling cost of computation could help. But we may have exhausted the low-hanging fruit in hardware optimization and are now entering an era of deceleration. Moore’s Law has persisted under various guises, but the critical factor for transformative AI may be whether we will reach it before Moore's Law stops.
2.2. Next look at data. Villalobos et al. warns that high quality language data may run out by 2026. The team suggests data efficiency and synthetic data as ways out, but so far these are far from complete solutions as Shumailov et al. shows.
2.3. Millions of humans currently annotate data to train models. Their humanity, especially their expert knowledge and creative spark, becomes more valuable by the day. The Verge reports: “One engineer told me about buying examples of Socratic dialogues for up to $300 a pop. “Since we are trying to behave in accord with people’s values, the most important data will be data from humans about their values.”

-> 과거 Annotation Startup이 나온 것처럼 새로운 기회라고 생각합니다. ㅎㅎ Human feedback market place가 나올 것 같아요 ㅎㅎ
-> Process knowledge is the kind of knowledge that’s hard to write down as an instruction. You can give someone a well-equipped kitchen and an extraordinarily detailed recipe, but unless he already has some cooking experience, we shouldn’t expect him to prepare a great dish.
-> 이 말에도 공감은 하지만 다른 생각을 가지고 있는데요. 카메라 기술의 발전과 Social media 덕분에 Instagram은 하루에도 10억장의 사진을 만들어내고 있는데요. AI 기반의 새로운 서비스/프러덕이 인류가 디지털에 가지고 있는 데이터 수를 압도적으로 늘릴 수 있다는 희망회로를 돌리고 있습니다 ㅎㅎ

3. Even if technical AI progress continues, social and economic hurdles may limit its impact
규제가 분명히 기술 발전의 속도를 늦출 것이지만, 글로벌하게 혁신을 촉진한 나라와 그렇지 않은 나라의 차이는 커질 것이라고 생각합니다.

- AI 문제 이야기인데 왜 대한민국이 생각날까요…한국은행 총재님이 하신말씀이 생각나네요..

우선 지금 말씀하신, 지금 우리가 단기적으로 경제 성장을 낮춘 문제는 이 문제하고는 관련이 없지만, 기자님 말씀하신대로 우리나라가 지금의 고인플레이션이 시대가 지나면 소위 얘기는 secular stagnation, 장기 저성장구조로 갈 거냐라는 논의가 있는 것으로 알고 있는데 개인적으로는 이미 우리나라는 장기 저성장구조로 와있다고 생각합니다. 왜냐면 저출산과 고령화가 워낙 심해서요. 이 큰 트랜드를 벗어나기에는 이미 와 있는 현실로 보고 빨리 여기에 대한 대응을 해야된다고 생각하고 있고요. 지금 현재는 낮은 성장률 때문에 청년 실업, 비정규직 문제, 이런 것이 더 사회적으로 많은 문제가 되고 있는데, 5년, 10년 내에는 노후 빈곤 문제가 굉장히 큰 사회 문제가 될 거라고 생각하고 있습니다. 그래서 이미 와 있는 이 문제를 해결하려면 기자님 말씀하신 대로 여러 가지 구조개혁, 노동, 연금, 교육을 통해서는 이런 구조개혁이 정말 필요한데, 우리나라의 문제는 어떻게 해결할지를 모르는 게 문제가 아니고요. 이런 개혁을 해야된다는 것을 앎에도 불구하고 이해당사자 간의 사회적 타협이 너무 어려워가지고 이게 진척이 안 되고 있는 것, 특히 이런 논의를 할 때 혜택을 보는 수요자가 아니라 공급자 중심으로 모든 논의가 많이 되고 있는 것, 이런 문제 때문에 지금 한 발짝도 못 나가고 있다는 게 안타깝습니다. 이것은 정부문제가 아니고요. 어떤 특정적 문제가 아니라 우리 사회의 문제인데, 제가 예를 몇 개 들면 우리가 교육개혁 하려고 그러면 저는 제일 가슴 아픈 것이 외국에서 오래있다 보니까, 우리는 고3때 자기가 평생 해야 할 전공을 정하잖아요. 말이 안 되는 거지요. 사실 대학가서 여러 개 보고 결정해야 되는데 각 학과의 정원, 이런 것은 다 공급자가 정하고 이해당사자가 합의를 못 보니까 하나도 움직이지 못하고 있고, 연금개혁도 너무 중요하고 프랑스도 사회적으로 큰 갈등이 있지만 거기는 그래도 시작이라도 했는데 우리는 연금개혁위원회 만들어서 여러 정부가 했지만 모수에 대해서는 센시티브하니까 모수 다 빼고 얘기하자, 그러면 하지 말자는 얘기랑 비슷하게 들릴 수도 있고, 저출산, 노인 돌보미 이런 것을 생각하면 사실 이민이라든지 해외 노동자를 어떻게 활용할지에 대한 논의도 굉장히 필요한데, 그러면 그럴 때는 임금체계는 어떻게 할 거냐 이런 것도 필요한데 국내외 논쟁에 맞물려서 그런 논의도 진척이 없고, 우리나라 수출도 반도체 수출이 안 된다고 막 그러는데 사실 우리나라에서 제가 볼 때 서비스업 생각하면 수출 엄청나게 할 게 많거든요. 말이 길어져서 미안하지만 제가 가슴으로 느끼는 겁니다. 우리나라 경쟁력으로 따지면, 공항에서 편의점에서 한 사람의 노동자가 하는 것하고 외국 가서 20분 걸리면서 결제하는 것을 보면 우리의 경쟁력이 어디 있는지 알 수 있거든요? 특히 우리 의료산업 얼마나 많이 발전했습니까. 저는 10년 전부터 의료산업의 국제화를 통해서 서비스 산업 발전하자고 그랬는데 한 걸음도 못 가는 사이에 태국과 싱가포르에 가면 이미 지역에 의료 허브가 되어 있고, 그래서 우리가 다 아는 이런 많은 개혁이 그것을 못 하다보니까 경제가 좀 나빠지면 다 이게, 한은 총재가 왜 이런 얘기하냐고 신문에 나면 한은 총재가 통화정책에 관심없이 이런 얘기만 해 이렇게 나올 것 같은데, 이게 우리와 관련됩니다. 이렇게 구조적으로 어려운 것을 해결 못 하니까 결국은 뭐냐, 재정으로 돈 풀어서 해결해라, 금리 낮춰서 해결해라, 이렇게 통화정책과 재정정책으로 이 부담이 다 오거든요. 절대로 그래서는 안됩니다. 제가 좀 오래 말씀드렸는데 재정 통화정책은 단기적으로 경제를 안정화시키는 거고, 우리의 경제가 앞으로 어떻게 잘 되느냐는 기자님 말씀하신 구조개혁을, 특히 몰라서가 아니라 이해당사자와 사회적 타협이 안 되는 것을 어떻게 타협해 나갈지 그것의 해결이 가장 중요하다고 생각합니다. 다시 한 번 말씀드리지만 거기서 해결 못하는 문제를 재정 당국하고 통화정책 보고 단기 정책을 통해서 해결하라고 하면 나라가 망가지는 지름길입니다.

https://www.bok.or.kr/portal/bbs/B0000169/view.do?nttId=10077572&menuNo=200059

Morning, my hero. https://www.youtube.com/watch?v=RnjD-nhutK0

Wow you can check most of sessions at data summit. Thanks Databricks 🙂

모든 인생에는 과거가 물러나고 미래가 열리는 때가 있습니다. 미지의 세계로 눈을 돌리는 순간이 바로 그 순간입니다. 어떤 사람은 이미 알고 있는 것으로 돌아갈 것입니다. 어떤 이들은 불확실성 속으로 곧장 걸어 들어갈 것입니다. 어느 쪽이 옳다고 말할 수는 없습니다. 하지만 어느 쪽이 더 재밌는지는 말씀드릴 수 있습니다.
필 나이트 나이키 회장

박지웅 대표님

비전펀드를 만들고 150조원이 넘는 돈을 400여개가 넘는 AI 스타트업들에 투자했지만, 정작 Open AI는 놓치고 Nvidia도 너무 일찍 팔았으며 다수의 generative AI deal도 놓쳤다는 WSJ의 신랄한 비판 기사. 알리바바 투자 한 건 만으로도 세계 최고의 투자자 중에 한 명이라 충분히 여겨질 수 있을텐데, 또 생각해보면 스타트업 투자를 통해 2-3개 decade를 연속으로 흐름을 짚고 훌륭한 투자를 해낸다는게 얼마나 어렵고 (아마도 사실상 불가능할지도) 희귀한 일인지를 보여주는게 아닐까.

https://www.wsj.com/articles/he-spent-140-billion-on-ai-with-little-to-show-now-he-is-trying-again-dbcca17

https://ai.googleblog.com/2022/11/mixture-of-experts-with-expert-choice.html

Mixture of Expert, Architecture of GPT-4

Chat GPT에서 GPT-4를 쓰다보면 하나의 대화 창(Window)내에서 이전 대화의 맥락을 잘 기억하는 편인데요. 이것과 관련해서 어떤 방식의 Engineering을 활용하는지를 찾아봤는데요. Perplexity가 어느정도 답을 알려줬네요 ㅎㅎ 혹시 잘못된 정보 있으면 알려주셔요!
GPT-3의 후속 버전인 GPT-4는 프롬프트나 사용자 입력에 대한 응답을 생성할 때 더 넓은 범위의 토큰이나 단어를 처리하고 고려할 수 있도록 컨텍스트 창이 확장되었습니다. GPT-4에서는 컨텍스트 창이 8,000개의 토큰으로 확장되었으며, 일부 버전에서는 최대 32,000개의 토큰까지 확장되었습니다. 4,000토큰(약 3,000단어)으로 제한되었던 GPT-3에 비해 이렇게 큰 컨텍스트 창은 크게 개선되었습니다.
대화를 관리하고 컨텍스트를 유지하기 위해 GPT-4는 입력 및 출력에 채팅과 유사한 트랜스크립트 형식을 사용합니다. 이 형식은 다중 턴 대화를 위해 특별히 설계되었으며 채팅이 아닌 시나리오에서도 잘 작동할 수 있습니다. ChatGPT에서 GPT-4를 사용할 때는 사용자 프롬프트에 접두사와 접미사를 붙인 다음 연결된 전체 프롬프트가 처리될 가능성이 높습니다. 그러나 이 프로세스의 구체적인 엔지니어링 세부 사항은 공개적으로 공개되지 않았습니다.
=> 추측하건데 깃헙 코파일럿과 비슷한 방식을 사용하지 않았을까 싶네요.
긴 프롬프트를 관리하기 위해 GPT-4 개발자는 제로 샷 이론, 생각의 사슬 이론, 역할 프롬프트, 몇 번의 샷 프롬프트를 결합하여 효율적인 프롬프트를 만드는 크로노스 방법과 같은 다양한 프롬프트 엔지니어링 기법을 사용할 수 있습니다.
또 다른 접근 방식은 시스템 프롬프트 엔지니어링으로, 개인화된 경험을 만들기 위해 챗봇의 행동과 응답을 안내하는 지침을 설계하고 개선하는 것입니다. .
요약하면, GPT-4는 더 큰 컨텍스트 창을 통해 대화의 컨텍스트를 보다 효과적으로 유지할 수 있습니다. 정확한 엔지니어링 세부 사항은 공개되지 않았지만, GPT-4는 긴 프롬프트를 관리하고 대화의 컨텍스트를 유지하기 위해 접두사 및 접미사 연결과 고급 프롬프트 엔지니어링 기법을 조합하여 사용할 가능성이 높습니다.
참고 Copilot이 개인화된 경험을 주는 방식
프롬프트의 ‘접두사‘에는 여러 가지 측면이 포함됩니다:
프로젝트의 다른 파일에서 가져온 코드 섹션으로, 모델에 더 넓은 코드베이스에 대한 컨텍스트를 제공하며, “# codeviz\predictions.py:“라는 줄과 그 뒤에 오는 줄로 표시됩니다.
커서 위치까지 현재 편집한 파일의 상당 부분 블록입니다.
“접미사“에는 다음이 포함됩니다:
현재 파일에서 커서 위치 뒤에 오는 코드입니다.
접두사와 접미사가 모두 포함된 이 프롬프트는 코덱스와 유사한 모델로 전송되어 코드를 완성하기 위한 제안을 생성합니다.
이는 모델이 주어진 접두사와 접미사 사이에 프롬프트를 완성하려고 시도하는 중간 채우기(FIM) 모드를 반영한 것입니다. ‘접미사‘가 비어 있으면 모델은 ‘접두사’만 고려하는 표준 자동 완성 모드로 작동합니다.
따라서 접두사와 접미사는 더 넓은 프로젝트, 현재 파일 및 현재 코딩 작업에 대한 풍부한 컨텍스트 정보를 제공하여 모델이 관련성 있고 유용한 코드 제안을 생성하는 데 도움이 됩니다.