AI Reid

https://www.linkedin.com/posts/reidhoffman_this-week-on-the-possible-podcast-i-share-activity-7153590157177245698-bBWE?utm_source=share&utm_medium=member_ios

At the Y Combinator W24 batch kickoff today, Sam Altman suggested YC founders build with the mindset that GPT-5 and AGI will be achieved "relatively soon" and most GPT-4 limitations will get partially/entirely fixed in GPT-5, according to one YC founder/CEO Richard He.

What's your interpretation of the "relatively soon?"😂 (Mine: #GPT5 in 2024 and #AGI in 2025.)

Importance of network and information about crucial decision.

https://www.theinformation.com/articles/behind-openai-meltdown-valley-heavyweight-reid-hoffman-calmed-microsoft-nerves?utm_campaign=article_email&utm_content=article-12111&utm_medium=email&utm_source=sg&rc=ocojsj

Hoffman, who was on his way to the airport after attending a conference in Napa Valley, started making calls. Over the next 48 hours, he telephoned half a dozen of his closest contacts within OpenAI, including Chief Technology Officer Mira Murati. By Sunday night, he told Nadella that he believed Altman hadn’t done anything to merit his termination, and that OpenAI employees were still in the dark about why the board had lost trust in Altman.

Nadella took this feedback into account before working to reinstate Altman, according to the person. These efforts included helping Murati negotiate with the board. Later that weekend Nadella publicly threw his support behind Altman, even extending an offer to hire him.

Mark Zuckerberg in a Facebook Video just announced that @meta meta's compute infra will scale to 350k H100s. At the H100's current street price, that's about $10.5b . About the same as @nvidia 's entire annual revenue for 2020 which was $10.92b 🤯

Estimates for NVIDIA's total production of H100s vary, but a common guess is around 2m for 2023. If true, this would represent 1/6th of their total annual output.

I don't think the GPU shortage will end any time soon.

https://www.linkedin.com/posts/appenz_mark-zuckerberg-in-a-facebook-video-just-activity-7153868226274238464-keI4?utm_source=share&utm_medium=member_ios

What is your genre?

https://youtu.be/Br8HXYmWVQo?list=PLis5WuyWOdrWKcYiguGkamQmyL54y7E5l

반도체 관련 글을 쓸 때나 강연을 할 때, 나는 자주 결론 중 하나로 기초과학에 대한 관심과 투자, 인재 양성을 강조한다. 사실 아무리 강조해도 지나치지 않다고 생각하는 것은, 그만큼 기초과학 생태계의 지속 가능성이 현재로서는 매우 불투명하기 때문이다. 이제는 많은 사람들이 알고 있는 것처럼, 반도체는 어느 특정 학문의 전유물이 아니며, 앞으로도 더더욱 그렇게 될 것이다. 예를 들어 소자 설계는 전자공학, 알고리듬은 컴퓨터공학이나 과학, 신소재 개발은 재료공학이나 화학공학, 공정 시스템과 제어는 화학공학이나 기계공학 등, 공학 전분야에 걸쳐 반도체 산업은 엔진의 추력을 얻는다. 실제로 이러한 공학 전공을 한 학생들은 졸업 후 반도체 회사로 많이 취업하고 있기도 하다. 나만 해도 내가 졸업했던 서울대 화공과 석사 연구실은 한국에 반도체 화학공정의 개념을 처음으로 도입하신 이홍희 교수님 연구실이었는데, 학교로 가신 동문들, 전문직으로 진로를 바꾼 동문들을 제외하면 거의 대부분은 반도체 관련 회사로 가셨다.
이렇게 반도체 산업에서 공학의 거의 전 분야가 활용되니까 반도체 산업은 기초과학과는 별 상관 없어 보일 수도 있다. 그렇지만 그 공학이 뿌리를 두고 있는 영역은 다름 아닌 기초과학이다. 예를 들어 현대 반도체 산업의 가장 핵심 소자인 트랜지스터는 다름 아닌 고체물리학의 기본적인 원리가 없었다면 나올 수 없었을 것이다. 왜냐하면 실리콘이라는 절연체를 n-type, p-type 반도체로 만들기 위해서는 이온 주입 전후로 바뀌는 전자 밴드 구조를 이해할 수 있어야 하기 때문이다. 점점 물리적 크기가 작아지는 소자에 대해서는 이제 고체물리학 뿐만 아니라 양자역학도 필요하다. 현재 굉장히 핫한 관심을 받고 있는 2차원 반도체 물질들의 위상 구조와 전기적 특성을 이해하기 위해서는 기본적으로 이들의 밴드 구조 외에도, 이른바 위상물질로서의 특징도 이해해야 한다. 특히 원자 단위로 소자의 특성 크기가 작아지면 많이들 언급하는 양자제한효과 (quantum confinement effects) 뿐만 아니라, 전자와 상호작용하는 다양한 준입자들 (quasi-particles)의 특성을 이해해야 한다. 예를 들어 폴라론, 포논, 폴라리톤, 엑시톤 같은 준입자들이 그러하다. 이들은 양자역학적 입자이며, 이들의 특성을 이해하기 위해서는 기본적으로 이들이 전자와 어떤 상관관계를 갖는지를 제대로 분석할 수 있어야 한다. 그렇게 되면 이제는 양자역학이 아니라, 양자전기역학이 필요하다. 고체물리, 양자물리는 물론, 기본적인 전자기학도 무척 중요하다. 애초에 FET라는 현 세대 트랜지스터의 기본 구조는 field-effect transistor를 말하는데, 여기서 말하는 field란 다름아닌 전자기장이다. 포토닉스는 또 어떤가? 전자의 이동은 전자가 전하와 질량을 갖는 입자이기 때문에 늘 단점이 생기는 것을 피해갈 수 없다. 느리고 저항으로 인한 열이 발생한다는 단점이 바로 그것이다. 그래서 그것을 극복하고자 사람들은 광자에 주목을 오랜 기간 해왔고, 그 일부의 솔루션으로 제시된 것이 silicon photonics다. 그런데, 이 포토닉스를 이해하기 위해서는 빛의 특성을 이해해야 하고, 특히 계면에서의 광자와 파동의 특성을 해석할 수 있어야 한다. 이는 결과적으로는 3차원의 복잡한 나노 스케일 공간에서 맥스웰 방정식을 계산하는 것을 의미한다. 소자 내부에서는 또 어떤가? 전자와 정공이 이리저리 움직이면서 이들은 쌍을 이룰 때도 있고, 헤어질 때도 있다. 이들의 이동도를 제어하는 것은 반도체 소자에서는 상당히 중요한데, 이들의 집단적인 거동은 통계물리학의 partition function 개념부터 이해하는 것이 필요하다. 이들의 분포 확률과 특성 예측은 앙상블 개념으로 접근해야 하며, 자유에너지 개념을 이용하여 이들의 다양한 상태 전이 확률을 계산할 수 있어야 한다.
물리학만 중요한가? 아니다. 화학도 할 말이 많다. 실리콘이 주로 반도체 소재로 여겨지지만, 몇 가지 특수 목적에서는 비실리콘 계열 화합물반도체 (chemical compound semiconductor)가 중요하다. 예를 들어 전력반도체로 유명한 SiC가 대표적이다. 앞서 언급한 2차원 반도체 물질 중, MoSe2나 Graphene, hBN 같은 물질 들 역시, 일종의 화합물반도체라고 볼 수 있다. 에너지 전환 소재로 유명한 하이브리드 페로브스카이트 물질은 ABX3 타입인데, 여기서 X는 할라이드 이온이고, 이들의 조성을 조절하면 다양한 밴드갭을 튜닝할 수 있다. 화학이 관여하는 부분은 이러한 기본적인 소재 특성 및 구현에서 시작하며, 공정에 쓰이는 다양한 물질을 탐색하는 것까지도 이른다. 예를 들어 에칭 공정에 쓰이는 etchant나 다양한 가스들, 그리고 전이금속 등에 대해서는 무기화학, 분석화학의 연구가 필요하며, 패터닝에 쓰이는 PR의 backbone 설계나 acid amplification 등의 반응 기작은 유기화학과 고분자화학, 분석화학과 광화학의 연구가 동반되어야 한다.
물리학, 화학만 있으면 되는가? 아니다 수학도 필요하다. 수학이 뜬금없이 들어오는 것은 아니고, 최근 들어와서 반도체 소자와 구동 원리가 점점 난해한 영역으로 가면서 수학자들이 탐색한 다양한 이론들이 공학의 영역으로 넘어들어 오는 것을 살펴 볼 필요가 있다. 예를 들어 앞서 언급한 위상 물질의 이해는 당연히 수학 중에서 위상 수학에 대한 이해가 필요하다. 특정 영역에 집적해야 하는 반도체 소자의 자리 배치와 연결 구도 역시 위상 수학적 접근이 필요하며, 이들의 최적화는 최적운송이론 같은 수학이 필요하다. 복잡한 분자들이 좁은 영역에 배열될 때 이들의 연결구도나 분자 오비탈, 결함 생성 확률 등을 이해하기 위해서는 그래프 동형 분석 같은 위상 수학도 필요하고, 소자의 정보 복잡도나 신호 해석을 위해서는 정보이론에 필요한 수학, 그리고 그를 위한 비선형 동역학 등을 아우르는 수학이 필요하다. 소자 자체의 구동 시뮬레이션을 위해 늘상 쓰이는 편미분방정식은 두말할 필요도 없고, 특정 대칭성을 가져서 결정 구조 중, 재미난 전자 밴드 구조를 갖는 소재의 특성을 이해하기 위해 군론이 쓰이는 것은 이미 잘 알려진 사실이다.
사실 여기에 언급되지 않은 기초 과학 분야의 연구는 얼마든지 있다. 너무나 자연스럽게 쓰이고 있어서 굳이 기초과학으로 언급하지 않을 뿐, 이미 반도체를 비롯한 수많은 첨단 산업과 공학은 그야 말로 기초과학의 깊숙한 지하수에 뿌리를 내리고 있다. 나를 포함한 공학자들은 당연하다는 듯, 무엇인가 기술적 장애물에 막히게 되면 혹시 기초과학 분야에서 이에 대한 선행 연구가 없는지를 먼저 찾게 되고, 정말 엉뚱한 분야에서 아무런 상관이 없어 보이는 수십 년 전 연구 논문에서 그야말로 천금같은 해답을 발견하는 경우도 부지기수다.
기초 과학은 첨단 과학, 첨단 산업의 전제 조건이다. 모든 첨단 기술이 반드시 기초 과학의 선행 연구가 있었기 때문에 나온 것은 아니다. 그렇지만 현 시대 복잡한 산업 구도 속에서 갑자기 하늘에서 첨단 기술이 뚝 떨어지는 일은 없다고 봐도 무방하다. 그래서 기초 과학은 첨단 과학과 산업의 전제 조건이라고 해도 과장된 표현은 아니라고 생각한다.

하지만 한 가지 유념할 것이 있다. 박인규 교수님은 나도 잘 아는 분이고 또 존경하는 분이어서, 이분이 이러한 말씀을 하신 것, 그리고 그 취지에도 십분 동감하는 것은 두말할 필요는 없다. 다만, 기초 과학 = 첨단 과학 = 첨단 산업 의 공식이 표면화되는 것은 경계해야 한다. 기초 과학에서 첨단 산업이 흘러나오기 때문에 기초 과학을 첨단과학이라고 칭하고 싶은 것은 인지상정이지만, 모든 기초 과학이 반드시 첨단 산업으로 이어지는 것은 아니기 때문이다. 아이러니컬하게도 대부분의 기초 과학은 현시대 혹은 몇 세대 후의 첨단 산업을 염두에 두고 연구되는 것은 아니다. 예를 들어 강입자 물리학을 연구하는 물리학자들은 자신들이 연구하는 강입자가 몇 십 년 후 새로운 반도체 소자의 핵심 기술이 될 것이라 예측하거나 기대하지 않는다. (적어도 내가 아는 입자 물리학자 중에는 그러한 예측을 한 사람이 한 명도 없다.) 사실 그러한 예측을 하는 것은 현재로서는 많은 무리가 따르고, 실현 가능성도 그만큼 없기 때문이다. 그렇지만 그 실현 가능성 여부와 별개로, 애초에 입자 물리학자들은 반도체 혹은 다른 방향의 첨단 산업을 딱히 염두에 두면서 연구에 몰두하지 않는다. 그저 아직 인류가 탐색해 보지 못 한 우주, 미지의 영역을 탐색하는 스카우트처럼, 이들은 지식을 채굴하고 채굴한 광석을 끊임없이 사유하면서 회의하면서 다듬고 또 다듬을 뿐이다. 그렇게 고민한 흔적은 논문으로 박제되어 영원히 인류 문명 전체의 자산으로 공유될 뿐이다. 반도체와 가장 밀접할 것 같은 고체 물리학 역시 당장 반도체를 타깃으로 진행되는 기초 연구는 그리 많지 않다. 처음부터 그럴 요량이었던 연구들은 타깃이 명확하다. 그렇지만 대부분의 고체 물리학 관련 기초 연구들은 반도체만 생각하는 것도 아니고, 다른 첨단 산업을 염두에 두는 것도 아니다. 물론 게중에는 나중에 실현될 가능성이 있는 연구들도 있겠지만, 고체 물리학자들은 그것에 대해 큰 관심을 두는 것은 아니다. 그 관심은 후세의 공학자들, 첨단 소재를 찾는 학자들과 엔지니어들이 갖게 될 것이다.
기초 과학이 첨단 과학/산업으로 가는 징검다리라는 표현은 그래서 잘 사용되어야 하는 표현이다. 분명 징검다리는 맞지만, 기초 과학이 제시하는 징검 다리는 반드시 그 한 개만 있는 것은 아니며, 첨단 산업으로 가는 길도 반드시 기초 과학만이 제시하는 것은 아니기 때문이다. 그렇지만 기초 과학이 첨단 산업/기술로 가는 가장 유리하고 가장 잘 검증된 길을 제시한다는 사실에는 변함이 없다. 기초 과학은 기초 답게 연구의 자유도와 장기간의 집중을 허용해야 하고, 그럴 여건을 조성해 줘야 한다. 초치기 식으로 목표와 KPI를 정해놓고 닥달하는 것은 기초 과학과는 거리가 멀다. 기초 과학의 미덕 중 하나는 첨단 산업으로 가는 길을 만들어준다는 겉보기 장점에만 있는 것은 아니다. 진짜 장점은 기초 과학에서 이리저리 다양한 길과 수단을 탐색해 보고, 수많은 아이디어들이 명멸하는 가운데, 신기하면서 흥미로운 우연한 발견들이 이어질 수 있다는 것이다. 이러한 우연들은 의도를 가지고 접근하면 대개 발견되지 않는다. 그저 흥미를 좇아, 마구 동료들과 떠들다가, 꿈속에서, 양치질 하다가, 설겆이 하다가, 술에 떡이 되어 귀가하다가, 애인과 헤어지고 골방 안에 갇혀 울다가, 다른 분야 사람과 저녁 먹으며 신나게 떠들다가, 대학원생과 대화하면서 학생의 연구 결과가 엉뚱하게 나온 것을 들여다 보다가, 페트리 디쉬가 원치 않게 오염되었다가, 천체 망원경의 렌즈를 바꿔 끼우다가, 그렇게 우연하게 나온다. 우연이 허용되지 않는 기초 과학은 기초 과학이 아니며, 우연이 없는 기초 과학은 첨단 과학으로 연결될 가능성이 점점 낮아진다. 대개 첨단 과학을 생각하는 사람들은 기초에서 첨단까지 이어지는 일직선의 발전 노상을 생각하곤 하나, 대개 그러한 경로는 뒤죽박죽이고 꼬여있고 방향도 딱히 정해지지 않았으며, 지도에도 잘 표현되지 않는다. 기초에서 첨단으로 가는 것은 쉽게 '외삽'되지 않으며, 최단 거리로 연결되어 있는 것도 아니다.
한국이 앞으로도 첨단 산업에서의 경쟁력을 유지하고, 일부 분야에서는 리더쉽까지 가져가고 싶다면, back to basic을 잊지 말아야 한다. 기초 과학의 자유도, 엉뚱한 생각을 하는 연구원들, 실패를 피봇하여 전혀 새로운 주제로 변화하게 할 수 있는 유연성, 성실 실패를 용인하고 협력 연구를 서포트하는 제도가 완비되어야 한다. 그간 한국의 기초 과학과 산업 연구계는 그럭저럭 잘 지내왔다. 겨우 반 세기도 안 되는 기간 동안 한국은 비료 산업이나 간신히 유지하던 후진국에서 반도체와 AI, 자동차와 디스플레이, 조선업과 화학산업에서의 리더십을 갖는 나라로 급속도로 발전했는데, 이 과정에서 기초 과학과 첨단 공학은 다방면에서 오버랩되고 또 엮여 왔다. 그랬기에 오히려 압축 성장 단계에서는 과학과 공학 사이의 경계가 다소 느슨하고 필요한 것은 다 가져다 쓰는 유연성이 본의아니게(?) 허용될 수 있었다고 생각한다. 그렇지만 시스템이 어느 정도 확립되고 또 더 이상 fast follower 전략을 쓰지 못 하게 된 현 시점에서는 back to basic의 방향은 지지되고 보존될 수 있어야 한다. 호기심 많은 사람들이 과학에 투신하여 충분히 대우 받고 지식을 채굴하고 필요하다면 이들이 이것을 산업계로 들고와서 돈도 많이 벌 수 있는 기회를 허해야 한다. 여기서 가장 우선시 되어야 하는 것은 호기심 많은 사람들이 자신들의 연구 결과를 가지고 필요하다면 다음 단계로 갈 수 있을 정도까지의 시간과 여건이 충분히 허락되어야 한다는 것이다. 기초 과학의 R&D를 정부가 계속 지원하고, 딱히 논문 외에 별 성과가 없어 보이는 주제일수록 정부가 더더욱 보호해야 하는 것은 바로 이 때문이다.
기초 과학은 기초 답게 가꾸고 또 가꿔야 한다. 기초 과학을 정부가 지원하는 것에 대해 국민을 설득하기 위한 목적에서 기초 과학이 첨단 과학과 산업으로 가는 지름길이라는 것을 잘 전달하는 것은 당연히 필요하지만, 기초 과학이 첨단 공학에 매몰되게 만드는 우를 범하는 것은 피해야 한다. 그렇게 되는 순간 기초 과학에서 기초는 없어지게 됨을 생각해야 한다. 여러 시행 착오를 거쳐 한국의 기초 과학 R&D는 혼란을 겪고 있다. 부디 이 혼란이 건설적인 방향으로 마무리되어 젊은 연구자들의 호기심, 뚝심있는 중견 연구자들의 개척정신, 연륜과 경험이 충분히 쌓인 원로급 연구자들의 지혜가 보존되고 융성할 수 있기를 바랄 뿐이다. 혼란이 이러한 보이지 않는 과학의 자산을 갉아먹는 방향이 된다면 한국의 기초 과학은 물론, 첨단 과학과 공학의 결말도 운명 공동체가 되는 것을 피할 수 없음을 되새길 필요가 있다.

https://www.facebook.com/sjoonkwon/posts/pfbid02uFDWo4686EMuFKLeYZLhMfmGpeh5Q2R27DonwpPxWXV71XVQKZhkcKHpC6J5seD5l

호암자전 중에서

일하는 자에게는 일하지 않는 자가 항상 가장 가혹한 비판자 노릇을 하는지도 모른다.

이러한 생각을 되새기면서 분노와 비애를 내일에의 용기로 바꾸려고 잠을 이루지 못한 밤이 몇 밤이던가.

지혜나 체력에 한계가 있는 한 인간으로서는 이토록 여러가지 분야의 사업을 다행하게도 하나하나 이룩하였다. 길고도 험난한 노정이었다. 그 길고도 험난한 깅릉 마치 단거리 경주나 하는 것처럼 전력질주했다는 실감이 새삼스럽다. 이것은 또한 마음속 은근히 간직한 자부심이기도 하다.

그 험한 길을 걸어오면서 내가 얻은 하나의 결론은 기업 경영에는 지름길이 없다는 것이다. 지름길이 없는 이상 그 길은 험난하다. 험난함에 지친 나머지 이따금 찾아드는 좌절감을 극복하면서 스스로 견딜 수 있었던 것은 봉사야말로 최고의 도덕이라는 나의 신조 바로 그것이 있었기 때문이다.

공자는 동산에 올라 노나라가 작다고 했고, 태산에 올라 천하가 작다고 했다 한다. 불과 몇 달 안되는 짧은 동안이었지만 진주에서의 생활을경험하고 귀성한 나에게 태어나서 자란 중교리는 너무나 좁고 답답한 곳으로 느껴졌다.

사람은 일생을 통해 몇번은 전기를 맞는다. 스스로 그것을 만드는 때도 있지만 느닷없이 찾아올 때도 있다. 그날도 골패 노름을 하다가 밤 늦게야 집으로 돌아왔다. 밝은 달빛이 창 너머로 방 안에 스며들고 있었다. 그 때 나이 26세, 이미 세 아이의 아버지가 되어 있었다. 달빛을 안고 평화롭게 잠든 아이들의 모습을 바라보는 순간, 문득 악몽에서 깨어난 듯한 심정이 되었다. 너무 허송세월했다. 뜻을 세워야한다.

사업에 좌우되지 말고 사업을 좌우하라

https://www.wsj.com/video/series/george-downs/this-startup-aims-to-rival-spacex-with-reusable-rockets/ED0DB1D1-87AE-4551-87E7-F1B78A75A0C7?mod=djemTECH&mod=djemTECH

Stoke Space Technologies is an American space launch company that is developing a fully and rapidly reusable space launch vehicle called Nova. The company's mission is to revolutionize access to space with 100% reusable rockets designed to fly daily, which they believe is essential for a sustainable future on Earth. Stoke Space's approach to reusability is unique in that they are focusing on both the first and second stages of their rocket, aiming to recover and reuse both portions, unlike other companies that typically do not recover the upper stage.

The development of fully reusable rockets is significant because it has the potential to drastically reduce the cost of access to space. Reusability can lead to a higher launch cadence and more efficient space transportation, which is crucial for a variety of applications, including satellite deployment, space exploration, and potentially even human spaceflight. By making rockets that can be flown, landed, and flown again with minimal refurbishment, Stoke Space is working towards a future where space access is more akin to air travel in terms of regularity and affordability.

Stoke Space's efforts matter because they contribute to the broader goal of sustainable space exploration and utilization. Reusable rockets can help minimize space debris and environmental impact, making space activities more eco-friendly. Additionally, by increasing the frequency and reducing the cost of launches, reusable rockets can facilitate a wide range of space-based services that benefit life on Earth, such as climate monitoring, telecommunications, and Earth observation.

The company has made significant progress, including a successful vertical takeoff and vertical landing (VTVL) developmental test flight of their second-stage prototype, known as Hopper2, at their test site in Moses Lake, Washington. They have also secured substantial funding, with a total of $175 million invested, which will support the continued development of their Nova rocket and the construction of new facilities at Cape Canaveral Space Force Station.