Interesting github repo lists related to AI

https://github.com/ChristosChristofidis/awesome-deep-learning#courses

https://github.com/f/awesome-chatgpt-prompts

https://github.com/openai/gpt-3

https://github.com/lencx/ChatGPT

https://github.com/ml-tooling/best-of-ml-python

https://github.com/siyuan-note/siyuan

https://github.com/EleutherAI/gpt-neo

https://github.com/acheong08/EdgeGPT

https://github.com/BlinkDL/RWKV-LM

https://github.com/yetone/bob-plugin-openai-translator

https://github.com/arc53/DocsGPT

https://github.com/databrickslabs/dolly

https://github.com/waylaidwanderer/node-chatgpt-api

https://github.com/NVIDIA/FasterTransformer

https://github.com/stars/acheong08/lists/awesome-chatgpt

https://kh-kim.github.io/nlp_with_deep_learning_blog/docs/gradient-descent

http://introtodeeplearning.com/

https://flux.paradigm.xyz/

https://www.youtube.com/watch?v=sUn26PzgbJA

https://blog.naver.com/PostView.naver?blogId=tosoha1&logNo=223062904451&redirect=Dlog&widgetTypeCall=true&topReferer=https%3A%2F%2Fwww.naver.com%2Fmy.html&directAccess=false

https://arxiv.org/pdf/2303.12712.pdf?fbclid=IwAR1rLoqIrdUfKvoGIe65-asaPPjwLDsHJAPWE2mIW_yItyytECLmGgvQQFY

https://m.blog.naver.com/PostView.naver?blogId=tmdejr1267&logNo=223061304796&navType=by

https://vectara.com/

https://python.langchain.com/en/latest/

https://huggingface.co/spaces/JavaFXpert/Chat-GPT-LangChain/blob/main/app.py

https://www.mlq.ai/gpt-4-pinecone-website-ai-assistant/

https://theresanaiforthat.com/ai/literally-anything/

https://github.com/kuleshov/minillm

https://github.com/getcursor/cursor

https://www.youtube.com/watch?v=Ix9WIZpArm0

https://github.com/mayooear/gpt4-pdf-chatbot-langchain

https://www.youtube.com/@chatwithdata

https://arxiv.org/abs/2303.17564?fbclid=IwAR24SXQqKytV9BHnXqzXe6aDfaR4ZAl4Y4ViO7S8n-KUCqbtxsXE9Ayqp5g

https://arxiv.org/abs/2303.01037

https://medium.com/@yangyou_berkeley/colossalchat-an-open-source-solution-for-cloning-chatgpt-with-a-complete-rlhf-pipeline-5edf08fb538b

Who are still surviving?

https://www.instagram.com/p/CpcLIYpPsAY/?igshid=MjkzY2Y1YTY%3D

Hospitals face challenges when negotiating with insurance companies. Customers' problems present opportunities for businesses.

Both hospitals and individuals, including myself, face challenges in collecting necessary documents, applying for insurance, and negotiating with insurance companies.

Could we address this problem?

Google is investing in Runway, a New York–based startup that lets customers generate video from text descriptions using artificial intelligence it pioneered, at a valuation of around $1.5 billion including the new capital, according to two people familiar with the matter.

The investment, part of a roughly $100 million funding round, underscores the fierce competition among cloud providers to get close to companies with cutting-edge AI services that could become major cloud customers or acquisition targets in the future. Amazon Web Services has touted Runway, which generates relatively little revenue from its video-editing tools, as a key AI-startup customer but Runway is now expected to rent cloud servers from Google, said one person briefed about the deal.

https://www.theinformation.com/articles/google-invests-in-ai-startup-runway-to-wrest-cloud-business-from-aws?utm_campaign=article_email&utm_content=article-10624&utm_source=sg&utm_medium=email&rc=ocojsj

AI 대항해시대네요 ㅎㅎ 설레네요 🙂

화장품, 전자제품, 자동차, 패션&섬유, 식품, B2B 분야에서 해외 마케팅(영미권)을 담당하시는 분 혹은 지인이 있으실까요?
관심있으실만한 주제를 제안드리려고 합니다!
@MatthewMinseokKim 으로 연락주시면 감사하겠습니다 🙏

🚀 챗봇 엔진 최적화(Chatbot Engine Optimization)의 시대가 왔습니다. 준비되셨나요? 🚀
ChatGPT는 현재 하루 활성 사용자 방문이 6000만, 월간 사용자 방문은 무려 18억에 이릅니다. Yahoo, Google, Facebook, YouTube, TikTok 등의 사례를 봤을 때, 사용자들이 많은 시간을 보내는 서비스는 새로운 광고 플랫폼으로 성장해왔습니다. 마찬가지로 앞으로 가장 큰 광고 플랫폼은 ChatGPT와 같은 AI 챗봇들이 될 것입니다.
과거에 Facebook, Youtube, TikTok이 초기에 등장했을 때 마케팅을 효과적으로 진행한 기업들이 새로운 성장의 기회를 잡았던 것처럼, AI Chatbot을 통해 자신의 제품 정보를 효과적으로 전달하는 것은 모든 기업에게 중요한 기회가 될 수 있습니다.
이미 Bay Area의 법률사무소와 전자상거래 회사들 중 ChatGPT를 통해 신 규 고객을 확보한 경우가 있습니다. AI 챗봇 시장은이미 빠르게 성장하고 있으며, 이는 디지털 마케팅에서 SEO만큼 중요한 역할을 하게 될 것입니다.
SEO가 이미 포화된 경쟁 시장인 반면, 챗봇 엔진 최적화(ChatEO)의 시대는 막바지를 시작했습니다. ChatEO는 AI가 특정 제품의 정보를 잘 학습하고 검색할 수 있도록 정보를 잘 정비하고, 특정 제품을 소비하는 고객에게 맞는 AI 기반 서비스를 준비하는 것을 의미합니다.
디지털 마케팅에 있어서 흥미진진한 시기입니다. AI 챗봇과 ChatEO의 부상은 고객 참여와 디지털 광고의 지형도를 혁신적으로 바꿀 수 있을 것입니다. 이 변화를 효과적으로 다룰 수 있는 기업들은 이 새로운 환경에서 단순히 생존하는 것을 넘어 번영할 수 있을 것 입니다.
한국이 글로벌하게 수출하는 품목인 화장품, 전자제품, 자동차, 패션&섬유, 식품, B2B 등이고 관련된 업계에서 영미권 대상 해외 마케팅을 담당하시는 분들은 이 트렌드를 정확히 이해할 필요가 있습니다.
이 새로운 트렌드에 관심이 있으신 분들, 혹은 더 자세한 이야기를 나누고 싶으신 분들은 아래 링크를 클릭해주시기 바랍니다. 🙏
https://forms.gle/vqChSP989extfTLj7
#AI #챗봇 #ChatGPT #ChatEO #디지털마케팅 #SEO

What Charlie said.

자기 위주 편향에 유의하라
마지막은 ‘자기 위주 편향(Self-serving bias)’이다. 사람들은 선천적으로 다른 사람의 이익보다는 자기 자신의 이익에만 집중하는 경향이 있다. 심지어 자신에게 좋은 일이면 사회에도 좋다는 사고방식이 무의식에 깔려 있기 때문에 이기적인 행동으로 이어지기도 한다.
하지만, 멍거는 이건 대단히 잘못된 사고방식이라며 현명해지기 위해서는 자기 위주 편향에서 벗어나야 하지만, 대다수 사람들이 자기 위주 편향을 가지고 있다는 사실도 인정해야 한다고 말했다. 자기 위주 편향을 벗어나기는 대단히 어렵기 때문이다.
그래서 멍거는 우리가 행동할 때는 사람들이 자기 위주 편향을 가지고 있다는 걸 염두에 두고 행동해야 한다는 점을 예리하게 지적했다. 여기서 멍거가 예로 든 건 미국 투자은행 살로먼 브라더스의 고문변호사다.
당시 살로먼 브라더스의 최고 경영자(CEO)가 자사 채권 트레이더가 국채 입찰에서 관련 규정을 어겼다는 걸 알게 됐다. 고문변호사는 CEO에게 당국에 보고할 법적 의무는 없지만, 그래도 보고하는 게 도덕적인 의무라고 말했다. 하지만, 이건 누구도 원치 않는 일이었기에 CEO는 계속 미뤘고 결국 살로먼 브러더스의 채권 스캔들로 비화되면서 CEO뿐 아니라 고문변호사까지 일자리를 잃었다.
이에 대해, 멍거는 미국 건국의 아버지 벤자민 프랭클린의 말을 빌려 “만약 설득하려고 한다면 이성이 아니라 이익에 호소하라“고 말했다. 즉, CEO의 자기 위주 편향을 고려해서 CEO의 이익에 호소해야 했다는 의미다.
만약 고문변호사가 CEO에게 “이 일을 그대로 놔두면 결국 사장님의 경력을 망가뜨리고 돈과 지위, 명예를 무너뜨릴 수 있습니다. 제 권고를 따르면 그런 사태를 방지할 수 있을 겁니다“라고 말했다면 CEO와 고문변호사 모두 아무일 없었을 것이다.

New world to VR?

Apple’s first foray into mixed reality hardware (that is, a blend of real and virtual worlds) is one of the company’s worst-kept secrets. The tech giant has been acquiring headset-friendly startups for years, and Tim Cook hasn’t been shy about his interests in augmented and virtual reality. Now, though, a headset appears to be ready for a WWDC debut — Apple’s event logo even hints at a lens.

If the rumors are accurate, Apple’s stand-alone device (possibly called Reality Pro) may be more powerful than the Meta Quest Pro and many other high-end headsets. It might offer a 4K resolution per eye, with at least six cameras providing a view of the outside world as well as full body motion tracking. It could also use an M2 chip that outperforms the mobile processors you typically see in stand-alone headsets. Expectations are that it will require an external battery pack and last for just two hours on a charge, but it would be relatively light and slim.

The true star might be the software, though. The Apple headset will reportedly run a new platform (possibly called xrOS) designed with mixed reality in mind. Rather than rely on controllers, you would use hand gestures, gaze detection and Siri voice commands to navigate the interface. An Apple Watch-style crown would toggle between AR and VR, and you could type in mid-air.

Any news about AI from Apple? 🧐

프로세스 감독을 통한 수학적 추론 향상
https://openai.com/research/improving-mathematical-reasoning-with-process-supervision?fbclid=IwAR3ICUhp_ALBMBUMOG_vqe1cqCMpLNTzm0yWkbIP2hbeeKX7OF-11_RCXQo

OpenAI가 또 다른 돌파구를 마련했군요! 최종 정답뿐만 아니라 각 정답 단계마다 보상을 제공하는 접근으로 수학 문제 풀이에서 새로운 기록을 세운 모델을 훈련시켰 다고 합니다. 우리가 학교에서 수학을 배우는 방식과 비슷하죠? 최종 정답을 맞힌 AI의 등을 두드리는 대신, 이제 올바른 단계를 밟을 때마다 보상을 제공합니다. 마치 수학 선생님이 최종 정답뿐만 아니라 학습 과정까지 신경 써주는 것처럼요. 이를 '과정 감독(Process Supervision)'이라고 부르는데, 이는 획기적인 변화입니다. 🧮💡
* 논문의 제목은 "Let’s Verify Step by Step"입니다. (작년에 CoT - '생각의 사슬' 붐을 일으켰던 마법의 표현 Step by Step 입니다)

https://cdn.openai.com/improving-mathematical-reasoning-with-process-supervision/Lets_Verify_Step_by_Step.pdf?fbclid=IwAR1LojRtgWmMYERWatOlHsD_9AAxalBPDd2i9WiDfRwV_F_Scm3eT2IUB1k
이것은 단순히 수학 문제를 더 잘 푸는 것만이 아닙니다. 프로세스 감독은 모델이 사람이 승인한 프로세스를 따라 우리와 더 비슷하게 생각하도록 도와줍니다. 마치 인공지능의 마음을 들여다보고 작동하는 과정을 지켜보는 것과 비슷합니다. 이 방법은 매우 신뢰할 수 있는 것으로 입증되었으며, AI를 더 잘 이해하고 우리의 목표에 부합하도록 만들 수도 있습니다.
이것은 AI의 속도를 늦추는 것이 아니라 오히려 더 나은 성능을 제공합니다! 안전과 성능 모두에서 윈윈인 셈이죠.
매우 까다로운 수학 문제를 테스트한 결과, '과정 감독형' AI가 '결과 감독형' AI보다 전반적으로 더 뛰어난 성능을 보였습니다. 심지어 대부분의 시도가 실패로 돌아간 어려운 삼각형 문제에 대한 유효한 해결책을 찾아내기도 했습니다! 😮
하지만 이 성과를 칭찬하는데만 그치는 것이 아니라 진지하게 고민해야 할 부분이 있습니다. 🤔
이 방법을 다른 문제 해결 작업에서 AI를 훈련하는 데 사용할 수 있을까요? 그리고 이것이 AI의 윤리와 투명성을 어떻게 변화시킬 수 있을까요? AI의 의사결정을 더 잘 이해하고 규제하는 데 도움이 될 수 있을까요?

AI가 이 정도로 발전하면 일부 직업이 영향을 받을 수도 있습니다. 우리는 어떻게 대응해야 할까요? 편견은 어떻게 할까요? 이 방법이 편견을 식별하고 수정하는 데 도움이 될 수 있을까요?
그리고 중요한 질문이 하나 더 있습니다. AI가 우리보다 추론에 더 능숙해진다면, 우리가 함께 일하는 방식이 어떻게 바뀔까요?
마지막으로, 이 방법은 인간이 승인한 프로세스를 따르기 때문에 AI의 창의성이나 혁신 잠재력을 제한할 수 있을까요?
고려해야 할 사항이 많지만 한 가지 확실한 것은 있습니다: AI는 점점 더 똑똑해지고 있으며, 이를 활용하는 것은 우리의 몫이라는 것입니다. #AI #OpenAI #프로세스감독 #MathWhizAI 🤖👩‍🏫🔢
----
저자에 얼라인먼트팀의 Jan Leike가 있는 것이 흥미롭군요.
Jan Leike: https://twitter.com/janleike/status/1663977494058520576?fbclid=IwAR2uKE0yDJOc9V_2Ihh0AJY56TrFPs-BcAhG4kPBHmwR7fFaWrlmAtVq_nI
Leike는 이것이 기본적으로 AI가 우리가 원하는 방식으로 작동하도록 하는 '정렬'이라는 측면에서 큰 뉴스가 될 것이라고 생각하는군요.
AI 업계에서는 '정렬 세금'이라고 불리는 것, 즉 AI를 정렬해서 작동하게 만들면 AI의 성능이 떨어질 수 있다는 우려가 있었습니다. 그런데 이 사례의 경우, AI는 실제로 면밀한 감독을 받았을 때 더 잘 수행했다는 것이죠.
Leike 자신도 이 사실에 놀랐나 봅니다. 그는 더 큰 AI 모델이나 다른 영역에서도 같은 일이 일어날지 확신하지 못했지만, 지금은 확실히 이 아이디어에 대해 더 개방적이군요.
그는 또한 이것이 정렬 연구에 큰 의미를 가질 수 있다고 생각합니다. AI의 작동 방식을 더 잘 이해할 수 있다면 AI가 더 잘 작동하도록 할 수 있지 않을까요?
* PRM800K: A Process Supervision Dataset: https://github.com/openai/prm800k
----
* 포스팅 작성 과정: https://chat.openai.com/share/28921572-7b11-496c-a533-9898733d6577?fbclid=IwAR0qLLSN6H3aaiamCK-XFeZfCIa_wEXwBUBtlMjn9dN7h7F7UQH9f6l4qEQ
과연 이렇게 글쓰기를 하는 것은 제가 썼다고 볼 수 있는 것인지, 과연 저는 원문의 내용을 읽었다고 볼 수 있는 것인지... 글쎄요.
마치 원문을 읽은 다른 사람이 쓴 포스팅을 보고, 그걸 통해 대강 파악하는 느낌이랄까요. 정보의 흡수라는게 늘 이런 단계가 있는 것이긴 하지만... 뭔가의 갈림길이구나 싶습니다. 여기서 더 들어서 제대로 읽고 생각할지 아니면 게으름을 피우고 말지. 그런데 제대로 읽고 생각한다손 치더라도 시간이 지나 남는 것이 이런 게으른 포스팅 대비 과연 뭐가 더 있을 것인가... 이게 고민 지점입니다.
* 뭔가 찜찜해서 결국 블로그 원문은 다 읽었습니다. 읽고 나서 이 포스팅의 본문에 이렇다할 수정을 하지 않는 것도 아이러니합니다. 논문도 둘러봐야죠.

What if we apply this methodology into other areas? Maybe at some point, human need to learn from AI about how to learn...

Japan Goes All In: Copyright Doesn’t Apply To AI Training
일본 정부는 인공지능 학습에 사용되는 데이터에 대해서 저작권을 강제하지 않겠답니다.
"일본 정부는 최근 놀랍게도 AI 학습에 사용되는 데이터에 대해 저작권을 강제하지 않겠다는 입장을 재확인했습니다. 이 정책은 "비영리 목적이든 상업적 목적이든, 복제가 아닌 다른 행위이든, 불법 사이트 등에서 얻은 콘텐츠이든 상관없이" AI가 모든 데이터를 사용할 수 있도록 허용합니다. 일본 문부과학성 장관인 나가오카 케이코는 현지 회의에서 일본 법률이 AI 데이터 세트에 사용된 저작권이 있는 자료를 보호하지 않을 것이라고 말하며 대담한 입장을 확인했습니다."
그런데 이에 대응하는 국내 기사는 못찾겠네요. (있는데 제가 찾지 못하는 걸 수도 있습니다.)

https://technomancers.ai/japan-goes-all-in-copyright-doesnt-apply-to-ai-training/?fbclid=IwAR0jWJD6EvO9eE6hTdjqUBOuGkTXVYIVZ1iuP_cLgqj7_Sz2xs8K4tKgyTM

Huge decision for Japan. Smart goverment.

Builder’s point of view about LLM.

The article discusses the challenges of building products with large language models (LLMs). These models are trained on massive datasets of text and code, and can be used for a variety of tasks, such as generating text, translating languages, and writing different kinds of creative content. However, building products with LLMs is not without its challenges. One challenge is that LLMs are often very large and complex, which can make them difficult to train and deploy. Another challenge is that LLMs can be difficult to control, and can sometimes generate output that is offensive or harmful. Finally, LLMs can be expensive to use, and there is a risk that they could be used for malicious purposes.

Despite these challenges, the author believes that LLMs have the potential to revolutionize the way we build products. He argues that LLMs can be used to create more personalized and engaging experiences for users, and that they can be used to solve complex problems that were previously intractable. He concludes by calling for more research and development into the use of LLMs in products.

Here are some of the specific challenges mentioned in the article:

Training and deploying LLMs is expensive and time-consuming. LLMs require massive datasets of text and code to train, and can take weeks or even months to train. Once they are trained, they can be difficult to deploy, as they require specialized hardware and software.
LLMs can be difficult to control. LLMs are trained on massive datasets of text, and can sometimes generate output that is offensive or harmful. This can be a challenge for developers, who need to find ways to control the output of LLMs.
LLMs can be expensive to use. LLMs require specialized hardware and software, which can be expensive to purchase and maintain. Additionally, LLMs can be expensive to train, as they require massive datasets of text and code.
There is a risk that LLMs could be used for malicious purposes. LLMs are powerful tools, and could be used for malicious purposes, such as generating fake news or creating deepfakes. It is important to be aware of these risks when developing products with LLMs.

10 common mistakes startups make that result in slower growth:

1. Focusing on middle of the funnel when the bottleneck is top of the funnel. Look at reps calendars. Are they busy with multiple customer calls every day? If not, you have a demand (and/or p/m fit) bottleneck.

2. Mass email sequencing people who have never heard of you or your company. You need to be more creative with outbound.

3. Incentivizing the wrong behavior. Most commonly, top of funnel metrics like MQL’s and SQL’s that produce low conversion rates and low ACV’s. “Show me the incentive and I’ll show you the outcome.” - Charlie Munger

4. Quarterly quotas. Almost every startup should be on monthly quotas. The exception being high 6 figure ACVs with >90 day sales cycles. The consequence of quarterly quotas is lost urgency 2 out of 3 months and less revenue.

5. Underinvesting or investing too late in revenue operations.

6. Underinvesting or investing too late in implementation. The first 30-60 days are the most critical in determining the long term success of a customer. Do whatever it takes to deliver a delightful first impression.

7. Underinvesting or investing too late in revenue expansion in the customer base.

8. Never meeting customers in person. Founders and revenue leaders should be doing this regularly (yes, even if your customers are small).

9. Over-indexing on domain experience when hiring a VP of Sales. Or, less common, but an even worse mistake, hiring from a big company.

10. Allowing poor performers, especially those in leadership positions, to remain at the business for too long.

https://www.linkedin.com/posts/sam-blond-791026b_10-common-mistakes-startups-make-that-result-activity-7070149376043573250-QLTB?utm_source=share&utm_medium=member_desktop

스타트업의 성장이 둔화되는 데 주요한 역할을 하는 10가지 일반적인 실수
Sam Blond Partner at Founders Fund, Ex CRO in Brex

1. 깔때기 상단에 병목 지점이 있음에도 불구하고 깔때기 중간에만 집중하는 경우. 담당자의 일정을 체크해보세요. 매일 수많은 고객 전화로 바쁘게 지내나요? 그렇지 않다면, 수요(또는 제품/시장 적합성)에 병목이 생기고 있는 것입니다.

2. 본인의 회사나 본인의 회사에 대해 알지 못하는 사람들에게 대량으로 이메일을 보내는 경우. 아웃바운드 전략에 더 많은 창의성을 발휘해야 합니다.

3. 부적절한 행동에 인센티브를 제공하는 경우. 가장 흔한 예는, 낮은 전환율과 낮은 ACV를 생성하는 MQL 및 SQL 같은 퍼널 상단 지표입니다. "인센티브를 설정하면 결과가 따라옵니다." - 찰리 멍거

4. 분기별 목표 설정. 대부분의 스타트업은 월별 목표를 설정해야 합니다. 단, 판매 주기가 90일을 초과하는 고액의 ACV는 예외입니다. 분기별 목표의 결과는 3개월 중 2개월 동안 긴급성을 잃고 수익이 감소하는 것입니다.

5. 수익 운영에 대한 투자가 부족하거나 너무 늦게 투자하는 경우.

6. 과소 투자하거나 실행에 너무 늦게 착수하는 경우. 고객의 장기적인 성공을 결정하는 가장 중요한 시기는 처음 30~60일입니다. 좋은 첫인상을 남기기 위해 최선을 다하십시오.

7. 고객 기반 매출 확대에 대한 투자가 부족하거나 너무 늦게 하는 경우.

8. 고객을 직접 만나지 않는 경우. 창업자와 매출 리더는 정기적으로 고객을 만나야 합니다(고객이 소규모일지라도).

9. 영업 부사장을 채용할 때 도메인 경험을 과도하게 중요시하는 경우. 또는 흔하지 않지만 더욱 심각한 실수인 대기업 출신을 채용하는 경우

10. 성과가 저조한 직원, 특히 리더십 직책에 있는 직원을 너무 오래 회사에 머물게 하는 경우

I missed a great point here.
As Microsoft bankrolls AI startup OpenAI—including footing its enormous cloud bill as part of a complex arrangement—Microsoft’s rivals have scrambled to win over other AI customers. Google has begun to invest in AI startups that are or could become its cloud customers, following a similar playbook it used to obtain customers in other industries. Earlier this year, for instance, Google invested $400 million in Anthropic, one of the primary startup challengers to OpenAI, The Information previously reported. Google Cloud said in February it had become Anthropic’s “preferred” provider.

News of the Runway deal comes after Google Cloud announced it had signed up two other key AI startups: text-to-image provider Midjourney and chatbot app Character AI. Character, founded by former Google researchers who developed some of the company’s key AI technology, previously was a key cloud customer of Oracle, The Information reported. It isn’t clear whether Google took stakes in the companies and it’s too soon to tell whether these deals will help Google catch up to bigger cloud rivals AWS and Microsoft. See our Cloud Database.

Notably, OpenAI has employed its own startup-investment strategy to win over future customers even as it takes capital and cloud credits from Microsoft. The startup, which raised a $175 million fund to back startups, dangles special incentives to founders whose startups pay for access to its large-language models, including discounts on licensing and early access to new technologies, The Information previously reported.

Luring AI startups with cloud credits could help Google beat out venture capital firms vying for stakes in the companies. Oracle also offers hundreds of thousands of dollars’ worth of computing credits as an incentive for AI startups to rent the company’s cloud servers, The Information earlier reported.