Colossal-AI 是新加坡的 HPC-AI Tech 推出的开源深度学习框架，以高效著称。
For ChatGPT training based on a small model with 120 million parameters, a minimum of 1.62GB of GPU memory is required, which can be satisfied by any single consumer-level GPU.
https://www.hpc-ai.tech/blog/colossal-ai-chatgpt
#open #ml
For ChatGPT training based on a small model with 120 million parameters, a minimum of 1.62GB of GPU memory is required, which can be satisfied by any single consumer-level GPU.
https://www.hpc-ai.tech/blog/colossal-ai-chatgpt
#open #ml
Hpc-Ai
Replicate ChatGPT Training Quickly and Affordable with Open Source Colossal-AI
Colossal-AI offers an open-source solution to efficiently replicate ChatGPT-like model training at high speed and low cost.
这两天 twitter前员工 Haraldur Þorleifsson 大战 Elon Musk，非常精彩的对话。
Haraldur Þorleifsson 是冰岛人，身患肌肉萎缩，25岁的时候就只能坐轮椅，现在已经逐步发展到手臂和手指。
他创建的设计公司 Ueno 被 Twitter 收购之后，他选择将收集按照薪资计入，这样他可以支付更多的个人所得税，回馈冰岛的福利系统。
最近在 Twitter 裁员风波中，他被莫名其妙地裁员了，于是在 Twitter 上公布了之前的经历。
冰岛媒体之前授予他年度人物的报道
https://www.icelandreview.com/news/haraldur-thorleifsson-sweeps-person-of-the-year-awards/
脱水版的 twitter thread
https://readwise.io/reader/shared/01gtyc1qf49e55knev3myxj60m
twitter 上的原帖
https://twitter.com/iamharaldur/status/1633082707835080705
Haraldur Þorleifsson 是冰岛人，身患肌肉萎缩，25岁的时候就只能坐轮椅，现在已经逐步发展到手臂和手指。
他创建的设计公司 Ueno 被 Twitter 收购之后，他选择将收集按照薪资计入，这样他可以支付更多的个人所得税，回馈冰岛的福利系统。
最近在 Twitter 裁员风波中，他被莫名其妙地裁员了，于是在 Twitter 上公布了之前的经历。
冰岛媒体之前授予他年度人物的报道
https://www.icelandreview.com/news/haraldur-thorleifsson-sweeps-person-of-the-year-awards/
脱水版的 twitter thread
https://readwise.io/reader/shared/01gtyc1qf49e55knev3myxj60m
twitter 上的原帖
https://twitter.com/iamharaldur/status/1633082707835080705
Iceland Review
Haraldur Þorleifsson Sweeps Person of the Year Awards
Haraldur Þorleifsson, known as Halli, has swept several Person of the Year awards in Icelandic media. Ramp Up Iceland...
👍3
Twitter 的字数限制，使得很多人开始使用 thread 的功能。
目前有些工具已经支持导入 thread 中的首条 tweet，然后自动抓取剩下的 tweets ，剪辑成一篇小短文。
Goodlinks: iOS / macOS app，主打本地书签功能，可以自动抓取 thread tweets。
Readwise Reader: Readwise 推出的阅读服务，也支持 thread tweets 的抓取。
mem: OpenAI 投资的一款笔记工具，也支持 thread tweets 抓取。
大家还有什么推荐吗？
#tools
目前有些工具已经支持导入 thread 中的首条 tweet，然后自动抓取剩下的 tweets ，剪辑成一篇小短文。
Goodlinks: iOS / macOS app，主打本地书签功能，可以自动抓取 thread tweets。
Readwise Reader: Readwise 推出的阅读服务，也支持 thread tweets 的抓取。
mem: OpenAI 投资的一款笔记工具，也支持 thread tweets 抓取。
大家还有什么推荐吗？
#tools
App Store
GoodLinks
Save links effortlessly. View them later, from anywhere, on all your devices. Sync, organize, and share your links—privately, without ever creating an account.
GoodLinks is a powerful bookmarking app with a sleek reading experience. Save the content of…
GoodLinks is a powerful bookmarking app with a sleek reading experience. Save the content of…
👍1
Weights & Biases 测试了在 M2Pro Mac Mini 上跑深度学习的训练。比前一代的 M1 Pro 快了不少，Tensorflow 大约有 15% 的增长，Pytorch 大约有18%。
结论是，这一代的 Mac Mini 可以拿来写模型原型，但是要想训练，还是需要 N 卡。
https://wandb.ai/capecape/pytorch-M1Pro/reports/Is-the-New-M2Pro-Mac-Mini-a-Deep-Learning-Workstation---VmlldzozNjI3NDE5
之前 M1 系列芯片的各种测试：
https://t.me/tms_ur_way/2404
#ml
结论是，这一代的 Mac Mini 可以拿来写模型原型，但是要想训练，还是需要 N 卡。
https://wandb.ai/capecape/pytorch-M1Pro/reports/Is-the-New-M2Pro-Mac-Mini-a-Deep-Learning-Workstation---VmlldzozNjI3NDE5
之前 M1 系列芯片的各种测试：
https://t.me/tms_ur_way/2404
#ml
W&B
Is the New M2Pro Mac Mini a Deep Learning Workstation?
In this article, we explore whether the recent addition of the M2Pro chipset to the Apple Mac Mini family works as a replacement for your power hungry workstation.
👍2
huggingface 发布了基于 javascript 和 typescript 的框架，可以用这两种语言直接调用 huggingface hub 的 API 。
https://github.com/huggingface/huggingface.js
#ml
https://github.com/huggingface/huggingface.js
#ml
GitHub
GitHub - huggingface/huggingface.js: Use Hugging Face with JavaScript
Use Hugging Face with JavaScript. Contribute to huggingface/huggingface.js development by creating an account on GitHub.
👍1
Widgetsmith 突破了一亿下载量大关。
Widgetsmith 是独立开发者 David Smith 12年来开发的第59款 app。就此，他给出了自己的建议：
“So get started and find out: launch lots of ideas, fail many times, improve your craft, pay attention to the little things, share your learnings, be kind to yourself and those around you, work diligently…because you never know where you’ll end up.”
http://david-smith.org/blog/2023/03/08/new-post
#indie #tools
Widgetsmith 是独立开发者 David Smith 12年来开发的第59款 app。就此，他给出了自己的建议：
“So get started and find out: launch lots of ideas, fail many times, improve your craft, pay attention to the little things, share your learnings, be kind to yourself and those around you, work diligently…because you never know where you’ll end up.”
http://david-smith.org/blog/2023/03/08/new-post
#indie #tools
www.david-smith.org
Widgetsmith += 100,000,000 - David Smith, Independent iOS Developer
DPS Build
Widgetsmith 突破了一亿下载量大关。 Widgetsmith 是独立开发者 David Smith 12年来开发的第59款 app。就此，他给出了自己的建议： “So get started and find out: launch lots of ideas, fail many times, improve your craft, pay attention to the little things, share your learnings, be kind to yourself and…
其实这并不是 David Smith 第一款大卖的 app。另一款 Pedometer++ 于2018年达成了500万的下载量。
两款 app 都是免费+订阅制，免费版提供基础功能，订阅版提供进阶功能。订阅版都是$20/年。
即使付费率只有千分之一，这两款 app 也带来了极为可观的收入。
当然 David 也坦言自己失败了无数次，一直不停地尝试，才有今天的成功。
https://www.david-smith.org/blog/2018/04/25/pedometer-plus-equals-5-million/
两款 app 都是免费+订阅制，免费版提供基础功能，订阅版提供进阶功能。订阅版都是$20/年。
即使付费率只有千分之一，这两款 app 也带来了极为可观的收入。
当然 David 也坦言自己失败了无数次，一直不停地尝试，才有今天的成功。
https://www.david-smith.org/blog/2018/04/25/pedometer-plus-equals-5-million/
www.david-smith.org
Pedometer += 5,000,000 - David Smith, Independent iOS Developer
抽时间读了读 openAI API 的使用文档和样例代码，发现这些 API 的威力远比在 ChatGPT 前台展示得要大得多。
感觉ChatGPT API 的开放对于 NLP 任务而言，就像十年前 AlexNet 的出现对于 CV 任务的推动差不多。
ChatGPT 当然不是全知全能，但是如何好好利用 ChatGPT （比如 fine tuning）可能是所有开发者都需要好好学习的
https://platform.openai.com/examples
https://github.com/openai/openai-cookbook
#ml
感觉ChatGPT API 的开放对于 NLP 任务而言，就像十年前 AlexNet 的出现对于 CV 任务的推动差不多。
ChatGPT 当然不是全知全能，但是如何好好利用 ChatGPT （比如 fine tuning）可能是所有开发者都需要好好学习的
https://platform.openai.com/examples
https://github.com/openai/openai-cookbook
#ml
Openai
OpenAI Platform
Explore developer resources, tutorials, API docs, and dynamic examples to get the most out of OpenAI's platform.
👍3
GPT-4 预计下周发布，是个多模态模型，包括处理视频数据的能力。
https://www.heise.de/news/GPT-4-is-coming-next-week-and-it-will-be-multimodal-says-Microsoft-Germany-7540972.html
#ml
https://www.heise.de/news/GPT-4-is-coming-next-week-and-it-will-be-multimodal-says-Microsoft-Germany-7540972.html
#ml
Developer
GPT-4 is coming next week – and it will be multimodal, says Microsoft Germany
The release of GPT-4 is imminent, as Microsoft Germany CTO Andreas Braun mentioned at an AI kickoff event on 9 March 2023.
DPS Build
抽时间读了读 openAI API 的使用文档和样例代码，发现这些 API 的威力远比在 ChatGPT 前台展示得要大得多。 感觉ChatGPT API 的开放对于 NLP 任务而言，就像十年前 AlexNet 的出现对于 CV 任务的推动差不多。 ChatGPT 当然不是全知全能，但是如何好好利用 ChatGPT （比如 fine tuning）可能是所有开发者都需要好好学习的 https://platform.openai.com/examples https://github.com/openai/openai…
花了两个小时写了一个基于 gpt-turbo-3.5 的问题答案生成工具：
1. 给定任意英文文本，这个工具就能生成相应的问题答案组合；
2. 所有代码加起来就30行；
3. 跑了一些数据，人工看看，这些结果的质量至少在80分以上。
4. 比起去年十月的 davinci 等模型，最新的模型更加智能，已经在很大程度上取代了上一代 API 部分模参数，比如 openAI SDK 中的 openai.Engine 这个 API 就已经被弃用了。
5. 这一代模型无法让用户自行 fine-tune，前面几代的可以
如果是按传统的 NLP 项目来开发，能做出一个基本可用的模型至少要一两个月的时间。
https://platform.openai.com/docs/guides/chat/chat-completions-beta
https://platform.openai.com/docs/guides/chat/is-fine-tuning-available-for-gpt-3-5-turbo
#ml
1. 给定任意英文文本，这个工具就能生成相应的问题答案组合；
2. 所有代码加起来就30行；
3. 跑了一些数据，人工看看，这些结果的质量至少在80分以上。
4. 比起去年十月的 davinci 等模型，最新的模型更加智能，已经在很大程度上取代了上一代 API 部分模参数，比如 openAI SDK 中的 openai.Engine 这个 API 就已经被弃用了。
5. 这一代模型无法让用户自行 fine-tune，前面几代的可以
如果是按传统的 NLP 项目来开发，能做出一个基本可用的模型至少要一两个月的时间。
https://platform.openai.com/docs/guides/chat/chat-completions-beta
https://platform.openai.com/docs/guides/chat/is-fine-tuning-available-for-gpt-3-5-turbo
#ml
Openai
OpenAI API
An API for accessing new AI models developed by OpenAI
在单机上可以跑得动 Meta 发布的 LLaMA 模型。
https://til.simonwillison.net/llms/llama-7b-m2
https://twitter.com/ggerganov/status/1634282694208114690
#ml
https://til.simonwillison.net/llms/llama-7b-m2
https://twitter.com/ggerganov/status/1634282694208114690
#ml
Simon Willison’s TILs
Running LLaMA 7B and 13B on a 64GB M2 MacBook Pro with llama.cpp
See also: Large language models are having their Stable Diffusion moment right now .
为什么 ChatGPT API 是革命性的？
这几天读了读 ChatGPT API 的文档，太惊喜了：
1. 最新版的 API 是基于 gpt-turbo-3.5 的，这一版的 API 的交互是革命性的。得益于模型的强大，用户不需要提交各种参数，只要写 prompt 就行。也就是说 API 的 UX 被大大简化。用户不需要在请求里写参数，只要在 prompt 里写人话，模型自行能够明白用户的表达。
2. 更厉害的是，gpt 这类模型可以接受 chain of thoughts (COT) 的 prompt，如果用户觉得结果不满意，可以继续提交请求让模型生成更好的答案。在李宏毅的讲座里，他给出了一个例子就是，如果让模型直接解答一个复杂的数学题，效果可能不是很好，但是加上 let’s do it step by step 的 prompt 之后，模型给出了一步步的推导过程，结果大为改善。
3. 除了直接调用 ChatGPT API 的基础模型以外，OpenAI 还提供了让用户提交自己的 embedding 和 fine-tuning 等定制模型的方式，这两种都可以通过 API 来实现，不需要额外的步骤。不过，最新的 API 暂时不支持 fine-tuning
4. 以前随便开发一个 NLP 的模型，基本上开发周期是以月计算的，有了 ChatGPT API 之后，抛去准备数据的时间，开发周期可以以小时计算。我从零开始开始读文档，到写出一个 Q&A 生成的项目，只花了半天时间。放在以前，至少要花一两个月的时间吧。
#nlp
这几天读了读 ChatGPT API 的文档，太惊喜了：
1. 最新版的 API 是基于 gpt-turbo-3.5 的，这一版的 API 的交互是革命性的。得益于模型的强大，用户不需要提交各种参数，只要写 prompt 就行。也就是说 API 的 UX 被大大简化。用户不需要在请求里写参数，只要在 prompt 里写人话，模型自行能够明白用户的表达。
2. 更厉害的是，gpt 这类模型可以接受 chain of thoughts (COT) 的 prompt，如果用户觉得结果不满意，可以继续提交请求让模型生成更好的答案。在李宏毅的讲座里，他给出了一个例子就是，如果让模型直接解答一个复杂的数学题，效果可能不是很好，但是加上 let’s do it step by step 的 prompt 之后，模型给出了一步步的推导过程，结果大为改善。
3. 除了直接调用 ChatGPT API 的基础模型以外，OpenAI 还提供了让用户提交自己的 embedding 和 fine-tuning 等定制模型的方式，这两种都可以通过 API 来实现，不需要额外的步骤。不过，最新的 API 暂时不支持 fine-tuning
4. 以前随便开发一个 NLP 的模型，基本上开发周期是以月计算的，有了 ChatGPT API 之后，抛去准备数据的时间，开发周期可以以小时计算。我从零开始开始读文档，到写出一个 Q&A 生成的项目，只花了半天时间。放在以前，至少要花一两个月的时间吧。
#nlp
👍3