DPS Build
Unum 使用四块 RTX 3090 显卡就能训练一个比 OpenAI 还要好的 Vision-Language transformer 模型 -- UForm。要知道 OpenAI 用了 1024块 A100 显卡才训练出来。 UForm 不仅各方面表现优于 OpenAI 的 CLIP，而且推算速度也大大优于 CLIP。 对了，Unum 是一家在亚美尼亚的初创公司，目前只有13个人。 https://www.unum.cloud/blog/2023-02-20-efficient-multimodality…
Unum 这家公司太神奇了，开源了自己的 UJRPC，比 FastAPI 快一百倍。而且 UJPRC 的语法借鉴了 FastAPI 的设计，完全可以无痛切换。
https://twitter.com/unum_cloud/status/1632768518751133697
#open
https://twitter.com/unum_cloud/status/1632768518751133697
#open
Colossal-AI 是新加坡的 HPC-AI Tech 推出的开源深度学习框架，以高效著称。
For ChatGPT training based on a small model with 120 million parameters, a minimum of 1.62GB of GPU memory is required, which can be satisfied by any single consumer-level GPU.
https://www.hpc-ai.tech/blog/colossal-ai-chatgpt
#open #ml
For ChatGPT training based on a small model with 120 million parameters, a minimum of 1.62GB of GPU memory is required, which can be satisfied by any single consumer-level GPU.
https://www.hpc-ai.tech/blog/colossal-ai-chatgpt
#open #ml
Hpc-Ai
Replicate ChatGPT Training Quickly and Affordable with Open Source Colossal-AI
Colossal-AI offers an open-source solution to efficiently replicate ChatGPT-like model training at high speed and low cost.
这两天 twitter前员工 Haraldur Þorleifsson 大战 Elon Musk，非常精彩的对话。
Haraldur Þorleifsson 是冰岛人，身患肌肉萎缩，25岁的时候就只能坐轮椅，现在已经逐步发展到手臂和手指。
他创建的设计公司 Ueno 被 Twitter 收购之后，他选择将收集按照薪资计入，这样他可以支付更多的个人所得税，回馈冰岛的福利系统。
最近在 Twitter 裁员风波中，他被莫名其妙地裁员了，于是在 Twitter 上公布了之前的经历。
冰岛媒体之前授予他年度人物的报道
https://www.icelandreview.com/news/haraldur-thorleifsson-sweeps-person-of-the-year-awards/
脱水版的 twitter thread
https://readwise.io/reader/shared/01gtyc1qf49e55knev3myxj60m
twitter 上的原帖
https://twitter.com/iamharaldur/status/1633082707835080705
Haraldur Þorleifsson 是冰岛人，身患肌肉萎缩，25岁的时候就只能坐轮椅，现在已经逐步发展到手臂和手指。
他创建的设计公司 Ueno 被 Twitter 收购之后，他选择将收集按照薪资计入，这样他可以支付更多的个人所得税，回馈冰岛的福利系统。
最近在 Twitter 裁员风波中，他被莫名其妙地裁员了，于是在 Twitter 上公布了之前的经历。
冰岛媒体之前授予他年度人物的报道
https://www.icelandreview.com/news/haraldur-thorleifsson-sweeps-person-of-the-year-awards/
脱水版的 twitter thread
https://readwise.io/reader/shared/01gtyc1qf49e55knev3myxj60m
twitter 上的原帖
https://twitter.com/iamharaldur/status/1633082707835080705
Iceland Review
Haraldur Þorleifsson Sweeps Person of the Year Awards
Haraldur Þorleifsson, known as Halli, has swept several Person of the Year awards in Icelandic media. Ramp Up Iceland...
👍3
Twitter 的字数限制，使得很多人开始使用 thread 的功能。
目前有些工具已经支持导入 thread 中的首条 tweet，然后自动抓取剩下的 tweets ，剪辑成一篇小短文。
Goodlinks: iOS / macOS app，主打本地书签功能，可以自动抓取 thread tweets。
Readwise Reader: Readwise 推出的阅读服务，也支持 thread tweets 的抓取。
mem: OpenAI 投资的一款笔记工具，也支持 thread tweets 抓取。
大家还有什么推荐吗？
#tools
目前有些工具已经支持导入 thread 中的首条 tweet，然后自动抓取剩下的 tweets ，剪辑成一篇小短文。
Goodlinks: iOS / macOS app，主打本地书签功能，可以自动抓取 thread tweets。
Readwise Reader: Readwise 推出的阅读服务，也支持 thread tweets 的抓取。
mem: OpenAI 投资的一款笔记工具，也支持 thread tweets 抓取。
大家还有什么推荐吗？
#tools
App Store
GoodLinks
Save links effortlessly. View them later, from anywhere, on all your devices. Sync, organize, and share your links—privately, without ever creating an account.
GoodLinks is a powerful bookmarking app with a sleek reading experience. Save the content of…
GoodLinks is a powerful bookmarking app with a sleek reading experience. Save the content of…
👍1
Weights & Biases 测试了在 M2Pro Mac Mini 上跑深度学习的训练。比前一代的 M1 Pro 快了不少，Tensorflow 大约有 15% 的增长，Pytorch 大约有18%。
结论是，这一代的 Mac Mini 可以拿来写模型原型，但是要想训练，还是需要 N 卡。
https://wandb.ai/capecape/pytorch-M1Pro/reports/Is-the-New-M2Pro-Mac-Mini-a-Deep-Learning-Workstation---VmlldzozNjI3NDE5
之前 M1 系列芯片的各种测试：
https://t.me/tms_ur_way/2404
#ml
结论是，这一代的 Mac Mini 可以拿来写模型原型，但是要想训练，还是需要 N 卡。
https://wandb.ai/capecape/pytorch-M1Pro/reports/Is-the-New-M2Pro-Mac-Mini-a-Deep-Learning-Workstation---VmlldzozNjI3NDE5
之前 M1 系列芯片的各种测试：
https://t.me/tms_ur_way/2404
#ml
W&B
Is the New M2Pro Mac Mini a Deep Learning Workstation?
In this article, we explore whether the recent addition of the M2Pro chipset to the Apple Mac Mini family works as a replacement for your power hungry workstation.
👍2
huggingface 发布了基于 javascript 和 typescript 的框架，可以用这两种语言直接调用 huggingface hub 的 API 。
https://github.com/huggingface/huggingface.js
#ml
https://github.com/huggingface/huggingface.js
#ml
GitHub
GitHub - huggingface/huggingface.js: Use Hugging Face with JavaScript
Use Hugging Face with JavaScript. Contribute to huggingface/huggingface.js development by creating an account on GitHub.
👍1
Widgetsmith 突破了一亿下载量大关。
Widgetsmith 是独立开发者 David Smith 12年来开发的第59款 app。就此，他给出了自己的建议：
“So get started and find out: launch lots of ideas, fail many times, improve your craft, pay attention to the little things, share your learnings, be kind to yourself and those around you, work diligently…because you never know where you’ll end up.”
http://david-smith.org/blog/2023/03/08/new-post
#indie #tools
Widgetsmith 是独立开发者 David Smith 12年来开发的第59款 app。就此，他给出了自己的建议：
“So get started and find out: launch lots of ideas, fail many times, improve your craft, pay attention to the little things, share your learnings, be kind to yourself and those around you, work diligently…because you never know where you’ll end up.”
http://david-smith.org/blog/2023/03/08/new-post
#indie #tools
www.david-smith.org
Widgetsmith += 100,000,000 - David Smith, Independent iOS Developer
DPS Build
Widgetsmith 突破了一亿下载量大关。 Widgetsmith 是独立开发者 David Smith 12年来开发的第59款 app。就此，他给出了自己的建议： “So get started and find out: launch lots of ideas, fail many times, improve your craft, pay attention to the little things, share your learnings, be kind to yourself and…
其实这并不是 David Smith 第一款大卖的 app。另一款 Pedometer++ 于2018年达成了500万的下载量。
两款 app 都是免费+订阅制，免费版提供基础功能，订阅版提供进阶功能。订阅版都是$20/年。
即使付费率只有千分之一，这两款 app 也带来了极为可观的收入。
当然 David 也坦言自己失败了无数次，一直不停地尝试，才有今天的成功。
https://www.david-smith.org/blog/2018/04/25/pedometer-plus-equals-5-million/
两款 app 都是免费+订阅制，免费版提供基础功能，订阅版提供进阶功能。订阅版都是$20/年。
即使付费率只有千分之一，这两款 app 也带来了极为可观的收入。
当然 David 也坦言自己失败了无数次，一直不停地尝试，才有今天的成功。
https://www.david-smith.org/blog/2018/04/25/pedometer-plus-equals-5-million/
www.david-smith.org
Pedometer += 5,000,000 - David Smith, Independent iOS Developer
抽时间读了读 openAI API 的使用文档和样例代码，发现这些 API 的威力远比在 ChatGPT 前台展示得要大得多。
感觉ChatGPT API 的开放对于 NLP 任务而言，就像十年前 AlexNet 的出现对于 CV 任务的推动差不多。
ChatGPT 当然不是全知全能，但是如何好好利用 ChatGPT （比如 fine tuning）可能是所有开发者都需要好好学习的
https://platform.openai.com/examples
https://github.com/openai/openai-cookbook
#ml
感觉ChatGPT API 的开放对于 NLP 任务而言，就像十年前 AlexNet 的出现对于 CV 任务的推动差不多。
ChatGPT 当然不是全知全能，但是如何好好利用 ChatGPT （比如 fine tuning）可能是所有开发者都需要好好学习的
https://platform.openai.com/examples
https://github.com/openai/openai-cookbook
#ml
Openai
OpenAI Platform
Explore developer resources, tutorials, API docs, and dynamic examples to get the most out of OpenAI's platform.
👍3
GPT-4 预计下周发布，是个多模态模型，包括处理视频数据的能力。
https://www.heise.de/news/GPT-4-is-coming-next-week-and-it-will-be-multimodal-says-Microsoft-Germany-7540972.html
#ml
https://www.heise.de/news/GPT-4-is-coming-next-week-and-it-will-be-multimodal-says-Microsoft-Germany-7540972.html
#ml
Developer
GPT-4 is coming next week – and it will be multimodal, says Microsoft Germany
The release of GPT-4 is imminent, as Microsoft Germany CTO Andreas Braun mentioned at an AI kickoff event on 9 March 2023.
DPS Build
抽时间读了读 openAI API 的使用文档和样例代码，发现这些 API 的威力远比在 ChatGPT 前台展示得要大得多。 感觉ChatGPT API 的开放对于 NLP 任务而言，就像十年前 AlexNet 的出现对于 CV 任务的推动差不多。 ChatGPT 当然不是全知全能，但是如何好好利用 ChatGPT （比如 fine tuning）可能是所有开发者都需要好好学习的 https://platform.openai.com/examples https://github.com/openai/openai…
花了两个小时写了一个基于 gpt-turbo-3.5 的问题答案生成工具：
1. 给定任意英文文本，这个工具就能生成相应的问题答案组合；
2. 所有代码加起来就30行；
3. 跑了一些数据，人工看看，这些结果的质量至少在80分以上。
4. 比起去年十月的 davinci 等模型，最新的模型更加智能，已经在很大程度上取代了上一代 API 部分模参数，比如 openAI SDK 中的 openai.Engine 这个 API 就已经被弃用了。
5. 这一代模型无法让用户自行 fine-tune，前面几代的可以
如果是按传统的 NLP 项目来开发，能做出一个基本可用的模型至少要一两个月的时间。
https://platform.openai.com/docs/guides/chat/chat-completions-beta
https://platform.openai.com/docs/guides/chat/is-fine-tuning-available-for-gpt-3-5-turbo
#ml
1. 给定任意英文文本，这个工具就能生成相应的问题答案组合；
2. 所有代码加起来就30行；
3. 跑了一些数据，人工看看，这些结果的质量至少在80分以上。
4. 比起去年十月的 davinci 等模型，最新的模型更加智能，已经在很大程度上取代了上一代 API 部分模参数，比如 openAI SDK 中的 openai.Engine 这个 API 就已经被弃用了。
5. 这一代模型无法让用户自行 fine-tune，前面几代的可以
如果是按传统的 NLP 项目来开发，能做出一个基本可用的模型至少要一两个月的时间。
https://platform.openai.com/docs/guides/chat/chat-completions-beta
https://platform.openai.com/docs/guides/chat/is-fine-tuning-available-for-gpt-3-5-turbo
#ml
Openai
OpenAI API
An API for accessing new AI models developed by OpenAI