私人自托管大型语言模型：运行经验分享与注意事项
最近半年大型语言模型非常火爆，笔者本人循着开源精神，试着搭建过自托管（self-host）大模型，也踩过不少坑，现在来分享一下经验。
1. 最容易/成熟的选择：
llama的Vicuna，之前还需要申请llama的模型访问权限后才能加载他们的增量（类似于需要有stable diffusion 模型才能加载LoRa），但是是由于llama模型漏的到处都是了， 所以现在他们直接放出了所有权重可以直接部署。（而且脚本都给你写好了。
2.如何部署：
7B的模型需要14GVRAM，13B需要28-30VRAM（28G可以加载模型，一推理就会oom），而最新的33B模型需要至少80G VRAM进行部署。同时，多GPU不能分担显存需求，除非是裸机级别的NVlink（VPS因为不保证你租到的是相邻两个有NVlink的GPU，可能部署没问题，但是一进行推理就会炸显存，因为pcl express带宽不够）。
那么最好的选择是Vultr，他们是少数几家有80G 级别的A100商家，而且能按小时付费，价格是Azure之类的1/2一下。
但是要注意的是，他们家默认credit limit是$1,000/mo 但是A100价格是$1,750/mo，尽管按小时计费，但是因为月度credit limit不够，会直接开不出来，需要正常使用他们家其他服务几个月后，才能申请增加额度。（本人是几年的老用户，来回发了4-5份工单才同意增额的）。
但是如果只是体验一下13B的model的话，可以租用半个GPU（40G VRAM，够用）.
3.进一步省钱的办法：
看好需要VRAM额度，租用1/2个或1/3个GPU足以。
同时善用他们家的快照功能，如果你不熟悉linux命令的话，可以先租用一个50-100G SSD的CPU VPS （取决于模型大小）（每个小时只要 $0.04-0.06,比GPU服务器便宜一个数量级），部署好后不启动，拍摄快照，再从快照还原到GPU服务器。（但是要注意拍摄快照与还原均需大约一个小时，如果你熟悉linux命令，你大约可以在30分钟内部署完成，快照反而会多花钱）。（注意记录下一开始的root密码，快照会还原原来的root密码，但不显示）。
5.模型感觉怎么样？
尽管宣传比肩ChartGPT，但是其实比ChartGPT差多了（大约有微软小冰的水平？）比如我蓄意给予错误的指令（“请告诉我有关阿里巴巴森林公园的情况”，他开始回答“阿里巴巴森林公园是一个风景秀丽，环境优美。。。。。。” 换成英文也得到类似的结果 "Please tell me something about Tencent National park" 也回答了类似的结果，而ChartGPT会质疑阿里巴巴是公司而非森林公园的名字）。（毕竟ChartGPT宣传是175B，和13B差差不多10倍）
6.最后:
美国有传闻要禁止中国公司或公民在外国租用高端计算卡以绕过显卡禁令，尚不知是否会波及类似用例（因为只是单显卡，未进行互联，而A800砍的是互联能力）。希望不会吧。
最近半年大型语言模型非常火爆，笔者本人循着开源精神，试着搭建过自托管（self-host）大模型，也踩过不少坑，现在来分享一下经验。
1. 最容易/成熟的选择：
llama的Vicuna，之前还需要申请llama的模型访问权限后才能加载他们的增量（类似于需要有stable diffusion 模型才能加载LoRa），
2.如何部署：
7B的模型需要14GVRAM，13B需要28-30VRAM（28G可以加载模型，一推理就会oom），而最新的33B模型需要至少80G VRAM进行部署。同时，多GPU不能分担显存需求，除非是裸机级别的NVlink（VPS因为不保证你租到的是相邻两个有NVlink的GPU，可能部署没问题，但是一进行推理就会炸显存，因为pcl express带宽不够）。
那么最好的选择是Vultr，他们是少数几家有80G 级别的A100商家，而且能按小时付费，价格是Azure之类的1/2一下。
但是要注意的是，他们家默认credit limit是$1,000/mo 但是A100价格是$1,750/mo，尽管按小时计费，但是因为月度credit limit不够，会直接开不出来，需要正常使用他们家其他服务几个月后，才能申请增加额度。（本人是几年的老用户，来回发了4-5份工单才同意增额的）。
但是如果只是体验一下13B的model的话，可以租用半个GPU（40G VRAM，够用）.
3.进一步省钱的办法：
看好需要VRAM额度，租用1/2个或1/3个GPU足以。
同时善用他们家的快照功能，如果你不熟悉linux命令的话，可以先租用一个50-100G SSD的CPU VPS （取决于模型大小）（每个小时只要 $0.04-0.06,比GPU服务器便宜一个数量级），部署好后不启动，拍摄快照，再从快照还原到GPU服务器。（但是要注意拍摄快照与还原均需大约一个小时，如果你熟悉linux命令，你大约可以在30分钟内部署完成，快照反而会多花钱）。（注意记录下一开始的root密码，快照会还原原来的root密码，但不显示）。
5.模型感觉怎么样？
尽管宣传比肩ChartGPT，但是其实比ChartGPT差多了（大约有微软小冰的水平？）比如我蓄意给予错误的指令（“请告诉我有关阿里巴巴森林公园的情况”，他开始回答“阿里巴巴森林公园是一个风景秀丽，环境优美。。。。。。” 换成英文也得到类似的结果 "Please tell me something about Tencent National park" 也回答了类似的结果，而ChartGPT会质疑阿里巴巴是公司而非森林公园的名字）。（毕竟ChartGPT宣传是175B，和13B差差不多10倍）
6.最后:
美国有传闻要禁止中国公司或公民在外国租用高端计算卡以绕过显卡禁令，尚不知是否会波及类似用例（因为只是单显卡，未进行互联，而A800砍的是互联能力）。希望不会吧。
有趣的维基百科网站丨理论和文化
Aesthetics Wiki
前面我们分享了期「学术维基」相关内容，最近看到个「美学维基」很不错（src @gledos_microblogging），介绍各种泛文化艺术图式、风格和视觉等内容，比如各种复古/氛围/视觉系的亚文化，Y2K/蒸汽波/梦核/怪核风。All Pages 可以查找所有词表。
这是 Fandom 的二级域名，Fandom 是粉丝向的更大文化维基，有游戏攻略、电影、动漫和视频等维基百科内容。顺便就找了相关有趣的维基百科网站：
Philosophy Wiki
哲学维基，哲学相关的人物、理论、书籍和各种。
Psychology Wiki
心理学维基，关于社科维基各种。
Art wiki
艺术作品相关维基。
Stanford Encyclopedia of Philosophy
斯坦福哲学百科。
Internet Encyclopedia of Philosophy
互联网哲学百科，比斯坦福更简洁。
Welcome to Wikibooks
书籍以及文学相关维基。
RationalWiki
分析和批评的各种维基。
INTERNET ARCHIVE
互联网档案库就更多辽。
---
关于内容深耕除了我主推的那些主流媒体，导航、维基和档案库更是比较系统值得深挖的。
Reference
学术百科及其它百科内容
分享的部分导航网
#RSS
Aesthetics Wiki
前面我们分享了期「学术维基」相关内容，最近看到个「美学维基」很不错（src @gledos_microblogging），介绍各种泛文化艺术图式、风格和视觉等内容，比如各种复古/氛围/视觉系的亚文化，Y2K/蒸汽波/梦核/怪核风。All Pages 可以查找所有词表。
这是 Fandom 的二级域名，Fandom 是粉丝向的更大文化维基，有游戏攻略、电影、动漫和视频等维基百科内容。顺便就找了相关有趣的维基百科网站：
Philosophy Wiki
哲学维基，哲学相关的人物、理论、书籍和各种。
Psychology Wiki
心理学维基，关于社科维基各种。
Art wiki
艺术作品相关维基。
Stanford Encyclopedia of Philosophy
斯坦福哲学百科。
Internet Encyclopedia of Philosophy
互联网哲学百科，比斯坦福更简洁。
Welcome to Wikibooks
书籍以及文学相关维基。
RationalWiki
分析和批评的各种维基。
INTERNET ARCHIVE
互联网档案库就更多辽。
---
关于内容深耕除了我主推的那些主流媒体，导航、维基和档案库更是比较系统值得深挖的。
Reference
学术百科及其它百科内容
分享的部分导航网
#RSS
Fandom
Aesthetics Wiki | Fandom
有趣的维基百科网站丨理论和文化
Aesthetics Wiki
前面我们分享了期「学术维基」相关内容，最近看到个「美学维基」很不错（src @gledos_microblogging），介绍各种泛文化艺术图式、风格和视觉等内容，比如各种复古/氛围/视觉系的亚文化，Y2K/蒸汽波/梦核/怪核风。All Pages 可以查找所有词表。
这是 Fandom 的二级域名，Fandom 是粉丝向的更大文化维基，有游戏攻略、电影、动漫和视频等维基百科内容。顺便就找了相关有趣的维基百科网站：
Philosophy Wiki
哲学维基，哲学相关的人物、理论、书籍和各种。
Psychology Wiki
心理学维基，关于社科维基各种。
Art wiki
艺术作品相关维基。
Stanford Encyclopedia of Philosophy
斯坦福哲学百科。
Internet Encyclopedia of Philosophy
互联网哲学百科，比斯坦福更简洁。
Welcome to Wikibooks
书籍以及文学相关维基。
RationalWiki
分析和批评的各种维基。
INTERNET ARCHIVE
互联网档案库就更多辽。
---
关于内容深耕除了我主推的那些主流媒体，导航、维基和档案库更是比较系统值得深挖的。
Reference
学术百科及其它百科内容
分享的部分导航网
#RSS
Aesthetics Wiki
前面我们分享了期「学术维基」相关内容，最近看到个「美学维基」很不错（src @gledos_microblogging），介绍各种泛文化艺术图式、风格和视觉等内容，比如各种复古/氛围/视觉系的亚文化，Y2K/蒸汽波/梦核/怪核风。All Pages 可以查找所有词表。
这是 Fandom 的二级域名，Fandom 是粉丝向的更大文化维基，有游戏攻略、电影、动漫和视频等维基百科内容。顺便就找了相关有趣的维基百科网站：
Philosophy Wiki
哲学维基，哲学相关的人物、理论、书籍和各种。
Psychology Wiki
心理学维基，关于社科维基各种。
Art wiki
艺术作品相关维基。
Stanford Encyclopedia of Philosophy
斯坦福哲学百科。
Internet Encyclopedia of Philosophy
互联网哲学百科，比斯坦福更简洁。
Welcome to Wikibooks
书籍以及文学相关维基。
RationalWiki
分析和批评的各种维基。
INTERNET ARCHIVE
互联网档案库就更多辽。
---
关于内容深耕除了我主推的那些主流媒体，导航、维基和档案库更是比较系统值得深挖的。
Reference
学术百科及其它百科内容
分享的部分导航网
#RSS
Fandom
Aesthetics Wiki | Fandom
▎🍎 快捷指令
抖音视频全类型无水印下载
https://www.icloud.com/shortcuts/a784512951ae4989ad801ac0bb3d6579
Instagram图片视频下载
https://www.icloud.com/shortcuts/407cd4a4683b4b29a668db42c6a1f14d
抖音视频全类型无水印下载
https://www.icloud.com/shortcuts/a784512951ae4989ad801ac0bb3d6579
Instagram图片视频下载
https://www.icloud.com/shortcuts/407cd4a4683b4b29a668db42c6a1f14d