linux.do
21.1K subscribers
118K photos
195 videos
116 files
251K links
linux.do最新话题和热议话题
Download Telegram
简单易懂的LLM相关知识梳理-ep.2-1 如何选择模型-API篇

目录帖:

简单易懂的LLM相关知识梳理 文档共建
迫于项目被砍,失业赋闲在家,恰好也快过年了不想动了,想了下写点文章回馈下社区吧。 PS:如有年后Base重庆的AI/全栈/FAE岗可PM我 本文从实用角度出发,梦到哪写哪。部分八股文知识就不搬了,这里主要分享一下本人在使用各种云服务及本地部署过程中学到的知识。 这里优先介绍LLM/VLM,暂不涉及音频/视频/Omni相关模型(也可能梦到了以后补一下) 注:文章为本人手写,部分模型介绍搬运自…

在一个普通的清晨,你在工位上吃着早餐,突然你的领导叫你去会议室,等你再出来时已经是彻底无语。

“公司决定了!我们要用AI赋能XX业务,blabla。。。但预算只有XXX”

那么,如何选用大模型API呢?这是一门学问。

我们先整理一下思路,从几个维度分析这个问题:

模型能力:它的能力是否足以支撑我们的业务需求?会不会因为能力太弱而经常返回我不想要的结果?
推理速度:在保证能力的前提下尽可能快?还是在保证尽可能快的情况下择优使用?平台的推理速度如何?换提供商会不会好些?
服务稳定性:对单一来源的服务稳定性有极高要求吗?或者说可以fallback到其他模型/平台?
价格:我们的预算是否足够充足?
合规性:业务是国内还是海外?对数据落地存储的合规性是否有要求?报销怎么办?

当想清楚如上几点后,就可以按图索骥了。

模拟场景案例分析

场景1:一款面向展厅场景的AI语音对话应用

拆解需求:

高实时性:需要用相对小的模型(提高推理速度,不需要太好的性能),且服务位于国内以进一步降低时延。
高可用性:展厅里的设备掉链子了非常尴尬,所以服务应该尽量稳定,避开高负载平台(热门且算力储备不足的)
价格:toB / toG对价格不见得极度敏感,而且因为选用小模型,所以可以预见的是不需要因为进一步压缩成本而影响到前两条需求的结论。
合规性:这种场景的服务一定需要开票,所以要选用国内正规平台。

场景2:一款个人情感陪伴助手

拆解需求:

能力先行:模型能力要足够强才能打出竞争力,你也不想猫系女友几下就被提示词钓成柔情猫娘吧?
价格:只要东西做好了,总会有人愿意为此付费。
服务稳定性:稳定性和强模型能力带来的沉浸感是必须要保证的,roleplay的时候报个错太出戏了,你很可能因为几次错误而痛失一个付费用户。
推理速度:这个不再是重点了,最终能成功返回就行。你年少时的那个女神/男神不也经常不回你?
合规性:这就要看个人/小团队还是正经公司的项目了。只要最终掏钱的那个人能答应的话,用国外平台去接Gemini可能是比较好的选择。但如果必须报销…

场景3:个人创业/随手糊的项目

拆解需求:

价格:便宜,便宜,还是tm要便宜!这里的想象空间就很广阔了。反正自负盈亏,哪家便宜用哪家。什么白嫖逆向中转站全安排上,fallback多写几组。
模型能力:个人项目缺乏实际商业项目的千锤百炼,测试之类的都很少,所以模型能力通常要打点宽裕的量出来,不然代码没搞好被人疯狂钓提示词 / 模型能力不足导致频繁输出预期之外的结果就不好了。更强的模型带来的溢价可以通过上一条的邪修手段去抹平。
实时性&可用性:项目起步阶段有一些问题是可以忍受的,一切向钱看齐。服务炸了、输出崩了、速度太慢了给用户磕个得了,我哪来那么多钱接Cerebras啊?
合规性:自己搞的东西不犯法啥都好说,什么数据落地合规性那基本上都是企业才要考虑的事。

从上面几个例子中很容易总结出一套方法论。

方法论总结

没有银弹,不要迷信SOTA

在实际落地的工程场景中,模型也同样存在不可能三角。速度高、质量好、成本低几乎不可能同时存在。也许Gemini 3 Flash做到了,但对于中国的业务来讲,我们要再加上一个合规性的维度。

场景1是一个相对垂直的场景。既然追求了极致响应速度,那模型的参数量就不能太大。它不会有太多复杂的需求,即使模型能力不足也可以通过工程上的手段去设法解决。

而场景2追求的就从极致响应变成了极致智能,这最终意味着较高的Token价格和相对较慢的推理速度。

到了场景3就只需要关注极致成本,先把项目最难熬的起步阶段度过再说,别的不重要。

业务决定技术选型

技术再强也得为业务服务,最终的选择必须紧贴业务的生命周期和应用性质。

对于toB / toG业务来说,稳定压倒一切。只要够稳定够合规,效果差点就差点,关键的是不胡说八道,业务不崩,能开发票。合同都签了你还要怎么样?

toC业务就不一样了,用户只会为了体验而付费,没有那么多愿意从起步陪你走到最后的神仙用户。如果模型能力不够,那就很难有核心竞争力,不能只盯着那点Token费用而忽视了最终的用户体验。

到了实验性业务上,活下去是核心诉求,别的都可以通过工程上的手段去想办法弥补,初创阶段最不值钱的就是人力。

够用就是最好

对于展厅项目来说,听得懂指令并且能做出回应就是够用。对于个人项目来说,能跑就行。

划一条红线,这是业务及格线。在这条线之上选择最适合你的方案就够了,不要盲目追求最强的API,这毫无意义,不要掉入过度优化的陷阱。假如做一个网页小游戏,模型只需要输出True和False,选个Thinking大模有意义吗?用户早就等急了。

总结

选API的过程本质上是把业务需求转换为技术指标,再在预算范围内寻找最优解的过程。

在做方案以前,先问自己三个问题:

我的用户是谁?(合规性与稳定性)
他们最在乎什么?(选强智能模型还是快速模型)
我的预算是?(决定架构容错率和备选方案)

常用API提供商表格(个人经验)

国内提供商

国外提供商

注:由于OpenRouter和Huggingface聚合了大部分API提供商,故不再单列(如NovitaAI、Fireworks等)

注2:适合不需要开发票的场景

4 posts - 4 participants

Read full topic

via LINUX DO - 最新话题 (author: flymyd)
Windows wsl2 中使用 vscode claude code 的问题

扩展首次响应非常慢, 看日志似乎是配置文件锁的问题, 花了足足3分多种才爆出这个问题

但是我在 ~/.claude/ide 中看到 lock 文件是启动扩展他自己创建的, 退出扩展后, lock 文件也正常被删除了

有没有佬遇到过这个问题, 救一下孩子 😭😭😭

1 post - 1 participant

Read full topic

via LINUX DO - 最新话题 (author: lvbibir)

Invalid media:
image
image
倒反天罡:chatgpt 在 mac app 降智,网页端不降智。。

第一次发帖,测试了 2 个 ip,网页端的 jucie 值是 256,我是 plus 用户。
但是在 mac app 端只有 64,甚至计算不出来,不知道怎么回事。。有佬友知道吗?而且 app 端无法选择标准思考和进阶思考,点了没反应。

6 posts - 4 participants

Read full topic

via LINUX DO - 最新话题 (author: elijahjin)

Invalid media:
image
image
mac端safari浏览器打开页面超慢

使用mac几年了 一致没找到问题的原因

同样的网页,同样的梯子
个人使用chrome用来开发 逛站刷贴一般用safari比较习惯

通过chrome浏览器基本秒开,但是使用safari就很明显延迟7-8s后才能打开 到底是什么原因呀 有没有佬遇到并帮忙解答一下 :distorted_face:
之前了解过可能是因为chrome回提前加载网页 但是也差的太多了。。。

3 posts - 2 participants

Read full topic

via LINUX DO - 最新话题 (author: liang)

Invalid media: image
有遇到一样的问题么:黑与白公益站中的模型无法调用mcp工具

如题:在cherry studio中,claude、gemini等模型无法调用mcp工具。minimax可以

3 posts - 3 participants

Read full topic

via LINUX DO - 最新话题 (author: Play With My Self)

Invalid media: image
发10个ptfans 有需要的佬留邮箱

5 posts - 5 participants

Read full topic

via LINUX DO - 最新话题 (author: mrhe_aquarius)
🚀 开源推荐:Kelivo — 支持多模型的跨平台 LLM 客户端

🤖 Kelivo

━━━━━━━━━━━━━━━━━━━━

基于 Flutter 的 LLM 聊天客户端,支持多平台与多家模型/供应商

━━━━━━━━━━━━━━━━━━━━

🔗 官方 GitHub 地址
github.com

GitHub - Chevey339/kelivo: A Flutter LLM Chat Client. Support Mobile &...

A Flutter LLM Chat Client. Support Mobile & Desktop.
💡 声明:本人非项目开发者,仅作推荐分享
━━━━━━━━━━━━━━━━━━━━

✨️ 核心特性

① 界面与体验

🎨 Material You 风格
🌈 动态主题色(Android 12+)
🌙 深色模式
🌐 多语言(中 / 英)
📝 Markdown 完整渲染:代码高亮、LaTeX、表格等
🔤 自定义字体(系统字体 / Google Fonts)

② 模型与供应商

🏢 支持多供应商:OpenAI、Google Gemini、Anthropic 等
🤖 支持创建 / 管理自定义助手
⚡️ 提示词变量:支持模型名称、时间等动态变量

③ 输入与多模态

📎 支持图片、文本文档、PDF、Word 等多种输入格式

④ 工具与扩展

🔌 支持 MCP(Model Context Protocol),内置 fetch MCP 工具
🔍️ 网络搜索集成:Exa、Tavily、Brave、Bing、SearXNG、Jina、Perplexity、Bocha 等

⑤ 语音功能

🔊 内置系统 TTS
🎙️ 支持 OpenAI / Gemini / ElevenLabs 语音服务

⑥ 数据与配置

📲 二维码分享:导出 / 导入供应商配置
💾 聊天记录备份与恢复
⚙️ 自定义 HTTP 请求头与请求体

⑦ Android 特性

🔄 支持后台持续生成对话(可在设置中开启)

━━━━━━━━━━━━━━━━━━━━

📱 平台支持

▸ Android
▸ iOS
▸ Windows / macOS / Linux

━━━━━━━━━━━━━━━━━━━━

9 posts - 8 participants

Read full topic

via LINUX DO - 最新话题 (author: itwangyou)

Invalid media: image
2026缅A开门发红包了

今天涨得养基宝又炸了,佬友们跑了吗

4 posts - 4 participants

Read full topic

via LINUX DO - 最新话题 (author: hersmile)
【开源】新版本:Business_Idea_Validator 小红书收集和分析数据来解析市场需求用户痛点及竞争格局

深度! 评论分析!用户画像!找商机!
都在说这些,但是感觉都没有人开源,那么我开源一个:

为什么找市场机会小红书?

商机在具体的问题里

小红书这里汇聚着包罗万象的生活问题和经验分享,“遇事不决小红书”成为年轻人常用的决策路径,他们相信能在这里找到答案。

对商家而言,要想深入了解今年的消费者在苦恼些什么、真正需要些什么,小红书是必经之路。

消费者不是没有需求,而是需求太具体。

背景知识

几个月前,我在linuxdo开源了一个调研小生意的工具:
github.com

GitHub - liangdabiao/Business_Idea_Validator: 这是一种 AI 驱动的工具,可通过自动 Web...

这是一种 AI 驱动的工具,可通过自动 Web 抓取和智能分析来验证业务概念。该系统通过分析在线讨论和生成评分验证报告来评估市场需求、竞争水平和可行性。 这是一款专业的商业调研应用程序,为用户提供友好的界面来:1.验证商业创意 , 2.分析用户评论。 该应用通过分析网络讨论,识别与您商业创意相关的痛点、兴奋信号和竞争对手。 分析用户评论,得出多维度商业数据分析。

得到一些反响,旧的版本适合入门学习,因为过去的技术就是那样基础。而现在又新技术了,那么我升级一个大的版本,强大和有用很多。这是一个专为商业创意验证设计的高级多智能体系统。该系统利用人工智能(AI)和网络爬虫技术,通过从社交媒体平台(尤其是小红书)收集和分析数据,来解析市场需求、用户痛点及竞争格局。

新的版本

在整理上传中,很快完成…
github地址:

核心功能

🔑 智能关键词生成: 根据业务创意自动生成搜索关键词
📊 小红书数据抓取: 自动抓取相关笔记和评论数据
🤖 AI 内容分析: 使用 LLM 分析用户痛点和市场需求
📄 自动化报告生成: 生成专业的市场验证报告

案例展示

** 1 业务创意:** 在重庆卖陈皮

词频分析:

用户画像:

快速开始
# 安装依赖
cd agent_system
pip install -r requirements.txt

# 配置 API 密钥 (编辑 agent_system/.env 文件)
# OPENAI_API_KEY=your_key
# TIKHUB_TOKEN=your_token

# 运行验证
python run_agent.py 在深圳卖陈皮


总结

开源地址: 整理上传中…
github地址:

6 posts - 6 participants

Read full topic

via LINUX DO - 最新话题 (author: liangdabiao)

Invalid media:
image
image
image
image
image
image
今日部署成宝塔+雷池有需要帮助的可以留言

2 posts - 2 participants

Read full topic

via LINUX DO - 最新话题 (author: Simshen)

Invalid media: image
【帝都】工行“跨月礼”

2025年12月29日14:30至2026年1月11日,北京地区实名注册用户,登录最新版手机银行搜索进入“任务中心”功能,选择“享活动-【北京】跨月礼”活动即有机会抽取最高1.88元微信立减金(满10元可用)。每完成一项活动,即有机会获得一次抽奖机会,每人最多3次抽奖机会,先到先得,抽完即止。
1 post - 1 participant

Read full topic

via LINUX DO - 最新话题 (author: gaoyi)

Invalid media: image
中国移动APP网龄领流量,亲测10G月包,每月可领一次。

中国移动APP-首页-网龄(最上面菜单栏),中间就有 新春流量翻翻乐,每月可抽一次,

领取后7天内兑换掉,这次是月包,不是鸡肋的日包。(之前活动都是送的日包,估计这几年用户流失比较严重,搞了这个网龄计划)

我的移动号办了十几年了,银行卡还有微信绑定的都是这个,也不方便注销,

现在是8元保号套餐,不打电话不用流量,这次领取的是10G月包。

我亲测领取的是10G月包。

领取方法详见下图。

17 posts - 13 participants

Read full topic

via LINUX DO - 最新话题 (author: Wet Dream Boy)

Invalid media: image
这是官宣可以AI搞店铺的意思么 生成的东西会不会AI重构与真实性不符呢 好奇

https://www.bloomberg.com/news/articles/2026-01-04/alibaba-brings-visual-ai-into-food-fight-with-china-s-meituan
3 posts - 3 participants

Read full topic

via LINUX DO - 最新话题 (author: 𝓵𝓮𝔃𝓲𝓼𝓱𝓮𝓷)

Invalid media: image
【富可敌国】Beta阶段稳定运行,回馈佬友!X-AIO 旗下品牌CodePlan开启每日抽奖!

在CodePlan上线以来的半个月,是整个团队连轴转的半个月。

我们完善了非常多的功能,包括:Claude原生支持,优化Claude转义层,优化部分模型的工具调用兼容,完善状态展示(历史状态展示仍然需要需要和运维部门打通),完善文档等…

上线了MiniMax-M2.1,GLM-4.7等优秀开源模型,完善了Claude的货源。

现在终于让整个产品和业务趋于95%的稳定,正在往99.9%的SLA进发!

祝贺CodePlan Beta期间运营稳定,每天抽个10个CodePlan月度入门版!连抽十天! :tieba_025:

CodePlan 应用地址:https://code.x-aio.com

本次为,第2天活动。截止至HKT 2026.1.6 15:00参与评论有效 :tieba_013:

使用L站官方抽奖工具进行开奖,中奖后请联系我领取。

现在开始! :tieba_003:

40 posts - 39 participants

Read full topic

via LINUX DO - 最新话题 (author: X-AIO)

Invalid media: image
X上看到的雨姐带派提示词

🤣
7 posts - 7 participants

Read full topic

via LINUX DO - 最新话题 (author: 柒)

Invalid media: image
我觉得我这个infuse好划算啊。

订阅好像有两三年了,99.99土耳其里拉(16块钱RMB),去年涨价到199里拉了吧?但是之前订阅的不涨价。感觉真香啊。。。

中间试过很多播放器,aptv上面还是infuse最好用

3 posts - 2 participants

Read full topic

via LINUX DO - 最新话题 (author: 该账号已封禁)

Invalid media: image
路过的佬友,可以发个憨憨嘛?俺喜欢追美剧,保证不玩死!

素闻憨憨 WEB 绝对特色,连载追更快。Netflix 4K 资源长期能发布,对于我这种画质强迫症来说简直是刚需。家里 NAS 空间已备好,大带宽全天候做种,希望能求得一枚邀请码,进去一定好好养号,绝不辜负大佬心意!

预注册ID及邮箱 guangpengwgp gpwang1202@gmail.com (mailto:gpwang1202@gmail.com)

附PTPP图:

PS:自25.10.18号得到第一个馒头,基于40T群晖923+NAS搭建了以emby qb mp为核心的家庭观影体系,为了更一步成为合格的Peter,学习了以iyuu qb tr vertex为核心的保种转种辅种体系,在此基础上承蒙圈内佬友儿厚爱,先后得到了众多“不可说”,其中最高接受了官种6T为期一年的契约,简言之,我认为我目前已掌握玩pt的基础本领,现秉持自己的兴趣—喜欢看美剧,诚求一枚憨憨!

1 post - 1 participant

Read full topic

via LINUX DO - 最新话题 (author: 锤子)

Invalid media: image
我为啥claude -resume 这个口令的反应这样了?正常吗?

之前我用,我记得是给我一个列表,让我选择继续哪个。现在咋没东西呢?我在用着几个窗口呢。

5 posts - 3 participants

Read full topic

via LINUX DO - 最新话题 (author: BirdBBB)

Invalid media:
image
image
真有外星人吗?猎户座腰带上的“参宿三星”

🚀 来看看壮丽的宇宙吧!

看完佬友的帖子,突然想起我和每个朋友喝酒都会提起的事。

时间:08-10年之间
事件:我小叔结婚,晚上闹洞房之后,大家准备回去了,在房前的空地。我抬头看到星空等大人们出来的时候。发现,在三个连成一条线的星星(这三颗星星很好找,大部分都是一条线)中,飞出来一个亮光,绕着第一个星星飞了几圈切换到中间的一个星星,绕中间的星星飞了几圈后,飞到最右边的星星里去了。(肉眼可见的)
见证者,有我哥,还有其他在场的大人。我招呼它们看。
但是不理解为什么要绕着飞,直到初中物理,给小小的老子一点震撼了。
同时我很加坚信,外星造物是存在的,不然没法解释速度那么快,不像自然天体,全程大概在2-3分钟。

ai说那三颗星星是:猎户座腰带上的“参宿三星”

当然也可能是正常情况,不知道有没有搞天文的佬友解释一下现象。

或者有“望远镜”的佬友以后多观察观察,这三颗星星。

7 posts - 6 participants

Read full topic

via LINUX DO - 最新话题 (author: 三五海里)

Invalid media: image
有没有适合聊天的API

编程应用逆向出的的Claude和gpt的API都更倾向于CC使用,用文本就能解决的问题经常输出ASCII图,站里有没有商家提供适合聊天对话的Claude和gpt的API

4 posts - 4 participants

Read full topic

via LINUX DO - 最新话题 (author: lzhyyds)
LINUX DO MAIL客户端登录问题

去年用网易邮箱大师能正常登录,今年换了台电脑一直登不上,outlook和手机版的网易邮箱大师是可以登的,有大佬知道是怎么回事吗?或者是推荐下其他邮箱客户端

6 posts - 6 participants

Read full topic

via LINUX DO - 最新话题 (author: IStone)

Invalid media: image