标题: 大模型中的 token 到底是什么?一篇文章告诉你
作者: #ITSource 每日分享
板块: #开发调优
编号:
帖子: https://linux.do/t/topic/1382480
时间: 2025-12-31 16:05:30
摘要:
作者: #ITSource 每日分享
板块: #开发调优
编号:
1382480帖子: https://linux.do/t/topic/1382480
时间: 2025-12-31 16:05:30
摘要:
Tokens (词元)
Tokens在 AI 模型处理文本时至关重要,它作为桥梁,将我们理解的单词转换为 AI 模型可处理的格式。这种转换分为两个阶段:把输入转换为 tokens,AI 根据 输入 tokens 生成输出 tokens,然后这些 tokens 在输出中再转换回自然语言输出信息。
上面过程涉及到一个关键流程:Tokenization
Tokenization: 即将文本分解为 Tokens 的过程,是人工智能模型理解和处理语言的基础。AI 模型采用这种 Tokenization 格式来理解并响应提示。
为了更好地理解 token ,可以将其视为单词的一部分。通常,一个token代表一个单词的四分之三左右。例如,莎士比亚的全部作品,总字数约为90万,将翻译成大约120万个词元。
试试 OpenAI Tokenizer 界面 ,看看单词是如何转换成代币的。
token 在人工智能处理中的技术角色之外,还有实际意义,尤其是在计费和模型能力方面:
计费:AI 模型服务通常根据 token 使用量计费。输入(提示)和输出(响应)都计算到 token 总数中,使用更短的提示更具成本效益。
模型限制:不同的 AI 模型有不同的 token 数限制,定义了其“上下文窗口”——即它们一次能处理的信息量。例如,GPT-3 的token 数上限为 4K,而
Claude 2 和 Meta Llama 2 等模型则限制为 10 万个 token,一些研究模型最多可处理 100 万token。
上下文窗口:模型的token 总数限制决定其上下文窗口。超过该限制的输入不被模型处理。只发送最有效的信息进行处理至关重要。
标题: gemini cc codex 最佳搭配?
作者: #wapmxls
板块: #开发调优
编号:
帖子: https://linux.do/t/topic/1382483
时间: 2025-12-31 16:06:09
摘要:
作者: #wapmxls
板块: #开发调优
编号:
1382483帖子: https://linux.do/t/topic/1382483
时间: 2025-12-31 16:06:09
摘要:
gemini 写前端,确实强
cc 开发新功能,确实快
codex 改 bug,确实想的有深度
佬们是这样用的吗?
标题: 怎么购买便宜的 京东Plus 年卡?
作者: #Yuuna
板块: #搞七捻三
编号:
帖子: https://linux.do/t/topic/1382485
时间: 2025-12-31 16:07:03
摘要:
作者: #Yuuna
板块: #搞七捻三
编号:
1382485帖子: https://linux.do/t/topic/1382485
时间: 2025-12-31 16:07:03
摘要:
rt,求各位佬友仙人指路!
标题: 有的时候会出现话题很久以前,无法回应,有什么脚本可以解决?
作者: #Yuuna
板块: #运营反馈
编号:
帖子: https://linux.do/t/topic/1382497
时间: 2025-12-31 16:09:35
摘要:
作者: #Yuuna
板块: #运营反馈
编号:
1382497帖子: https://linux.do/t/topic/1382497
时间: 2025-12-31 16:09:35
摘要:
我记得以前说过是去CDK站过一下CF验证就行,但是有没有什么更简化的方案(?
标题: [开源分享] 这款 Python 开源工具,让你的微信私域引流永不掉线
作者: #fishkq
板块: #开发调优
编号:
帖子: https://linux.do/t/topic/1382501
时间: 2025-12-31 16:10:45
摘要:
作者: #fishkq
板块: #开发调优
编号:
1382501帖子: https://linux.do/t/topic/1382501
时间: 2025-12-31 16:10:45
摘要:
彻底告别群码过期!这款 Python 开源工具,让你的微信私域引流永不掉线
在私域运营中,你是否也遇到过这些令人抓狂的“翻车”现场?
链接“短命”:精心设计的推广海报,发出去不到一周,用户扫码全是“二维码已过期”。
群满换码难:群人数满了 200 人,必须全网更换海报素材,漏掉一个地方就是流失一波粉丝。
缓存“死图”:明明在后台换了新码,用户手机看到的居然还是旧图。
今天,我要向大家安利一个轻量级、零成本、即插即用的开源解决方案——wxHm(微信多群组活码管理系统)。
什么是“活码”?
核心逻辑很简单:推广链接永远不变,后台二维码随时切换。 你只需要在海报上印一个固定的入口,后台可以根据运营需求,随时将其指向最新的群二维码。
项目核心亮点
1. 多群组并行管理(多路径支持)
不再局限于单一入口。你可以同时创建并管理“技术交流群”、“粉丝福利群”、“上海/北京分群”等。
访问格式:你的域名/group/群组名
每个群组拥有独立的活码页面,互不干扰。
2. 自动化生命周期管理
智能轮转:系统自动扫描群组文件夹,始终展示最新上传的一张。
自动清理:严格遵守微信 7 天规则,自动识别并物理删除过期文件,拒绝冗余。
3. 针对微信环境的极致优化
防缓存机制:通过毫秒级动态时间戳参数,强制穿透微信浏览器的强缓存,确保用户必看最新码。
视觉增强:前端页面内置动态绿光扫描动画。不仅高级感十足,更能有效引导用户长按识别。
4. 极致的操作体验
3天免密登录:基于浏览器缓存技术,输入一次管理密码,3 天内更新、更名、删除操作均无需重复输入。
移动端友好:后台界面简约清爽,支持手机随时随地上传新码。
技术架构
项目基于 Python + Flask,主打“轻量”与“去中心化”:
无数据库设计:完全基于文件系统持久化,备份和迁移只需拷贝文件夹。
生产级部署:支持 Gunicorn 并发处理,即便突发流量也能稳如泰山。
3分钟快速上手
1. 环境准备
# 克隆项目
git clone https://github.com/cooke
标题: Danke für alles, hallo Neues!
作者: #advent
板块: #搞七捻三
编号:
帖子: https://linux.do/t/topic/1382503
时间: 2025-12-31 16:11:13
摘要:
作者: #advent
板块: #搞七捻三
编号:
1382503帖子: https://linux.do/t/topic/1382503
时间: 2025-12-31 16:11:13
摘要:
Frohes neues Jahr
标题: Google One 学生优惠验证成功,分享一下从论坛整理的认证教程
作者: #伊藤沉
板块: #搞七捻三
编号:
帖子: https://linux.do/t/topic/1382506
时间: 2025-12-31 16:11:45
摘要:
作者: #伊藤沉
板块: #搞七捻三
编号:
1382506帖子: https://linux.do/t/topic/1382506
时间: 2025-12-31 16:11:45
摘要:
看到论坛里某个佬说反重力的 claude 模型额度每个星期的用量翻倍,正好元旦前最后一天上班摸鱼,闲着无聊整理下我从注册到成功到验证资格参考的帖子。
注册账号:我没有使用指纹浏览器,用了苹果自带的 safari 浏览器,网络环境用了美国家宽的代理(因为公司有海外业可以白嫖),建议在注册前先去看看代理IP 的纯净度,如果风险过高(超过 30%)建议换一个 节点,环境正常 Ip 干净的情况下注册一般输不会遇到问题的,如果出现需要需要扫码才能出现下一步或者其他情况,可以参考论坛里的这篇帖子,虽然麻烦但是确实有用。
【𝓼𝓾𝓭𝓪】究极 𝐆𝐨𝐨𝐠𝐥𝐞 账号注册指南流程通,𝟏𝟎𝟎% 有效验证,帮助新人完成 “最难注册” 的账号 #如何注册谷歌账号 [务必先阅读文档守则!] [有问题先看附录部分!]
按照教程不出意外账号应该注册完成了,这时候完成了第一步。
验证学生资格:可以参考
拒绝 “IP likely banned”!Gemini 学生认证避坑指南,亲测 JP 节点秒过
绑卡:上面一切顺利的话,应该到绑卡阶段了,这一步完成就大功告成了。绑定需要使用外币卡,如果没有可以去淘宝或者闲鱼看看。我在这一步遇到了一点问题,需要注意一下!绑卡的时候选择地址一定要和账户注册的时候的国家一样!不然会出现无法完成订阅的情况,并且可能会导致优惠资格消失!!!(有补救方法)
如果你和我一样出现优惠资格消失,可以尝试在删除之前绑定的支付信息,然后然后使用下面的两个入口重新绑卡尝试一下。
登录 - Google 账号 入口 1
登录 - Google 账号 入口 2
文笔不好写的比较乱,欢迎佬友们补充细节。所有步骤不出意外的情况下 10 分钟之内完成绰绰有余。放一张下车成功的截图祝大家都能顺利下车。
标题: 天钡 CRC —— 硬盘爆破手
作者: #我不是立早脏
板块: #搞七捻三
编号:
帖子: https://linux.do/t/topic/1382511
时间: 2025-12-31 16:12:45
摘要:
作者: #我不是立早脏
板块: #搞七捻三
编号:
1382511帖子: https://linux.do/t/topic/1382511
时间: 2025-12-31 16:12:45
摘要:
建议:正在使用的,请勿将硬盘插在第二盘位(自上而下)!!!
机器买了一年多,连接hdmi 后发现以下日志,心急,则翻阅论坛,即炸裂[裂开]。(早知道我就不插上看了)
千万别买!天钡WRT PRO NAS主机:一场从头烂到脚的硬件灾难!(附血泪证据图)
天钡WTR Pro 5825U测试,给同样想剁手的朋友提个醒
天钡 WTR PRO 5825u BIOS 更新提醒!
错误日志图
日志分析
failed command: read fpdma queued
cmd 60/20:c0:a0/40 tag 24 ncq dma 16384 in
res 40/00:01/00
emask 0x10 (ATA bus error)
I/O error, dev sdb, sector 272186576 op 0x0:(READ) flags 0x84700 phys_seg 20 prio class 2
I/O error, dev sdb, sector 7014033280 op 0x0:(READ) flags 0x84700 phys_seg 1 prio class 0
问题磁盘: /dev/sdb
发生了真实的扇区级读失败(不是假警告)
定位硬盘
使用 lsblk -o NAME,SIZE,MODEL,SERIAL 查看具体硬盘
lsblk -o NAME,SIZE,MODEL,SERIAL [11:48:07]
NAME SIZE MODEL SERIAL
sda
标题: 太开心了!第一次在社区中奖
作者: #jiaozang
板块: #搞七捻三
编号:
帖子: https://linux.do/t/topic/1382512
时间: 2025-12-31 16:13:06
摘要:
作者: #jiaozang
板块: #搞七捻三
编号:
1382512帖子: https://linux.do/t/topic/1382512
时间: 2025-12-31 16:13:06
摘要:
一杯奶茶,美团奶茶卷,自取
福利羊毛
[Screenshot_2025-12-31-15-12-16-888_com.sankuai.meituan]
开奖时间:25年12月31日 16点
奖品:奶茶卷
参与方式:
在本帖下回复任意内容
抽奖规则:
每位用户仅允许参与一次。
使用论坛官方抽奖工具随机抽取中奖者。
中奖后我会私信你
今年最后一天运气爆棚,第一次在社区中奖!今年最后一天居然中奖了
谢谢L佬的奶茶
标题: 【抽奖】万马踏青迎新春,抽③个Droid 10M 邮箱迎接2026 !
作者: #王源
板块: #福利羊毛
编号:
帖子: https://linux.do/t/topic/1382514
时间: 2025-12-31 16:13:40
摘要:
作者: #王源
板块: #福利羊毛
编号:
1382514帖子: https://linux.do/t/topic/1382514
时间: 2025-12-31 16:13:40
摘要:
抽奖主题: [描述抽奖主题]
奖品详情:
[奖品1]:1个Drioid 10M
[奖品2]:1个Drioid 10M
[奖品3]:1个Drioid 10M
活动时间:
开始时间:[2025年12月31日16点20分]
截止时间:[2025年12月31日18点20分]
参与方式:
在本帖下回复任意内容
抽奖规则:
每位用户仅允许参与一次。
使用官方抽奖工具随机抽取中奖者。
注意事项:
本活动将在活动截止时间后关闭回帖,以确保公正性。
中奖者将在活动结束后12小时内在本帖公布,并通过私信通知领奖方式。
所有规则及抽奖结果由活动发起人和论坛管理团队最终解释。
期待您的积极参与,祝您好运!如有任何疑问,欢迎随时联系抽奖发起人。
声明:此类账号为试用账号,2026.1.8号到期,也因为即将到期所以就早抽早享受,请各位哥哥姐姐们酌情参加抽奖。
随着元旦假期一步步临近,转眼间已经在L站水了两个多月了 然而还是2级
但这个事属实没辙,本来就是刚毕业毛头小子,然后又有菜鸡属性,技术这一块只能站在各位佬友肩膀上了。
但你说到学东西,不开玩笑比在学校学的多,每天都高强度沉浸在佬友们的分享中,各种各样的,大佬公益、优秀资源和开源项目。
最主要的进去评论区里面去个个都是人才,说话又好听,噢哟超喜欢在里面!像在外面开厢一样,high到那种感觉,飞起来那种感觉 。
最后祝佬友们新年: Bug全清零,项目超顺利! 房租减半,薪资翻倍! 最重要的是,身体健康,想啥来啥,吃嘛嘛香,每天都抽华子。
标题: 目前正在使用的一套 vibe coding 流程
作者: #Kcin
板块: #开发调优
编号:
帖子: https://linux.do/t/topic/1382515
时间: 2025-12-31 16:14:00
摘要:
作者: #Kcin
板块: #开发调优
编号:
1382515帖子: https://linux.do/t/topic/1382515
时间: 2025-12-31 16:14:00
摘要:
一句话总结就是:Figma + Antigravity(AI IDE) + OpenSpec
这里主要讲前端开发。首先用 Figma 自己的 AI 将设计稿导出为前端项目,此时这个项目可以作为 demo 使用但是实际难以开发,接着在 IDE 里面,让大模型把这个项目转为标准的前端项目,这里我是让它直接给转成一个 next 项目。接着用 OpenSpec 生成项目的 spec,之后就用 OpenSpec 的 3 条 workflow 进行功能开发。
这套流程目前体验下来非常丝滑。
标题: 有关于网络安全入门的一些小疑问
作者: #Roki -X
板块: #搞七捻三
编号:
帖子: https://linux.do/t/topic/1382528
时间: 2025-12-31 16:17:22
摘要:
作者: #Roki -X
板块: #搞七捻三
编号:
1382528帖子: https://linux.do/t/topic/1382528
时间: 2025-12-31 16:17:22
摘要:
近期看各大中转站好像都被攻击了(
作为非安全专业的学生 平常可能没啥机会能接触
个人感觉安全还是非常重要 需要重视的话题
想问问各位佬友有没有能分享的lesson(这里专指教训或者经验),以及有没有入门的资料推荐
谢谢各位大佬
标题: 马斯克隔空再怼比尔・盖茨:他一直就是个骗子
作者: #𝓵𝓮𝔃𝓲𝓼𝓱𝓮𝓷
板块: #前沿快讯
编号:
帖子: https://linux.do/t/topic/1382531
时间: 2025-12-31 16:17:53
摘要:
作者: #𝓵𝓮𝔃𝓲𝓼𝓱𝓮𝓷
板块: #前沿快讯
编号:
1382531帖子: https://linux.do/t/topic/1382531
时间: 2025-12-31 16:17:53
摘要:
马斯克隔空再怼比尔・盖茨:他一直就是个骗子 - IT之家
标题: 环球跨年马上就要开始了 北京时间下午6点!
作者: #我就是那个ATM
板块: #搞七捻三
编号:
帖子: https://linux.do/t/topic/1382542
时间: 2025-12-31 16:19:58
摘要:
作者: #我就是那个ATM
板块: #搞七捻三
编号:
1382542帖子: https://linux.do/t/topic/1382542
时间: 2025-12-31 16:19:58
摘要:
2026年全球跨年倒计时 (以东八区时间为轴)
2025年12月31日 (除夕夜)
18:00 | 基里巴斯 (Kiribati)
全球首发! 位于太平洋的圣诞岛(Kiritimati),是世界上最早迎来2026年的有人居住地。
19:00 | 新西兰 (New Zealand)
奥克兰的天空塔将燃放第一波大型城市烟花。
20:00 | 俄罗斯 (堪察加半岛) & 斐济
世界上国土面积最大的国家,东部最先跨年。
21:00 | 澳大利亚 (悉尼/墨尔本)
悉尼歌剧院的跨年烟花秀全球瞩目。
22:00 | 澳大利亚 (昆士兰) & 巴布亚新几内亚
布里斯班等地进入新年。
23:00 | 日本 & 韩国
东京塔倒计时,首尔普信阁敲钟。
2026年1月1日 (新年第一天)
00:00 | 中国 (China) & 新加坡 & 菲律宾
新年快乐! 北京、上海、香港、台北与东南亚部分地区同时也步入2026。
01:00 | 泰国 & 越南 & 印尼(西部)
曼谷湄南河畔烟花绽放。
02:00 | 孟加拉国 & 不丹
南亚地区开始跨年。 (注:印度为02:30)
03:00 | 巴基斯坦 & 乌兹别克斯坦
中亚及西亚部分地区。
04:00 | 阿联酋 (迪拜) & 阿曼
世界最高楼哈利法塔上演震撼灯光秀。
05:00 | 俄罗斯 (莫斯科) & 沙特阿拉伯 & 土耳其
跨越欧亚大陆的时刻。
06:00 | 埃及 & 南非 & 希腊
金字塔前的跨年与欧洲东部的狂欢。
07:00 | 德国 & 法国 & 意大利 & 西班牙
欧洲主场时刻,柏林勃兰登堡门、巴黎凯旋门烟花齐放。
08:00 | 英国 & 葡萄牙
伦敦大本钟敲响新年的钟声(格林威治标准时间 00:00)。
09:00 | 佛得角
跨越大西洋的时间。
10:00 | 巴西 (部分岛屿)
南
标题: 佬们,零基础代码的我用antigravity做了开单小程序
作者: #峰不在于高
板块: #开发调优
编号:
帖子: https://linux.do/t/topic/1382547
时间: 2025-12-31 16:20:57
摘要:
作者: #峰不在于高
板块: #开发调优
编号:
1382547帖子: https://linux.do/t/topic/1382547
时间: 2025-12-31 16:20:57
摘要:
自己做点小生意,目看在用的软件就要续费了,就用 antigravity加提示词疯狂输出历时2周开发了一个开单打印小程序。
佬们帮忙看看怎么样
标题: 闲得无聊,追着claude问程序员段子,大伙看个乐子
作者: #范特西
板块: #搞七捻三
编号:
帖子: https://linux.do/t/topic/1382549
时间: 2025-12-31 16:21:53
摘要:
作者: #范特西
板块: #搞七捻三
编号:
1382549帖子: https://linux.do/t/topic/1382549
时间: 2025-12-31 16:21:53
摘要:
程序员地狱笑话合集.pdf (708.7 KB)
程序员终极地狱_代码即存在.pdf (648.3 KB)
标题: 如果现在程序员也最好早点装行的话,现在还有什么好的行业了吗?
作者: #sylearn
板块: #搞七捻三
编号:
帖子: https://linux.do/t/topic/1382551
时间: 2025-12-31 16:22:00
摘要:
作者: #sylearn
板块: #搞七捻三
编号:
1382551帖子: https://linux.do/t/topic/1382551
时间: 2025-12-31 16:22:00
摘要:
计算机+其他学科的结合?