在推特上看到某人反驳别人说 “中文比英文更省 token” 的观点,这里反驳一下认为英文更省 token 的论调:
首先明确前提:
1. 中文模型的英文能力,比英文模型的中文能力好(需要采用中文模型的 tokenizer )
2. 从中文翻译到英文,比英文翻译到中文更自然(需要使用中文母语书写,翻译成英文或用英文重写的文本源作为对找;如果是英译中,使用中文母语水平重写,也可以作为对比,但是更难找到合适的参照)
3. 机器/AI翻译的结果,不能直接拿来比较(应该不用解释了)
满足这三点的情况下,最自然的可以拿 deepseek 或者 antd 的文档(或vue? 不太确定是不是中文写的),使用 deepseek 的分词器,中文会持平或略低于英文。
关于第一条可以详细解释一下,同样使用 vue 的这篇文档,可以看到英文的分词优化差异不大的情况下 (3%),中文分词差了 16%,故应该采用中文模型的分词器。
而使用 tokenizer 的最佳表现,可以发现无论中英,表达相同的含义需要的 token 数目,是大体相同的。这大概与 token 本身就是表达自然语言含义有关。
相应的,可以推测,小语种的 token 数优化就很难得到充足的资源
更延伸开来,从语言层面比较,中文世界作为追赶方,也更擅长将中文翻译成英文(论文、交流需要),且天生就更常出现中文夹杂英文的情况。而反之则非常罕见,即使是英译中,也大部分是中文母语者在做。
不知道算不算一种语言层面的后发优势。
而抛开背景差异单纯比较语言,那中文信息熵高早已是不争的事实了。
首先明确前提:
1. 中文模型的英文能力,比英文模型的中文能力好(需要采用中文模型的 tokenizer )
2. 从中文翻译到英文,比英文翻译到中文更自然(需要使用中文母语书写,翻译成英文或用英文重写的文本源作为对找;如果是英译中,使用中文母语水平重写,也可以作为对比,但是更难找到合适的参照)
3. 机器/AI翻译的结果,不能直接拿来比较(应该不用解释了)
满足这三点的情况下,最自然的可以拿 deepseek 或者 antd 的文档(或vue? 不太确定是不是中文写的),使用 deepseek 的分词器,中文会持平或略低于英文。
关于第一条可以详细解释一下,同样使用 vue 的这篇文档,可以看到英文的分词优化差异不大的情况下 (3%),中文分词差了 16%,故应该采用中文模型的分词器。
而使用 tokenizer 的最佳表现,可以发现无论中英,表达相同的含义需要的 token 数目,是大体相同的。这大概与 token 本身就是表达自然语言含义有关。
更延伸开来,从语言层面比较,中文世界作为追赶方,也更擅长将中文翻译成英文(论文、交流需要),且天生就更常出现中文夹杂英文的情况。而反之则非常罕见,即使是英译中,也大部分是中文母语者在做。
而抛开背景差异单纯比较语言,那中文信息熵高早已是不争的事实了。
❤4🤔2😡2👍1
近期打算把吃灰大半年的 MacBook Air M1 丐版 (深空灰) 出掉。
自定义成色 9 成新以上,无拆无修,电池健康大概 90% 左右,具体忘了,等忙完这几天再看看。
3年经验前端群友亲测严选,vscode 装 120+ 插件高强度办公一年基本流畅(划掉
就是写了 80T 的 swap(
还试过外接4K显示器一线连,基本流畅不是问题,就是内存压力没绿过
转转回收只肯出1.9K,上门抢劫了属于是(
群友优先,太惨出不掉的话,过两周安定下来再挂闲鱼上(
自定义成色 9 成新以上,无拆无修,电池健康大概 90% 左右,具体忘了,等忙完这几天再看看。
还试过外接4K显示器一线连,基本流畅不是问题,就是内存压力没绿过
群友优先,太惨出不掉的话,过两周安定下来再挂闲鱼上(
Akasha Terminal: dev🍃
近期打算把吃灰大半年的 MacBook Air M1 丐版 (深空灰) 出掉。 自定义成色 9 成新以上,无拆无修,电池健康大概 90% 左右,具体忘了,等忙完这几天再看看。 3年经验前端群友亲测严选,vscode 装 120+ 插件高强度办公一年基本流畅(划掉 就是写了 80T 的 swap( 还试过外接4K显示器一线连,基本流畅不是问题,就是内存压力没绿过 转转回收只肯出1.9K,上门抢劫了属于是( 群友优先,太惨出不掉的话,过两周安定下来再挂闲鱼上(
转转上门抢劫,mbp 也没卖掉,添点钱全款买了新的(
在这里同出一个 M1 Pro 的 MBP,银色,16+1T,10 核 CPU+16 核 GPU,美版,Apple Intelligence 已经可用
成色自定义 9 成新:
A 面有个非常小的凹坑(剪刀不小心砸到了),ACD 面有一些正常使用的细小划痕,键盘祖传打油(售后可以免费换,过保也行),电池健康 98% 左右
转转报价 6k,闲鱼均价 7.5k,群友优惠按均价立减 -500
某人看我换了之后自己也想换,所以后面可能还会出个 MBP14(
#二手
在这里同出一个 M1 Pro 的 MBP,银色,16+1T,10 核 CPU+16 核 GPU,美版,Apple Intelligence 已经可用
成色自定义 9 成新:
A 面有个非常小的凹坑(剪刀不小心砸到了),ACD 面有一些正常使用的细小划痕,键盘祖传打油(售后可以免费换,过保也行),电池健康 98% 左右
转转报价 6k,闲鱼均价 7.5k,群友优惠按均价立减 -500
#二手
Akasha Terminal: dev🍃
Photo
说起来转转上面回收也是个苦力活,唉。
跟师傅交流得知,他们基本上全是计件工资 / 绩效。今天上门两个人,还是一个老师傅带一个实习生。
看上去他们二手验机碰到 mac 很少,一开始拿着 A 口 U 盘就往上怼,师傅说了才换成 C 口。然后 U 盘里只有 Win 的验机软件,又换了个 U 盘才找到 Mac 的。
之前把系统界面调成英文了,俩人一脸懵,改回去中文才开始。
验屏幕的时候,不知道是刚开始做没有经验,还是恶意揣测可能是话术,指着我 LCD 屏幕的边缘暗边说是屏幕坏斑(虽然我据理力争,算是完美屏了)
既然二手平台要赚钱,同时为了确保价格有竞争力的情况下,也不比闲鱼个人交易贵太多,那平台盈利就只能从个人卖家那里下手了。
想清楚之后,还是自己慢慢出吧,除非真的不差钱,不然亏太多了(
然后新机附带的“原装”充电器是个伊拉克成色的 Apple 旧款 96W… 行吧,看来平台对充电器是真的没有考核。
跟师傅交流得知,他们基本上全是计件工资 / 绩效。今天上门两个人,还是一个老师傅带一个实习生。
看上去他们二手验机碰到 mac 很少,一开始拿着 A 口 U 盘就往上怼,师傅说了才换成 C 口。然后 U 盘里只有 Win 的验机软件,又换了个 U 盘才找到 Mac 的。
之前把系统界面调成英文了,俩人一脸懵,改回去中文才开始。
验屏幕的时候,不知道是刚开始做没有经验,还是恶意揣测可能是话术,指着我 LCD 屏幕的边缘暗边说是屏幕坏斑(虽然我据理力争,算是完美屏了)
既然二手平台要赚钱,同时为了确保价格有竞争力的情况下,也不比闲鱼个人交易贵太多,那平台盈利就只能从个人卖家那里下手了。
想清楚之后,还是自己慢慢出吧,除非真的不差钱,不然亏太多了(
然后新机附带的“原装”充电器是个伊拉克成色的 Apple 旧款 96W… 行吧,看来平台对充电器是真的没有考核。
Please open Telegram to view this post
VIEW IN TELEGRAM
🤔7😱4😭2🥰1
某人图床想优化一下,反代的方案毕竟无论如何都会引入额外百毫秒级别延迟。
本来想压缩成 WebP, 我说要不要试试 AVIF, 然后我们就试了一下。
不试不知道,同为 CPU 默认软件压缩算法的情况下,压缩耗时 AVIF 会比 WebP 长 10 ~ 20 倍……
不过我还是倾向于使用 AVIF, 反正离线任务丢上去在后台跑就完事了,不能让 Epyc CPU 的 VPS 闲着(
难怪那些用 AVIF 做业务的大厂直接上 ASIC 了(
本来想压缩成 WebP, 我说要不要试试 AVIF, 然后我们就试了一下。
不试不知道,同为 CPU 默认软件压缩算法的情况下,压缩耗时 AVIF 会比 WebP 长 10 ~ 20 倍……
不过我还是倾向于使用 AVIF, 反正离线任务丢上去在后台跑就完事了,
难怪那些用 AVIF 做业务的大厂直接上 ASIC 了(
还搜到了这个,小破站其实早就全面切换到 AVIF 了:
https://www.bilibili.com/opus/775386423432839251
结论可以直接拿来用:
2022 年以前,B 站主流图片格式为 WebP,在对基础设施成本做回顾的过程中,定位到静态资源 CDN 成本是重要的组成部分。随着业界技术的逐渐成熟,经过相关调研,我们认为 AVIF 在 B 站大规模落地存在可行性。
在相同格式相同编码器下,可以简单的认为编码速度、图像质量与图片体积构成一个不可能三角,需要通过调整编码速度参数(下称 speed)与图像质量参数(下称 quality),在三者之间做取舍。
我们选取了三百万线上真实的缩略图请求,于实验环境进行回放,尽可能贴近 B 站实际使用场景。对同一个缩略请求,我们会使用线上现有编码参数,生成 PNG 和 WebP 两个版本,并用几个不同档位的 speed 和 quality,生成若干个 AVIF 版本,其中 PNG 被认为是无损格式,用作比较基准。
PSNR 可以被用于衡量原图与编码后图片的差异大小,一般大于 30 dB 即可认为人眼较难察觉出图像差异,大于 20 dB 被认为人眼观感差异不明显。PSNR 不能代替人类主观评价,但定量实验中,我们需要一个客观指标。无特别描述的前提下,下文提及 WebP/AVIF 的图像质量时,指的是 PSNR ( PNG → WebP ) 和 PSNR ( PNG → AVIF ) 的数值大小。
经过持续数天的流量回放实验,我们有以下定性结论:
1. speed 对编码耗时影响显著,对图像质量与图片体积影响不大。
2. 相同 speed/quality 的前提下,图片越大,AVIF 相对 WebP 的体积优势越明显。
3. 相同 speed/图片大小 的前提下,质量(quality)越高,AVIF 相对 WebP 的体积优势越明显。
对齐图像质量(PSNR 差值不超过 1)的前提下,我们有以下定量结论:
1. B 站主流缩略图场景下,AVIF 相比 WebP 平均体积优化在 35% 左右。
2. B 站主流缩略图场景下,AVIF 相比 WebP 耗时增长 4 ~ 5 倍,图片越大,耗时增长越明显,视频预览图等超大图场景,耗时增长 20 倍以上。
B 站主流缩略图场景下,AVIF 4 线程编码耗时约为单线程的 73%,CPU 开销是单线程的 115%,且进一步增大并发度的收益不高。
❤3
DDR5 单根 64G 的内存近期开始逐渐上市了,首批好像频率都比较低(5600-6000)
美光原厂笔记本 5600 频率 JD 自营 1199 一根(
美光原厂笔记本 5600 频率 JD 自营 1199 一根(
Please open Telegram to view this post
VIEW IN TELEGRAM
❤10🥰3
Akasha Terminal: dev🍃
转转上门抢劫,mbp 也没卖掉,添点钱全款买了新的( 在这里同出一个 M1 Pro 的 MBP,银色,16+1T,10 核 CPU+16 核 GPU,美版,Apple Intelligence 已经可用 成色自定义 9 成新: A 面有个非常小的凹坑(剪刀不小心砸到了),ACD 面有一些正常使用的细小划痕,键盘祖传打油(售后可以免费换,过保也行),电池健康 98% 左右 转转报价 6k,闲鱼均价 7.5k,群友优惠按均价立减 -500 某人看我换了之后自己也想换,所以后面可能还会出个 MBP14(…
mba 丐版已出,还有俩 mbp 等着出(
搬家还没收拾完,挂闲鱼还得一阵子
搬家还没收拾完,挂闲鱼还得一阵子
小米云服务一不小心开了 2T 的,现在还有 1 个位置(共 8 个,每人 256G ),有没有人上车
本频道订阅者每人 35(
edit:还有 1 个位置
edit:还有 1 个位置
❤4