Forwarded from Solidot
ChatGPT 是互联网的有损压缩
2023-02-10 23:42:00 by 梦侦探
特德·姜(Ted Chiang)在纽约客上发表文章,将最近火热无比的 AI 聊天机器人 ChatGPT 比喻为 互联网内容的有损压缩版本(他形容为模糊 JPEG)。JPEG 是一种有损压缩图像格式,在压缩过程中会舍弃部分次要数据,解压后的图像和原始图像不同,但非常接近,大部分情况下够用了。将 ChatGPT 形容为模糊 JPEG 可以帮助我们更好的理解它能擅长做什么。如果我们只需要让它概述或重新包装已有的信息,它能做到,而且返回的结果显得仿佛它能理解所描述的内容,但实际上它做的是在有损压缩之后解压缩,它处理的是文本而不是图像,虽然有失真但足够有趣,人们因此玩得很开心。但它能取代搜索引擎吗? 失真性让它在原始内容面前并无用武之地,你需要精确的结果,模糊的东西对你就没什么价值。
https://archive.ph/VbwGB
https://www.newyorker.com/tech/annals-of-technology/chatgpt-is-a-blurry-jpeg-of-the-web
#互联网
2023-02-10 23:42:00 by 梦侦探
特德·姜(Ted Chiang)在纽约客上发表文章,将最近火热无比的 AI 聊天机器人 ChatGPT 比喻为 互联网内容的有损压缩版本(他形容为模糊 JPEG)。JPEG 是一种有损压缩图像格式,在压缩过程中会舍弃部分次要数据,解压后的图像和原始图像不同,但非常接近,大部分情况下够用了。将 ChatGPT 形容为模糊 JPEG 可以帮助我们更好的理解它能擅长做什么。如果我们只需要让它概述或重新包装已有的信息,它能做到,而且返回的结果显得仿佛它能理解所描述的内容,但实际上它做的是在有损压缩之后解压缩,它处理的是文本而不是图像,虽然有失真但足够有趣,人们因此玩得很开心。但它能取代搜索引擎吗? 失真性让它在原始内容面前并无用武之地,你需要精确的结果,模糊的东西对你就没什么价值。
https://archive.ph/VbwGB
https://www.newyorker.com/tech/annals-of-technology/chatgpt-is-a-blurry-jpeg-of-the-web
#互联网
👍2
To attempt an understanding of Muad'Dib without understanding his mortal enemies, the Harkonnens, is to attempt seeing truth without knowing Falsehood.
It is the attempt to see the Light without knowing Darkness. It cannot be.
~Dune
It is the attempt to see the Light without knowing Darkness. It cannot be.
~Dune
推荐两篇介绍NLP的文章,有助于理解GPT背后的原理
- https://jalammar.github.io/illustrated-word2vec/
- https://jalammar.github.io/how-gpt3-works-visualizations-animations/
- https://jalammar.github.io/illustrated-word2vec/
- https://jalammar.github.io/how-gpt3-works-visualizations-animations/
jalammar.github.io
The Illustrated Word2vec
Discussions:
Hacker News (347 points, 37 comments), Reddit r/MachineLearning (151 points, 19 comments)
Translations: Chinese (Simplified), French, Korean, Portuguese, Russian
“There is in all things a pattern that is part of our universe.…
Hacker News (347 points, 37 comments), Reddit r/MachineLearning (151 points, 19 comments)
Translations: Chinese (Simplified), French, Korean, Portuguese, Russian
“There is in all things a pattern that is part of our universe.…
👍1
Solidot
ChatGPT 是互联网的有损压缩 2023-02-10 23:42:00 by 梦侦探 特德·姜(Ted Chiang)在纽约客上发表文章,将最近火热无比的 AI 聊天机器人 ChatGPT 比喻为 互联网内容的有损压缩版本(他形容为模糊 JPEG)。JPEG 是一种有损压缩图像格式,在压缩过程中会舍弃部分次要数据,解压后的图像和原始图像不同,但非常接近,大部分情况下够用了。将 ChatGPT 形容为模糊 JPEG 可以帮助我们更好的理解它能擅长做什么。如果我们只需要让它概述或重新包装已有的信息,它…
上周末读过,今天研究了下unsupervised pre-training的原理后重新读了一遍,我认为有损压缩的比喻是非常形象和恰当的——GPT3是从已有的文本中抽象出单词的vector/embeddings, 形成weights, 需要的时候再依据这些生成后文,确实很像压缩/解压的过程。GPT3并不真正理解文本背后的知识,只是依据海量的阅读量猜测大概率符合预期的文本,当然也是有损的。
Ted认为LLM并不能提供精确的答案,因此无法替代搜索引擎,除非人类永远无法访问互联网。然而他担心的是一个不会发生的情况,况且GPT3本就是一个Generative Model,并不适用于需要精确答案的场景:为什么要担心一辆自行车不能用来做拉面呢?
本来写到这儿结束了,但是,但是我突然想到他的担心不无道理:*掌控工具而不被工具掌控的从来就是少数人*,Tim Berners-Lee会想到互联网最大流量是P站吗,pagerank诞生的时候有人想到会被用来卖莆田广告吗,Amazon用推荐算法给你推荐书籍的时候能想到这玩意儿能让人连刷一天短视频吗。自行车是不能做拉面啊,但万一大家把牙盘链条拆下来整出把加特林呢?
人类本就被巴别塔分裂而无法顺畅交流,如今的互联网本就充斥着虚假信息和互相攻讦的言论,用夹杂着虚妄和嗔念的语料库训练出超越人类的造物,再让他用上万倍的速度创造更多文本,头脑自行车变加特林对轰不是异想天开呀
Ted认为LLM并不能提供精确的答案,因此无法替代搜索引擎,除非人类永远无法访问互联网。然而他担心的是一个不会发生的情况,况且GPT3本就是一个Generative Model,并不适用于需要精确答案的场景:为什么要担心一辆自行车不能用来做拉面呢?
本来写到这儿结束了,但是,但是我突然想到他的担心不无道理:*掌控工具而不被工具掌控的从来就是少数人*,Tim Berners-Lee会想到互联网最大流量是P站吗,pagerank诞生的时候有人想到会被用来卖莆田广告吗,Amazon用推荐算法给你推荐书籍的时候能想到这玩意儿能让人连刷一天短视频吗。自行车是不能做拉面啊,但万一大家把牙盘链条拆下来整出把加特林呢?
人类本就被巴别塔分裂而无法顺畅交流,如今的互联网本就充斥着虚假信息和互相攻讦的言论,用夹杂着虚妄和嗔念的语料库训练出超越人类的造物,再让他用上万倍的速度创造更多文本,头脑自行车变加特林对轰不是异想天开呀
👍2💯2
Forwarded from 在无尽长河的尽头
战狼部应对气球事件的基本套路和过去对新疆议题基本是一样的。
第一阶段:我不知道
第二阶段:这是意外
第三阶段:我有正当理由
第四阶段:你也一样
第五阶段:恶毒咒骂
第一阶段:我不知道
第二阶段:这是意外
第三阶段:我有正当理由
第四阶段:你也一样
第五阶段:恶毒咒骂
Forwarded from 在无尽长河的尽头
示威是一种政治博弈的手段,博弈的目标是迫使妥协而不是消灭。把群体性运动狭隘化成暴力革命的,要么是被列宁主义叙事忽悠傻了,要么是小说电影看太多看傻了。
Forwarded from 在无尽长河的尽头
今天,武汉的退休老人们如期聚集在中山公园抗议。看起来当局这个星期还是做了一些针对“软肋”的工作,现场规模比预想的要少(不过还是很多)。
无独有偶,大连也爆发了性质相同的退休人员示威,正如武汉示威群众包含大量武钢老职工,大连示威也有鞍钢老职工撑起一柱。国企工人在组织度上确实高屁民一头。
按武汉之前的公告所说,砍医保是来自中央的授意。意味着地方政府现在处于一个夹在中央政府和民众之间的尴尬位置。反过来说,这份公告本身也有暗示“这事我说了不算,你们去非议中央吧”的意思。有理由怀疑武汉地方政府又在玩那种官场老把戏:大力表演“我已经尽力预防压制群体性事件了,但奈何民愤太大挡不住(甚至顺便哭穷,财政没钱拿什么镇压)”,从而试图倒逼中央收回成命,甚至能不能再给点补贴兜个底。
无独有偶,大连也爆发了性质相同的退休人员示威,正如武汉示威群众包含大量武钢老职工,大连示威也有鞍钢老职工撑起一柱。国企工人在组织度上确实高屁民一头。
按武汉之前的公告所说,砍医保是来自中央的授意。意味着地方政府现在处于一个夹在中央政府和民众之间的尴尬位置。反过来说,这份公告本身也有暗示“这事我说了不算,你们去非议中央吧”的意思。有理由怀疑武汉地方政府又在玩那种官场老把戏:大力表演“我已经尽力预防压制群体性事件了,但奈何民愤太大挡不住(甚至顺便哭穷,财政没钱拿什么镇压)”,从而试图倒逼中央收回成命,甚至能不能再给点补贴兜个底。
Forwarded from Pavel Durov
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
"If it looks like a duck, swims like a duck, and quacks like a duck, then it probably is a duck."