Forwarded from Newlearnerの自留地 (初学者 | newlearner.site)
#telegram #Search
🔍 为什么 Telegram 不能搜寻中文讯息
⭕️ 圈重点：
- Telegram 使用 SQLite 作为资料库
- fts 全文搜索将字串以 Tokenizer 切割成短语，分别取 Hash，寻找时与哈希表进行比对
- 标记生成器根据分离器、分隔符切割字串
- 分离器、分隔符之外的成分为「令牌」，有“大号*（字母），N *（数字）及Co（其他）”三种预设
- 中日韩文字属于 unicode CJK，绝大多数被识别为令牌
(╯﹏╰) 从而，汉字语汉字间没有任何分隔符，会被整串拿去哈希，从而导致搜寻无效。本文从代码的角度很好地说明了 Telegram 的中文消息搜索为何如此之烂
👨🏻💻 作者给了两个建议：
1️⃣ 手动在汉字间插入不可见的分离器
2️⃣ 写个客制化的 Tokenizer，即魔改 Telegram 客户端软件
❤️ 感谢群友分享此文，之前自留地也通过不同的思路整理了中文搜索方案，并认为目前的最优解是通过全局爬虫+数据库索引实现：Telegram 中文搜索方案探索
频道：@NewlearnerChannel
🔍 为什么 Telegram 不能搜寻中文讯息
⭕️ 圈重点：
- Telegram 使用 SQLite 作为资料库
- fts 全文搜索将字串以 Tokenizer 切割成短语，分别取 Hash，寻找时与哈希表进行比对
- 标记生成器根据分离器、分隔符切割字串
- 分离器、分隔符之外的成分为「令牌」，有“大号*（字母），N *（数字）及Co（其他）”三种预设
- 中日韩文字属于 unicode CJK，绝大多数被识别为令牌
(╯﹏╰) 从而，汉字语汉字间没有任何分隔符，会被整串拿去哈希，从而导致搜寻无效。本文从代码的角度很好地说明了 Telegram 的中文消息搜索为何如此之烂
👨🏻💻 作者给了两个建议：
1️⃣ 手动在汉字间插入不可见的分离器
2️⃣ 写个客制化的 Tokenizer，即魔改 Telegram 客户端软件
❤️ 感谢群友分享此文，之前自留地也通过不同的思路整理了中文搜索方案，并认为目前的最优解是通过全局爬虫+数据库索引实现：Telegram 中文搜索方案探索
频道：@NewlearnerChannel
animation.gif
15.4 MB
浏览器中打开任一 #GitHub# 上的文件，将 URL 中 .com 替换为 .githistory.xyz
即可直观看到代码变动历史记录，效果美滋滋～🤩
via Weibo@数码荔枝正版软件
#GitHub
即可直观看到代码变动历史记录，效果美滋滋～🤩
via Weibo@数码荔枝正版软件
#GitHub
“We don’t want this technology to get rusty and obsolete. That is why we have decided to direct our anti-censorship resources into other places where Telegram is still banned by governments – places like Iran and China. We ask the admins of the former proxy servers for Russian users to focus their efforts on these countries. ”
https://t.me/durov/117
#Thoughts
https://t.me/durov/117
#Thoughts
Telegram
Pavel Durov
In April 2018, Russia’s telecom regulator Roskomnadzor blocked Telegram on the country’s territory. We knew it was coming, so by the time the block went live, we had already upgraded the Telegram apps with support for rotating proxy servers, ways to hide…
http://www.bilibili.com/video/av96396151?share_medium=android&share_source=copy_link&bbid=bFw5XDpYPVtqXmgNcQ1xinfoc&ts=1592791558514
有钱人的快乐
#IT
有钱人的快乐
#IT
Bilibili
用锐龙Ryzen线程撕裂者 3990x的128个框框播放bad apple！！_哔哩哔哩_bilibili
被360水冷 烤坏苹果已经被staff美味的吃掉了对不起大家 实际上只用了126个框框因为刷新太慢所以实际上用了5倍速播放对照素材使用的是NarEXium的4K BadApple!! waifu2x Lossless Upscaled
https://twitter.com/aschilling/status/1279781830472937474?s=19
推特高玩 Andreas Schilling 的消息，他在一个 896 核 1792 线程 32 CPU插槽服务器上成功用任务管理器播放了宝可梦片段。
#IT
推特高玩 Andreas Schilling 的消息，他在一个 896 核 1792 线程 32 CPU插槽服务器上成功用任务管理器播放了宝可梦片段。
#IT
Twitter
Andreas Schilling
Pokemon Theme Rendered in Windows Task Manager with 896 cores / 1.792 threads. Source: https://t.co/VbmvIBF4PM https://t.co/xjkzSc43SD
Forwarded from 豆瓣精选
天呐这个网站任意门好酷！是个随机推送全世界各种酷炫网站的网站，简直是全球域名库的宝藏地图。我刚随便点了点，比如：
- 知妖（ www.cbaigui.com ），收集古人文献中所有“妖怪”的网站；
- 星际移民中心（ interimm.org/about ），咱还在地球上呢人家连火星南河城地理区划图都做出来了；
- Can't Unsee（ cantunsee.space ），测试你的细节感知度的网站，相当于UI设计师的leetcode？
- Mathway（ www.mathway.com/Algebra ）：随便输入一道数学题，它手把手教你解
- patience-is-a-virtue（ www.patience-is-a-virtue.org ）：呃，你点进去就知道了…… gate.ofo.moe/?no-cache=1 source
- 知妖（ www.cbaigui.com ），收集古人文献中所有“妖怪”的网站；
- 星际移民中心（ interimm.org/about ），咱还在地球上呢人家连火星南河城地理区划图都做出来了；
- Can't Unsee（ cantunsee.space ），测试你的细节感知度的网站，相当于UI设计师的leetcode？
- Mathway（ www.mathway.com/Algebra ）：随便输入一道数学题，它手把手教你解
- patience-is-a-virtue（ www.patience-is-a-virtue.org ）：呃，你点进去就知道了…… gate.ofo.moe/?no-cache=1 source
interimm.org
星际移民中心 - 关于
星际移民中心官方网站