❤1
在不涉及 API 调用的情况下,单纯只是作为普通用户使用,没必要独立部署。除非你的目的是想学习下部署的流程是啥。
https://mp.weixin.qq.com/s/iekH1jvukIleaMyCFhRtfQ
https://mp.weixin.qq.com/s/iekH1jvukIleaMyCFhRtfQ
👍1😁1
SiphonDNS: 通过 DNS 进行隐蔽数据泄露 https://ttp.report/evasion/2025/02/03/siphondns-covert-dns-exfiltration.html
TTP Report
SiphonDNS: covert data exfiltration via DNS
When you end up in a more strictly controlled environment, HTTP and DNS are likely the only protocols allowed to go outside. Furthermore, you can bet on both being proxied and highly monitored. This time, I’ll focus on some opportunities to hide traffic within…
❤2
KTransformers团队宣布支持DeepSeek-R1和V3模型,支持在单GPU(24GBVRAM)或多GPU和382GBDRAM的环境下运行。通过优化,实现了高达3~28倍的速度提升。提供了本地运行的示例,展示了如何在桌面环境中实现类似GPT-4的性能。
测试环境:
CPU:IntelXeonGold6454S(32核心/插槽,2插槽,2NUMA节点)
GPU:4090D(24GBVRAM)
内存:1TBDDR5-4800服务器DRAM
性能结果:
Prefill速度:最高可达97.32tokens/s
Decode速度:最高可达13.69tokens/s
相比llama.cpp,Prefill速度提升高达9.44倍,Decode速度提升3.03倍。
#AI
https://kvcache-ai.github.io/ktransformers/en/DeepseekR1_V3_tutorial.html
测试环境:
CPU:IntelXeonGold6454S(32核心/插槽,2插槽,2NUMA节点)
GPU:4090D(24GBVRAM)
内存:1TBDDR5-4800服务器DRAM
性能结果:
Prefill速度:最高可达97.32tokens/s
Decode速度:最高可达13.69tokens/s
相比llama.cpp,Prefill速度提升高达9.44倍,Decode速度提升3.03倍。
#AI
https://kvcache-ai.github.io/ktransformers/en/DeepseekR1_V3_tutorial.html
❤4👍1