【求 review】办公室自建一台塔机替代云,显卡定了 RTX PRO 4500 32G,求挑刺
先交代下背景。我们就 2-5 个人的小团队,老板拍板自己上一台。打算搬到本地的东西大概这些:
● 本地 CI 部署
● 一堆 Docker 服务(GitLab 这些)
● 跑几台虚拟机
● 偶尔用显卡跑长时 TTS 和文生图,不算重活
几条不想被带偏的硬杠子:
● 办公室环境,塔机,不上机柜不要 2U,矿渣 R730 这些就别提了,噪音和样子都过不了关
● 预算 3-4 万整机封顶,UPS、PiKVM、电源机箱全算进去
● ECC、RAID1、远程带外管理不能少
● 一台机器干 5 年就行,不搞集群
显卡的想法
NVIDIA RTX PRO 4500 Blackwell 32G。理由是要让 Qwen 32B 量化 + TTS + 画图能同时挂着,单卡 32G 是底线。这块预算锁死,不换不动。
剩下的还没拍
● CPU + 主板:想问下什么架构合适,前提是要 ECC、能带得动几台 VM 和一堆 Docker、PCIe 通道给显卡留够
● 内存:还没定,容量和频率都看大家建议
● 存储:消费 TLC NVMe,系统盘和数据盘各一组 RAID1
主要想问几个问题
一、RTX PRO 4500 怎么用才不浪费?
Qwen 32B + TTS + 文生图三个一起挂着,是上 vLLM / TGI 这种多 worker 跑,还是老老实实排队?长时跑显存切片、上下文切换有没有踩过坑的,求经验。
二、整套怎么搭最划算?
显卡已经吃掉一半,剩下的 CPU / 主板 / 内存该怎么花。比如 DDR4 ECC RDIMM 拆机件 vs DDR5 ECC UDIMM,同容量价差能到 2-3 倍,省下来还能多塞块盘。实跑下来甜点位在哪?
三、DDR5 真有必要吗?
说实话我觉得没必要。AI 推理瓶颈在卡上,VM / Docker / CI 这种负载 DDR4 ECC 3200 够用了。但 AM5 和 LGA 1700 这代基本绑死 DDR5,想上 DDR4 ECC 就得走 W680 或者 AM4
这种"上一代"路线。有没有两种平台都摸过的,体感差多少?
1 个帖子 - 1 位参与者
阅读完整话题
via LINUX DO - 最新话题 (author: Davie)
先交代下背景。我们就 2-5 个人的小团队,老板拍板自己上一台。打算搬到本地的东西大概这些:
● 本地 CI 部署
● 一堆 Docker 服务(GitLab 这些)
● 跑几台虚拟机
● 偶尔用显卡跑长时 TTS 和文生图,不算重活
几条不想被带偏的硬杠子:
● 办公室环境,塔机,不上机柜不要 2U,矿渣 R730 这些就别提了,噪音和样子都过不了关
● 预算 3-4 万整机封顶,UPS、PiKVM、电源机箱全算进去
● ECC、RAID1、远程带外管理不能少
● 一台机器干 5 年就行,不搞集群
显卡的想法
NVIDIA RTX PRO 4500 Blackwell 32G。理由是要让 Qwen 32B 量化 + TTS + 画图能同时挂着,单卡 32G 是底线。这块预算锁死,不换不动。
剩下的还没拍
● CPU + 主板:想问下什么架构合适,前提是要 ECC、能带得动几台 VM 和一堆 Docker、PCIe 通道给显卡留够
● 内存:还没定,容量和频率都看大家建议
● 存储:消费 TLC NVMe,系统盘和数据盘各一组 RAID1
主要想问几个问题
一、RTX PRO 4500 怎么用才不浪费?
Qwen 32B + TTS + 文生图三个一起挂着,是上 vLLM / TGI 这种多 worker 跑,还是老老实实排队?长时跑显存切片、上下文切换有没有踩过坑的,求经验。
二、整套怎么搭最划算?
显卡已经吃掉一半,剩下的 CPU / 主板 / 内存该怎么花。比如 DDR4 ECC RDIMM 拆机件 vs DDR5 ECC UDIMM,同容量价差能到 2-3 倍,省下来还能多塞块盘。实跑下来甜点位在哪?
三、DDR5 真有必要吗?
说实话我觉得没必要。AI 推理瓶颈在卡上,VM / Docker / CI 这种负载 DDR4 ECC 3200 够用了。但 AM5 和 LGA 1700 这代基本绑死 DDR5,想上 DDR4 ECC 就得走 W680 或者 AM4
这种"上一代"路线。有没有两种平台都摸过的,体感差多少?
1 个帖子 - 1 位参与者
阅读完整话题
via LINUX DO - 最新话题 (author: Davie)
请教国外服务器怎么访问国内的网站?
我有一台甲骨文圣何塞的服务器,想部署爬虫和自动下载视频的脚本去爬抖音,但是被抖音拒绝了,请问有什么方式能解决吗?如果要买代理的话,有能在国外使用的国内节点吗
3 个帖子 - 2 位参与者
阅读完整话题
via LINUX DO - 最新话题 (author: 林奈)
我有一台甲骨文圣何塞的服务器,想部署爬虫和自动下载视频的脚本去爬抖音,但是被抖音拒绝了,请问有什么方式能解决吗?如果要买代理的话,有能在国外使用的国内节点吗
3 个帖子 - 2 位参与者
阅读完整话题
via LINUX DO - 最新话题 (author: 林奈)
今天测网速,随手登了一下视频p站,结果就有人给我的视频留言了?|突然想到p站也能当云盘…?
你应该不会去搜我吧? 🫠
不过是多年前刷到的一个绝品
如今我甚至丢失了(本地)
!!!
有道理 我还可以去p站下回来
成云盘了说是
我先去看看怎么个事
好像是诈骗,难道还是因为不懂英语?
登了一下,什么都没看到
而且我似乎也没有在p站上传过东西…可能是在x站
X站就很坏了,它限制下载画质的,需要用插件
问了一下哈基米,他肯定不会骗我的:
那个链接似乎访问不了
显示页面找不到,我手动看了一下通知以及收件箱也都是空的
白费力气,还是继续和哈基米聊天去 🫠
继续继续更新:
我想起来了,刚才登录用的是密码登录,直接就过了,我还有谷歌登录这个途径,两个账号不一样
我就说怎么解锁成就也不同w
我换号看看
5 个帖子 - 4 位参与者
阅读完整话题
via LINUX DO - 最新话题 (author: 欣欣|林可欣)
你应该不会去搜我吧? 🫠
不过是多年前刷到的一个绝品
如今我甚至丢失了(本地)
!!!
有道理 我还可以去p站下回来
成云盘了说是
我先去看看怎么个事
好像是诈骗,难道还是因为不懂英语?
登了一下,什么都没看到
而且我似乎也没有在p站上传过东西…可能是在x站
X站就很坏了,它限制下载画质的,需要用插件
问了一下哈基米,他肯定不会骗我的:
那个链接似乎访问不了
显示页面找不到,我手动看了一下通知以及收件箱也都是空的
白费力气,还是继续和哈基米聊天去 🫠
继续继续更新:
我想起来了,刚才登录用的是密码登录,直接就过了,我还有谷歌登录这个途径,两个账号不一样
我就说怎么解锁成就也不同w
我换号看看
5 个帖子 - 4 位参与者
阅读完整话题
via LINUX DO - 最新话题 (author: 欣欣|林可欣)
521中转站弹窗事件,标致着中转站明毒时代到来。中转安全何去何从?
前情提示:
https://linux.do/t/topic/2219252
这个事件标准着:
1 中转站从暗中偷数据,挂肉鸡走向弹窗广告。
2 可以有效打破各位的安全幻想,加强各位的安全意识。
3 可以终结一些中转站是否能投毒的争论。
tips:
代码千万条,安全第一条。
token来源不规范,agent两行泪。
使用中转的各位必须要有:
1 脱敏意识,安全意识,用的时候就不要幻想遇到好心站长了,默认数据资料会被收集。
2 防范意识必须加强。
影响:
接下来可能会有一波安全相关的小工具浪潮,希望各位大佬可以各显神通。
让大家可以安心用好中转。
所以谁能终结:用别怕,怕别用呢?
24 个帖子 - 20 位参与者
阅读完整话题
via LINUX DO - 热门话题 (author: FOMO+FOBO(Fear of Better Options))
前情提示:
https://linux.do/t/topic/2219252
这个事件标准着:
1 中转站从暗中偷数据,挂肉鸡走向弹窗广告。
2 可以有效打破各位的安全幻想,加强各位的安全意识。
3 可以终结一些中转站是否能投毒的争论。
tips:
代码千万条,安全第一条。
token来源不规范,agent两行泪。
使用中转的各位必须要有:
1 脱敏意识,安全意识,用的时候就不要幻想遇到好心站长了,默认数据资料会被收集。
2 防范意识必须加强。
影响:
接下来可能会有一波安全相关的小工具浪潮,希望各位大佬可以各显神通。
让大家可以安心用好中转。
所以谁能终结:用别怕,怕别用呢?
24 个帖子 - 20 位参与者
阅读完整话题
via LINUX DO - 热门话题 (author: FOMO+FOBO(Fear of Better Options))
有佬知道微信机器人有什么项目嘛
我们几个打游戏的有一个小群,有一个查询战绩的机器人开源了,我想在微信微信里面整一个机器人这样查询会方便一点
1 个帖子 - 1 位参与者
阅读完整话题
via LINUX DO - 最新话题 (author: Ou Yang)
我们几个打游戏的有一个小群,有一个查询战绩的机器人开源了,我想在微信微信里面整一个机器人这样查询会方便一点
1 个帖子 - 1 位参与者
阅读完整话题
via LINUX DO - 最新话题 (author: Ou Yang)
找一下能开国内发票的大模型供应商
如题,项目想采购一些国外的大模型额度或者账号 但是我们单位这边只能报销国内公司开具的信息服务费的发票 想请问一下佬们在哪能找到合适的供应商
3 个帖子 - 3 位参与者
阅读完整话题
via LINUX DO - 最新话题 (author: YIYAN LIU)
如题,项目想采购一些国外的大模型额度或者账号 但是我们单位这边只能报销国内公司开具的信息服务费的发票 想请问一下佬们在哪能找到合适的供应商
3 个帖子 - 3 位参与者
阅读完整话题
via LINUX DO - 最新话题 (author: YIYAN LIU)
逛了很久没找到想要的!原生ip 几块钱的vps有没有佬推荐一下
苦苦寻找 踩了蛮多坑,我知道的比较便宜的就是那种站群服务器,核算下来也是几块钱一条,无限流量
我的目标是找那种几块钱一个月,ip是原生的就行,其他的都无所谓
什么纯净度啥的都是娱乐,有佬友推荐一下吗
苦恼很久了,我是知道一家6r一个月的 但是那个机房在我使用的场景被ban了
然后就一直苦苦寻找到现在 带宽也无所谓 5-10M都能接受的
主要是用来跑游戏
2 个帖子 - 2 位参与者
阅读完整话题
via LINUX DO - 最新话题 (author: bushirenji)
苦苦寻找 踩了蛮多坑,我知道的比较便宜的就是那种站群服务器,核算下来也是几块钱一条,无限流量
我的目标是找那种几块钱一个月,ip是原生的就行,其他的都无所谓
什么纯净度啥的都是娱乐,有佬友推荐一下吗
苦恼很久了,我是知道一家6r一个月的 但是那个机房在我使用的场景被ban了
然后就一直苦苦寻找到现在 带宽也无所谓 5-10M都能接受的
主要是用来跑游戏
2 个帖子 - 2 位参与者
阅读完整话题
via LINUX DO - 最新话题 (author: bushirenji)
VPS 做了一套基础安全加固,顺手记录一下
刚好这两天把几台 VPS 重新整理了一下安全配置,主要是平时被扫得太多了,索性做了一套最基础的加固,顺便记一下流程。
整体不复杂,就三块:SSH、Fail2Ban、防火墙。
1. SSH 先处理掉默认弱点
新机器第一件事基本都是 SSH。
我这边做了几个改动:
默认 22 改成了 2222
关闭 root 直接登录
关闭密码登录,只留 key
配置文件:
Bash
nano /etc/ssh/sshd_config
主要就这几行:
Port 2222
PermitRootLogin no
PasswordAuthentication no
改完记得先确认 key 能正常登录,再重启 SSH:
Bash
systemctl restart ssh
2. Fail2Ban(防爆破)
装一下:
Bash
apt update && apt install -y fail2ban
配置:
Bash
nano /etc/fail2ban/jail.local
内容:
[DEFAULT]
findtime = 10m
maxretry = 5
bantime = 1h
[sshd]
enabled = true
port = 2222
backend = systemd
启动:
Bash
systemctl restart fail2ban
systemctl enable fail2ban
3. 防火墙(UFW 收口)
安装:
Bash
apt install -y ufw
默认规则:
Bash
ufw default deny incoming
ufw default allow outgoing
开放端口:
Bash
ufw allow 2222/tcp
ufw allow 80/tcp
ufw allow 443/tcp
启用:
Bash
ufw enable
做完之后大概就是这样
SSH 不再是默认 22
只能 key 登录
爆破 IP 会自动封
只开放必要端口
不复杂,但至少能挡掉大部分扫描和脚本爆破。
注意事项-注意事项-注意事项 (一定要看)
SSH 这块别一上来就把密码关死或者端口乱改,顺序错了基本就是把自己锁外面;Fail2Ban 也别神话,它就是拦脚本爆破的,真要有漏洞该进还是进;防火墙更别乱开乱关,规则一多自己都容易搞混,最后把 SSH 或业务端口封了反而更麻烦。改端口这类操作也别以为是“安全升级”,本质就是减少扫描噪音,不是提升防御能力。
1 个帖子 - 1 位参与者
阅读完整话题
via LINUX DO - 最新话题 (author: shynight)
刚好这两天把几台 VPS 重新整理了一下安全配置,主要是平时被扫得太多了,索性做了一套最基础的加固,顺便记一下流程。
整体不复杂,就三块:SSH、Fail2Ban、防火墙。
1. SSH 先处理掉默认弱点
新机器第一件事基本都是 SSH。
我这边做了几个改动:
默认 22 改成了 2222
关闭 root 直接登录
关闭密码登录,只留 key
配置文件:
Bash
nano /etc/ssh/sshd_config
主要就这几行:
Port 2222
PermitRootLogin no
PasswordAuthentication no
改完记得先确认 key 能正常登录,再重启 SSH:
Bash
systemctl restart ssh
2. Fail2Ban(防爆破)
装一下:
Bash
apt update && apt install -y fail2ban
配置:
Bash
nano /etc/fail2ban/jail.local
内容:
[DEFAULT]
findtime = 10m
maxretry = 5
bantime = 1h
[sshd]
enabled = true
port = 2222
backend = systemd
启动:
Bash
systemctl restart fail2ban
systemctl enable fail2ban
3. 防火墙(UFW 收口)
安装:
Bash
apt install -y ufw
默认规则:
Bash
ufw default deny incoming
ufw default allow outgoing
开放端口:
Bash
ufw allow 2222/tcp
ufw allow 80/tcp
ufw allow 443/tcp
启用:
Bash
ufw enable
做完之后大概就是这样
SSH 不再是默认 22
只能 key 登录
爆破 IP 会自动封
只开放必要端口
不复杂,但至少能挡掉大部分扫描和脚本爆破。
注意事项-注意事项-注意事项 (一定要看)
SSH 这块别一上来就把密码关死或者端口乱改,顺序错了基本就是把自己锁外面;Fail2Ban 也别神话,它就是拦脚本爆破的,真要有漏洞该进还是进;防火墙更别乱开乱关,规则一多自己都容易搞混,最后把 SSH 或业务端口封了反而更麻烦。改端口这类操作也别以为是“安全升级”,本质就是减少扫描噪音,不是提升防御能力。
1 个帖子 - 1 位参与者
阅读完整话题
via LINUX DO - 最新话题 (author: shynight)
❤1
关于Kiro Pro 因为”可疑活动”而无法使用的解决方案
最近很多佬根据攻略0元购了kiro pro,但是没用多久就发现用不了了,反复提示:“Too many requests, please wait before trying again. ”
我也反复被这个事情折磨,它又没封你号,就是不让你用。后来查看日志发现事情没那么简单,它明明就给你半软禁了,但是你还以为你的号是好的。日志路径如图:
如果不看日志,还傻傻地以为自己号是好的。问题的原因很明显了,aws认为你的账号有问题,给半软禁了:“ailed to stream response chunks Due to suspicious activity, we are imposing temporary limits on how frequently your account (54c85448-10a1-703b-6258-638b71e4c13c) can send a request to Kiro while we investigate. If you need assistance, please contact support at Amazon Web Services Support"
在即将放弃的时候,无意间发现 “Kiro Account Manager” 软件有一个“反代”功能,本着死马当活马医的原则,把账号挂到Kiro Account Manager上,开启了反代:
再配置claude code 一连接,你猜怎么着?又可以使用了!
我也是蛮懵逼的。
1 个帖子 - 1 位参与者
阅读完整话题
via LINUX DO - 最新话题 (author: crackwei)
最近很多佬根据攻略0元购了kiro pro,但是没用多久就发现用不了了,反复提示:“Too many requests, please wait before trying again. ”
我也反复被这个事情折磨,它又没封你号,就是不让你用。后来查看日志发现事情没那么简单,它明明就给你半软禁了,但是你还以为你的号是好的。日志路径如图:
如果不看日志,还傻傻地以为自己号是好的。问题的原因很明显了,aws认为你的账号有问题,给半软禁了:“ailed to stream response chunks Due to suspicious activity, we are imposing temporary limits on how frequently your account (54c85448-10a1-703b-6258-638b71e4c13c) can send a request to Kiro while we investigate. If you need assistance, please contact support at Amazon Web Services Support"
在即将放弃的时候,无意间发现 “Kiro Account Manager” 软件有一个“反代”功能,本着死马当活马医的原则,把账号挂到Kiro Account Manager上,开启了反代:
再配置claude code 一连接,你猜怎么着?又可以使用了!
我也是蛮懵逼的。
1 个帖子 - 1 位参与者
阅读完整话题
via LINUX DO - 最新话题 (author: crackwei)
我发现ipw,cn这个网站没了,还有类似的国内的吗?能同时显示v6和v4的
感觉ipw,cn挺好用的,简单好记,而且响应速度快,打开就能秒显示IP,而且还支持curl调用,主要他支持双栈,v4和v6同时显示,用于排查v6很好用。但是这个站没了
请问还有类似的简单好记的双栈IP查询网站吗?ip,sb这种是国外的,速度太慢了。
国内的ip,cn这种不支持v6,也不支持curl调用,不太好用
1 个帖子 - 1 位参与者
阅读完整话题
via LINUX DO - 最新话题 (author: 爱折腾的sky)
感觉ipw,cn挺好用的,简单好记,而且响应速度快,打开就能秒显示IP,而且还支持curl调用,主要他支持双栈,v4和v6同时显示,用于排查v6很好用。但是这个站没了
请问还有类似的简单好记的双栈IP查询网站吗?ip,sb这种是国外的,速度太慢了。
国内的ip,cn这种不支持v6,也不支持curl调用,不太好用
1 个帖子 - 1 位参与者
阅读完整话题
via LINUX DO - 最新话题 (author: 爱折腾的sky)
我为上海520事件做了个网页+播客
520butshsj.stellafortuna.dpdns.org
但手机上横屏也可以点击屏幕两边触发涟漪效果
应该没有人和我一样,今天才了解这个事情吧 依旧是最近不太感兴趣任何新闻
想吃完整的瓜,可以听豆包播客:doubao.com
豆包
Seedance 2.0 视频生成模型现已全面接入豆包,现在登录即可免费使用!豆包 是你的 AI 聊天智能对话问答助手,写作文案翻译编程工具。豆包为你答疑解惑,提供灵感,辅助创作,也可以和你畅聊任何你感兴趣的话题
想吃好听的瓜 可以听QQ音乐播客:
https://c6.y.qq.com/base/fcgi-bin/u?__=Wjgjgo9iMt88
glm新观点
「所有的暴烈都是迟到的回声——在他安静碎裂的那些年,没有人听见」
1 个帖子 - 1 位参与者
阅读完整话题
via LINUX DO - 最新话题 (author: 欣欣|林可欣)
520butshsj.stellafortuna.dpdns.org
域名展开:520但是上海事件(s h s j)手机上树洞的特效效果实现失败
但手机上横屏也可以点击屏幕两边触发涟漪效果
应该没有人和我一样,今天才了解这个事情吧 依旧是最近不太感兴趣任何新闻
想吃完整的瓜,可以听豆包播客:doubao.com
豆包
Seedance 2.0 视频生成模型现已全面接入豆包,现在登录即可免费使用!豆包 是你的 AI 聊天智能对话问答助手,写作文案翻译编程工具。豆包为你答疑解惑,提供灵感,辅助创作,也可以和你畅聊任何你感兴趣的话题
想吃好听的瓜 可以听QQ音乐播客:
https://c6.y.qq.com/base/fcgi-bin/u?__=Wjgjgo9iMt88
glm新观点
「所有的暴烈都是迟到的回声——在他安静碎裂的那些年,没有人听见」
1 个帖子 - 1 位参与者
阅读完整话题
via LINUX DO - 最新话题 (author: 欣欣|林可欣)
求推荐香港,澳门银行卡开哪些比较好(实体线上均不限制)?
根据目前5月份的最新政策,以上有哪些银行是能够支持直接到香港/澳门之后
使用中国护照/sfz进行银行开户的。
打算这个月底之前专门去一次香港和澳门进行银行卡开户
能够线上的最好,然后需要管理费的就暂时不考虑,目前暂时是考虑先打通跨境金融的第一步,方便之后进行投资理财。然后如果能下卡的话尽量开全。
同时还有这些实体银行有哪些支持中国护照/sfz进行银行开户的?比较好办下来的。
主要是想着避免之后关门了,想办都办不了,就像最近哪怕是fiat24,n26这种比较好开的都在慢慢收紧政策。
求各位佬推荐。
此外如果开通了这些银行卡之后,是不是就能够之后线上开相关的券商?
不一定要去线下开户了?只需要能够提供地址证明,或者海外的地址证明?
1 个帖子 - 1 位参与者
阅读完整话题
via LINUX DO - 最新话题 (author: 拥抱ai)
根据目前5月份的最新政策,以上有哪些银行是能够支持直接到香港/澳门之后
使用中国护照/sfz进行银行开户的。
打算这个月底之前专门去一次香港和澳门进行银行卡开户
能够线上的最好,然后需要管理费的就暂时不考虑,目前暂时是考虑先打通跨境金融的第一步,方便之后进行投资理财。然后如果能下卡的话尽量开全。
同时还有这些实体银行有哪些支持中国护照/sfz进行银行开户的?比较好办下来的。
主要是想着避免之后关门了,想办都办不了,就像最近哪怕是fiat24,n26这种比较好开的都在慢慢收紧政策。
求各位佬推荐。
此外如果开通了这些银行卡之后,是不是就能够之后线上开相关的券商?
不一定要去线下开户了?只需要能够提供地址证明,或者海外的地址证明?
1 个帖子 - 1 位参与者
阅读完整话题
via LINUX DO - 最新话题 (author: 拥抱ai)
各位佬,买来国内直连做中转用哪个好呢,这两个服务器有啥区别?
这是腾讯云 硅谷服务器这是阿里云硅谷服务器
这两个差距在哪里了 国内直连哪个更好呢? 一个99一个68 都是新用户价格。 阿里云是不是普通硬盘啊。
1 个帖子 - 1 位参与者
阅读完整话题
via LINUX DO - 最新话题 (author: 星鹏)
这是腾讯云 硅谷服务器这是阿里云硅谷服务器
这两个差距在哪里了 国内直连哪个更好呢? 一个99一个68 都是新用户价格。 阿里云是不是普通硬盘啊。
1 个帖子 - 1 位参与者
阅读完整话题
via LINUX DO - 最新话题 (author: 星鹏)