The 2ndDim: That was I talking about!
466 subscribers
453 photos
8 videos
9 files
912 links
某1stDim的分支项目: 2ndDim
这里只是一个分享有趣见闻的channel,消息来自各种地方。希望你能喜欢。



也许你还想看看这里:
某Moeka的日常频道 - @MoekaChannel
Download Telegram
#WTF #TalesFromTechSupport

一大早接了个紧急电话。一台重要业务服务器连不上SSH了:
Last login: Thu Jul 11 03:37:35 2024 from [ManageHost_IP]
Could not chdir to home directory /home/mgmtuser: Permission denied
/bin/bash: Permission denied
Connection to [ProdServer_IP] closed.


这很怪,然后我看了一下前一次登录的地址,是管理服务器,这个服务器通常是跑批量脚本的。

同时进来一个新的需求让我看一些机器的DNS问题。我登陆上机器一看,好家伙,同款错误。

简单跑了一下批量脚本一看,50台机器炸掉了。

上来给我来个大的?

问了一下昨天谁跑了批量脚本,然后把脚本拿到手一看...
# ...

# install service files
chmod 644 "$var_a/$var_b"

# ...


然后这两个变量都没有检查是否为空。这就导致了这行命令成了:
chmod 644 /


根目录没了 x 权限,我们的服务器又都是没有root账户需要sudo提权的,这下子是没人登陆的上了。各种非root身份的服务这下子也因为从根目录开始就缺少 chdir() 权限而找不着北了。本地控制台登录也都是秒退,因为连 /bin 都禁止 chdir() ,更何况是运行 /bin/bash

拿救援USB盘启动,进去看了一眼,果不其然是根目录缺了 x 权限。

怎么办呢?
只能拿着救援USB和键盘显示器,一台一台修了。

这状况怎么这么眼熟?

哦对,前几天的 CrowdStrike 也得这么修。

笑死,同事写的有问题的脚本导致50台生产系统服务器原地爆炸无法远程操作,只能本地一台一台救援盘去修。

这个事件我称之为:

           CrewStrike
The 2ndDim: That was I talking about!
#WTF #TalesFromTechSupport 一大早接了个紧急电话。一台重要业务服务器连不上SSH了: Last login: Thu Jul 11 03:37:35 2024 from [ManageHost_IP] Could not chdir to home directory /home/mgmtuser: Permission denied /bin/bash: Permission denied Connection to [ProdServer_IP] closed. 这很怪,…
#WTF #TalesFromTechSupport

后续:

两个人插显示器键盘修了一天,终于修完了。

12:00 开始修到 18:00 。

你问我为啥这么慢?

因为服务器开机能有5到10分钟。给你选择更改启动项的时间就只有10秒不到。在这等待过程中你还啥也不能做,只能等着。你要是错过了更改启动项的时间,你就得再重启一次从头再来,然后又过去5到10分钟。
#转发 #WTF #isRetro

https://youtu.be/a0D3m-MnaOg

当你觉得 ZX Spectrum 的巧克力橡胶键盘还不够完蛋的时候,请记得有人甚至做出了电容触摸式键盘的版本...

// 这甚至比 ZX81 的薄膜键盘还完蛋...
// 但电容触摸实现的效果确实很棒。