Forwarded from 资源管理器喵的瞎几把bb (资源管理器 喵♡)
2017的事 广西移动 回顾经典
9月8日，广西南宁HSS09（华为）扩容割接完成后，经拨测发现部分用户号码无法作主被叫，数据业务无法使用。影响钦州、北海、防城港、桂林、梧州、贺州本地网部分用户，初步估计80万用户的语言和数据业务受到影响。 初步判断为工程割接人为误操作导致用户数据丢失。
故障过程：
5:00 华为NNHSS09BE01/NNHSS09BE02磁阵扩容子工程后探测发现，由于工程实施过程中厂家实施人员出现误操作，将NNHSS09BE01/NNHSS09BE02互为灾备的各1对DSU单板格式化（该HSS共8对DSU单板），导致HSS中存储用户数据被删除，从而导致钦州、北海、防城港、桂林、贺州、梧州约80万用户2/3/4G所有业务的无法使用。
8：15 完成所有SGSN POOL和MSC POOL的鉴权关闭工作。
10:00 已完成约80万假鉴权（非真实数据）用户的鉴权加载及用户业务数据开通，为了加快用户尽快注册上网络，已通过修改位置更新周期为6分钟，强制用户6分钟后向网络发起注册。故2G业务从10:00开始陆续恢复。
11:40 2/3G业务基本恢复正常
11:40 从BOSS拿到真实的鉴权数据
11:40-13:40 分三批次完成所有真实鉴权数据和用户数据的恢复
截至13:30，故障全部恢复
本次故障，共收到10086投诉20727起。属于集团重大故障。
9月8日，广西南宁HSS09（华为）扩容割接完成后，经拨测发现部分用户号码无法作主被叫，数据业务无法使用。影响钦州、北海、防城港、桂林、梧州、贺州本地网部分用户，初步估计80万用户的语言和数据业务受到影响。 初步判断为工程割接人为误操作导致用户数据丢失。
故障过程：
5:00 华为NNHSS09BE01/NNHSS09BE02磁阵扩容子工程后探测发现，由于工程实施过程中厂家实施人员出现误操作，将NNHSS09BE01/NNHSS09BE02互为灾备的各1对DSU单板格式化（该HSS共8对DSU单板），导致HSS中存储用户数据被删除，从而导致钦州、北海、防城港、桂林、贺州、梧州约80万用户2/3/4G所有业务的无法使用。
8：15 完成所有SGSN POOL和MSC POOL的鉴权关闭工作。
10:00 已完成约80万假鉴权（非真实数据）用户的鉴权加载及用户业务数据开通，为了加快用户尽快注册上网络，已通过修改位置更新周期为6分钟，强制用户6分钟后向网络发起注册。故2G业务从10:00开始陆续恢复。
11:40 2/3G业务基本恢复正常
11:40 从BOSS拿到真实的鉴权数据
11:40-13:40 分三批次完成所有真实鉴权数据和用户数据的恢复
截至13:30，故障全部恢复
本次故障，共收到10086投诉20727起。属于集团重大故障。
Forwarded from 资源管理器喵的瞎几把bb (资源管理器 喵♡)
还有这个 2018 顺丰
邓某错选了RUSS数据库，打算删除执行的SQL。在选定删除时，因其操作不严谨，光标回跳到RUSS库的实例，在未看清所选内容的情况下，便通过delete执行删除，同时邓某忽略了弹窗提醒，直接回车，导致RUSS生产数据库被删掉。
因运维工作人员不严谨的操作，导致OMCS运营监控系统瞬间崩溃，该系统上临时车线上发车功能无法使用并持续约10个小时。同比9月5日的929条临时车需求临时变更，此次删库对生产业务产生了严重的负面影响。
据说该员工任职顺丰科技IT数据中心应用交付技术部互联网产品运维组，职务IT运维开发高级工程师。
邓某错选了RUSS数据库，打算删除执行的SQL。在选定删除时，因其操作不严谨，光标回跳到RUSS库的实例，在未看清所选内容的情况下，便通过delete执行删除，同时邓某忽略了弹窗提醒，直接回车，导致RUSS生产数据库被删掉。
因运维工作人员不严谨的操作，导致OMCS运营监控系统瞬间崩溃，该系统上临时车线上发车功能无法使用并持续约10个小时。同比9月5日的929条临时车需求临时变更，此次删库对生产业务产生了严重的负面影响。
据说该员工任职顺丰科技IT数据中心应用交付技术部互联网产品运维组，职务IT运维开发高级工程师。
Forwarded from 心惊报 (投稿机器人)