上个周日12月18号，阿里云香港服务器发生了都不知道算 P 几事故的史诗级宕机事件，整个事件导致香港地区 C 区 ECS、OSS、EBS、RDS 等云服务大范围不可用，故障时间从 早上 8 点多一直持续到晚上 10 点多才最终恢复，整个故障时间长达 14 个小时。 比较有名的交易所平台如 Gate.io 和 OKEX 都受到大面积故障影响，我都还以为他们跑路了 […]

你好，我是悟空。 本文主要内容如下： 一、前言 最近项目的生产环境遇到一个奇怪的问题： 现象：每天早上客服人员在后台创建客服事件时，都会创建失败。当我们重启这个微服务后，后台就可以正常创建了客服事件了。到第二天早上又会创建失败，又得重启这个微服务才行。 初步排查：创建一个客服事件时，会用到 Redis 的递增操作来生成一个唯一的分布式 ID 作为事件 id。代码如下所示： […]

至暗时刻 2021年7月13日22:52，SRE收到大量服务和域名的接入层不可用报警，客服侧开始收到大量用户反馈B站无法使用，同时内部同学也反馈B站无法打开，甚至APP首页也无法打开。基于报警内容，SRE第一时间怀疑机房、网络、四层LB、七层SLB等基础设施出现问题，紧急发起语音会议，拉各团队相关人员开始紧急处理（为了方便理解，下述事故处理过程做了部分简化）。 初因定位 2 […]

一 背景 最近项目组在版本迭代时，组件也要进行升级，此时涉及到MySQL驱动包jdbc的版本升级。即从5.1.X升级到8.0.X。   然鹅在上线之后就出现了一部分兼容性问题，造成了一次“事故”：调用接口出现“系统错误”。查看日志：java.time.LocalDateTime cannot be cast to java.util.Date，也就是出现时间转换异 […]