本期作者 侯晓 哔哩哔哩高级测试开发工程师 日常生产中经常会碰到由于redis集群的不当访问，造成的线上问题。其中比较常见的是BigKey（大key）和HotKey（热key）的问题，这类问题不止会使服务的性能下降，还会影响用户正常使用功能，甚至会造成大范围的服务故障，故障有时还会发生连环效应，导致更加严重的后果。我们通过本文一起来探索，测试如何快速发现“大key”和“热k […]

一 问题是怎么发现的 最近有个Java系统上线后不久就收到了磁盘使用率告警，磁盘使用率已经超过了90%以上，并且磁盘使用率还在不停增长。 二 问题带来的影响 由于服务器磁盘被打满，导致了系统正常的业务日志无法继续打印，严重影响了系统的可靠性。 三 排查问题的详细过程 刚开始收到磁盘告警的时候，怀疑是日志级别问题，业务日志输出过多导致磁盘打满。但是查看我们自己的业务日志文件目 […]

这是遇到的第三次升级MySQL8 Java驱动的“坑”之三。分享一些经历，希望可以帮你少掉进坑里。   之三如下： ①最近有伙伴悄悄升级了Java MySQL8驱动，上线之后业务报障：说某某功能怎么提交不了，而且还提示报错。接到消息，立马查看。排查是某个查询接口报错，于是进一步排查，发现这生产日志打印如下： 可以从上面的异常日志发现，应该是某个字段类型不匹配造成的 […]

前言 旧项目MySQL Java升级驱动，本来一切都好好的，但是升级到8.x的驱动后，发现入库的时间比实际时间相差13个小时，这就很奇怪了，如果相差8小时，那么还可以说是时区不对，从驱动源码分析看看 1. demo pom依赖，构造一个真实案例，这里的8.0.22版本😋 <dependencies> <dependency> <groupId& […]

至暗时刻 2021年7月13日22:52，SRE收到大量服务和域名的接入层不可用报警，客服侧开始收到大量用户反馈B站无法使用，同时内部同学也反馈B站无法打开，甚至APP首页也无法打开。基于报警内容，SRE第一时间怀疑机房、网络、四层LB、七层SLB等基础设施出现问题，紧急发起语音会议，拉各团队相关人员开始紧急处理（为了方便理解，下述事故处理过程做了部分简化）。 初因定位 2 […]