考虑CMS无法有效避免FGC，且单次GC耗时经常不可控。因此在如下两种场景下倾向于使用G1替换CMS： 大堆系统长时间FGC会引起上层服务异常，比如RegionServer/HiveServer等。 对读写毛刺比较敏感的在线数据库服务，比如在线推荐场景下的HBase，GC耗时过长就会导致整体可用率降低。 笔者在2019年开始将集团内部多数HBase所用CMS升级到G1，升级 […]
Metastore服务是Hive的核心组成部分，是整个hadoop大数据体系的元数据基石，所有数据表相关schema信息、partition信息、元数据统计信息等都存储在Metastore所依赖的MySQL中，通过Metastore服务执行各种元数据操作。Metastore服务一旦长时间异常，所有依赖服务（诸如HiveServer、Spark、Impala等）就都会出现功能 […]
因为工作的需要，笔者前前后后分别接触了HBase RegionServer、HiveServerMetastore以及HDFS NameNode这些大内存JVM服务。 在和这些JVM系统打交道的过程中，GC优化始终是一个绕不过去的话题，有的是因为GC导致NameNode RPC请求耗时增大，有的是因为GC导致RegionServer/HiveServer/Metastore […]
最近评论
秋天0261 发布于 2 个月前（10月16日）
哈 发布于 3 个月前（09月02日）
秋天0261 发布于 4 个月前（08月06日）
