在第一个专题中已经比较系统地介绍了JVM三种常见的垃圾回收器算法和相关实践，这篇文章会在此基础上分场景将GC相关问题再梳理一番，一方面希望能够在发生GC问题的时候可以比较系统地指导问题分析的方向，另一方面也是希望通过这篇文章介绍一些关于使用GC日志分析GC问题的思路。如果在阅读的时候需要更加深入了解背后的机制，可以回头阅读公众号前期相关GC理论文章。 场景一: 没有发生GC […]
前言 本文是京东交易链路众多核心应用GC优化经验的总结，旨在简明扼要说明各种回收器的基本调优设置，为各应用GC配置提供指引。 一、JDK版本 以下所有优化全部基于JDK8版本，强烈建议低版本升级到JDK8，并尽可能使用update_191以后版本。 二、如何选择垃圾回收器 响应优先应用：面向C端对响应时间敏感的应用，堆内存8G以上建议选择G1，堆内存较小或低版本JDK选择C […]
考虑CMS无法有效避免FGC，且单次GC耗时经常不可控。因此在如下两种场景下倾向于使用G1替换CMS： 大堆系统长时间FGC会引起上层服务异常，比如RegionServer/HiveServer等。 对读写毛刺比较敏感的在线数据库服务，比如在线推荐场景下的HBase，GC耗时过长就会导致整体可用率降低。 笔者在2019年开始将集团内部多数HBase所用CMS升级到G1，升级 […]
一. 背景介绍 笔者在这个系列的第一篇文章《一文看懂”ParNew+CMS”垃圾回收器》中详细介绍了”ParNew+CMS”垃圾回收器的工作原理。文章最后笔者提到CMS垃圾回收器有两个比较显著的问题，一个是长时间运行无法避免Full GC，一个是Remark阶段STW时间较长。正是因为这两个问题的存在，CMS垃圾回收器在JDK9被标记弃用，慢慢开始退出历史舞台。有走的，就有 […]
这是”大内存服务GC实践”的第三篇文章，前面两篇文章分别系统地介绍了”ParNew+CMS”组合垃圾回收器的原理以及FullGC的一些排查思路。分别见： 【大内存服务GC实践】- 一文看懂”ParNew+CMS”垃圾回收器 【大内存服务GC实践】- “ParNew+CMS”实践案例 : HiveMetastore FullGC诊断优化 本篇文章重点结合生产线上NameNod […]
Metastore服务是Hive的核心组成部分，是整个hadoop大数据体系的元数据基石，所有数据表相关schema信息、partition信息、元数据统计信息等都存储在Metastore所依赖的MySQL中，通过Metastore服务执行各种元数据操作。Metastore服务一旦长时间异常，所有依赖服务（诸如HiveServer、Spark、Impala等）就都会出现功能 […]
因为工作的需要，笔者前前后后分别接触了HBase RegionServer、HiveServerMetastore以及HDFS NameNode这些大内存JVM服务。 在和这些JVM系统打交道的过程中，GC优化始终是一个绕不过去的话题，有的是因为GC导致NameNode RPC请求耗时增大，有的是因为GC导致RegionServer/HiveServer/Metastore […]
JVM垃圾回收器CMS原理与调优 1. JVM运行原理简介 我们写好的代码，是要通过JVM才能运行的。 JVM 想要执行一个类，首先要加载类，在加载类之前，需要先编译成字节码class文件； 然后就执行类的加载过程，JVM 加载类的话，需要类加载器； 类加载器是分层级的，遵循双亲委派机制。 最上层是Bootstrap ClassLoder，加载java的核心类库， […]
