前言 本文是京东交易链路众多核心应用GC优化经验的总结，旨在简明扼要说明各种回收器的基本调优设置，为各应用GC配置提供指引。 一、JDK版本 以下所有优化全部基于JDK8版本，强烈建议低版本升级到JDK8，并尽可能使用update_191以后版本。 二、如何选择垃圾回收器 响应优先应用：面向C端对响应时间敏感的应用，堆内存8G以上建议选择G1，堆内存较小或低版本JDK选择C […]

问题分析 在应用项目中，我们总会遇到很多字典项的数据，比如类型、状态等。这些数据一般是有限个可选值，在前端可能作为 Select 控件存在，用于录入、搜索等场景。 这类数据的一般作为配置存在，怎么设计才能让前后端维护方式最低呢？ 我们在团队上做了很多讨论，结合过完项目的经验把潜在方案整理如下。 方案枚举 假定我们经过简单的头脑风暴，可以枚举出下面的方案，再来分析其优缺点： […]

很多文章都在讨论认证和鉴权等相关话题，我自己几年前也写过几篇类似的文章，但在实际工作中，我们常常会忽略一部分设计。我们需要思考的是，用户在完成认证并获取访问凭证后，应该在哪里验证其访问权限。 这类问题尤其是在微服务场景下非常突出，如果没有统一的方案或者约定，会造成不同的开发人员在不同服务使用不同的策略实现。 微服务下有哪些鉴权类型？ 权限检查点设计一个要点是，不能一刀切，需 […]

问题 假设，业务上需要生成订单编号，其要求为： 不能太长，固定 10 位。 生成规则为：“订单类型字母缩写” + “年月日” + 步长为 1 的递增序列。 单号每天重新开始。 性能要求一般，日均单量一万左右，订单均匀分布，并发不高。 经过分析，考虑如下特点： 不能使用 UUID，因为过长且有顺序问题。 不能直接使用数据库的自增 ID 主键，可以考虑通过自增主键进行复合处理。 […]

考虑CMS无法有效避免FGC，且单次GC耗时经常不可控。因此在如下两种场景下倾向于使用G1替换CMS： 大堆系统长时间FGC会引起上层服务异常，比如RegionServer/HiveServer等。 对读写毛刺比较敏感的在线数据库服务，比如在线推荐场景下的HBase，GC耗时过长就会导致整体可用率降低。 笔者在2019年开始将集团内部多数HBase所用CMS升级到G1，升级 […]

一、踩坑描述 写分页查询接口，order by和limit混用的时候，出现了排序的混乱情况 在进行第N页查询时，出现与第一前面页码的数据一样的记录。 二、问题 在MySQL中分页查询，我们经常会用limit，如:limit(0,20)表示查询第一页的20条数据，limit(20,20)表示查询第二页的数据。业务上我们通常也会在分页的时候加上排序 order by; 但是当l […]

一、问题回顾 1.1 问题描述 在项目的性能测试中，相关的接口的随着并发数增加，接口的响应时间变长，接口吞吐不再增长，应用的CPU使用率较高。 1.2 分析思路 谁导致的CPU较高，阻塞接口TPS的增长？接口的响应时间的调用链分布是什么样的，有没有慢的点？ 1）使用火焰图分析应用的CPU如下，其中log4j2日志占了40%左右CPU，初步怀疑是log4j2的问题。 2）调用 […]

最近在写代码时，发现一个分页的问题，查询的分页数据一直不正确，多次检查代码和搜索资料都没找到原因。如Mybatis版本问题？还是哪里分页没有正常使用？ 故此，借助与ChatGPT，看下是否能帮我找出Bug？ 下面是Java代码和Mybatis SQL： 看代码是觉得没啥不同，应该能正确分页查询数据才对，但是实际上查询分页数据不对。 接着把这段代码发给ChatGPT，问他分页 […]

git对于大家应该都不太陌生，熟练使用git已经成为程序员的一项基本技能，尽管在工作中有诸如 Sourcetree这样牛X的客户端工具，使得合并代码变的很方便。但找工作面试和一些需彰显个人实力的场景，仍然需要我们掌握足够多的git命令。 下边我们整理了45个日常用git合代码的经典操作场景，基本覆盖了工作中的需求。 Commit 1、我刚才提交了什么? 如果你用 git c […]

这是一份微博后端架构师李尔摩斯的ppt,主要介绍了微博话题服务高性能降级设计。核心内容是通过抛弃非核心业务和模块,减轻服务自身压力,避免故障扩散,保证核心业务稳定运行。技术上利用LUA脚本定时读取配置文件刷新到共享内存,Nginx获取共享内存配置快速应用新的降级规则。 介绍了微博话题服务高性能降级设计的需求和目标 阐述了三种降级方式:抛弃非核心业务、抛弃非核心模块、抛弃高耦 […]

一. 背景介绍 笔者在这个系列的第一篇文章《一文看懂”ParNew+CMS”垃圾回收器》中详细介绍了”ParNew+CMS”垃圾回收器的工作原理。文章最后笔者提到CMS垃圾回收器有两个比较显著的问题，一个是长时间运行无法避免Full GC，一个是Remark阶段STW时间较长。正是因为这两个问题的存在，CMS垃圾回收器在JDK9被标记弃用，慢慢开始退出历史舞台。有走的，就有 […]

这是”大内存服务GC实践”的第三篇文章，前面两篇文章分别系统地介绍了”ParNew+CMS”组合垃圾回收器的原理以及FullGC的一些排查思路。分别见： 【大内存服务GC实践】- 一文看懂”ParNew+CMS”垃圾回收器 【大内存服务GC实践】- “ParNew+CMS”实践案例 : HiveMetastore FullGC诊断优化 本篇文章重点结合生产线上NameNod […]

Metastore服务是Hive的核心组成部分，是整个hadoop大数据体系的元数据基石，所有数据表相关schema信息、partition信息、元数据统计信息等都存储在Metastore所依赖的MySQL中，通过Metastore服务执行各种元数据操作。Metastore服务一旦长时间异常，所有依赖服务（诸如HiveServer、Spark、Impala等）就都会出现功能 […]

因为工作的需要，笔者前前后后分别接触了HBase RegionServer、HiveServerMetastore以及HDFS NameNode这些大内存JVM服务。 在和这些JVM系统打交道的过程中，GC优化始终是一个绕不过去的话题，有的是因为GC导致NameNode RPC请求耗时增大，有的是因为GC导致RegionServer/HiveServer/Metastore […]

*All illustrations in this article are by  Ugonna Thelma If you are familiar with Object-Oriented Programming, then you’ve probably heard about the SOLID principles. These five software de […]