Su的技术博客

  • 首页
  • 原创
  • 视频
  • Java
  • MySQL
  • DDD
  • 事故复盘
  • 架构方案
  • AI
  • Other
  • 工具
    • AI工具集
    • 工具清单
    • JSON在线格式化
    • JSON在线比较
    • SQL在线格式化
  • 打赏
  • 关于
路很长,又很短
  1. 首页
  2. Java
  3. 正文
                           

【京东】高效开发与设计:提效Spring应用的运行效率和生产力

2024-01-18 1958点热度 0人点赞 0条评论
高效开发与设计:提效Spring应用的运行效率和生产力
Tech

导读

随着Java开发者社区对Spring框架的深入使用,我们越来越认识到在大型应用中,启动速度和性能优化的重要性。本文将深入探讨如何通过专业分析和优化技术,显著提升Spring应用程序的启动速度和运行性能,解决了开发过程中的效率瓶颈和线上服务的快速扩容需求。

01 

引言

在今年的敏捷团队建设中,我通过Suite执行器实现了一键自动化单元测试。Juint除了Suite执行器还有哪些执行器呢?由此我的Runner探索之旅开始了!
‍
现状和背景

Spring框架是广泛使用的Java开发框架之一,它提供了强大的功能和灵活性,但在大型应用中,由于Spring框架的复杂性和依赖关系,应用的启动时间和性能可能会受到影响。这可能导致开发过程中的迟缓和开发效率低下。

优化Spring应用程序的启动速度和性能是一个重要的任务,通过分析和优化应用的初始化过程、减少不必要的依赖和组件加载、并利用异步初始化、懒加载等技术,可以显著改善应用的启动性能。这将帮助开发者提高开发效率、减少调试时间,并提供更好的用户体验。

线上的业务 jar 包基本上普遍比较庞大,动不动一个 jar 包几百 M,启动时间在10分钟级,拖慢了在故障时快速扩容响应、以及本地开发调试的效率。于是做了一些分析,看看 Spring 程序启动慢到底慢在哪里,如何去优化,目前的效果是大部分大型应用启动时间可以缩短 70%~80%。

主要有下面这些内容

  • SpringBean 加载耗时 timeline 可视化分析(✅)

  • SpringBean 的可视化依赖分析(✅)

  • 应用未加载的jar包(Jar瘦身)(✅)

  • 应用启动过程线程wall clock火焰图(✅)

 


 

重要性和影响

  • 开发效率提高:较快的应用启动速度可以显著减少开发和调试的时间。开发人员能够更快地启动应用程序,进行功能测试和调试,从而提高开发效率和迭代速度。
  • 部署和扩展效率提升:优化启动速度可以减少部署和扩展应用程序的时间和成本。快速启动的应用程序可以更快地响应负载变化,提高系统的可伸缩性和弹性。
  • 资源利用率优化:通过减少初始化时间和优化资源加载,可以降低应用程序的内存和CPU占用率。这有助于提高服务器的利用率,并降低运行应用程序的成本。

02 

  分析工具  

理解,首先 MCube 会依据模板缓存状态判断是否需要网络获取最新模板,当获取到模板后进行模板加载,加载阶段会将产物转换为视图树的结构,转换完成后将通过表达式引擎解析表达式并取得正确的值,通过事件解析引擎解析用户自定义事件并完成事件的绑定,完成解析赋值以及事件绑定后进行视图的渲染,最终将目标页面展示到屏幕。

•Arthas:Arthas是一个开源的Java诊断工具,可以实时监控和诊断Java应用程序。它提供了丰富的命令和功能,用于分析应用程序的性能问题,包括启动过程中的资源消耗和加载时间。

•JVM Sandbox:JVM Sandbox是一种基于Java安全管理器的技术,用于隔离和限制Java应用程序的访问权限。它可以帮助减少启动时的资源消耗和加载时间,提高应用程序的启动速度。

•Async Profiler:Async Profiler是一个低开销的异步Java性能分析工具,用于收集和分析应用程序的性能数据。它可以帮助你找出启动过程中的性能瓶颈,以及其他影响启动速度的问题。

•启动加速-异步初始化方法:异步初始化方法是一种启动加速的技术,通过将一些初始化任务异步执行,可以减少启动时间并提高应用程序的响应性。这可以通过使用线程池、异步框架或异步注解等方式来实现。

•Spring Boot Startup Report:Spring Boot Startup Report是一个用于生成Spring Boot应用程序启动报告的工具。它可以提供详细的启动过程信息,包括每个bean的加载时间、自动配置的耗时等,帮助你分析和优化启动过程。

•Jaeger UI:Jaeger UI是一个用于可视化和分析分布式追踪数据的工具。通过使用Jaeger UI,你可以监控和分析应用程序的启动过程,识别潜在的性能问题和瓶颈。

•Spring Startup Analyzer:Spring Startup Analyzer是一个用于采集Spring应用程序启动过程数据并生成交互式分析报告的工具。它的目标是帮助分析Spring应用程序的启动卡点,并支持Spring Bean的异步初始化,以减少优化Spring应用程序的启动时间。该工具支持在Linux、Mac和Windows操作系统上运行,并参考了spring-boot-startup-report实现其用户界面。使用Spring Startup Analyzer,可以收集应用程序的启动过程数据,并生成可视化的HTML报告。这个报告可以帮助你分析Spring应用程序的启动性能,并找出潜在的优化机会。

启动概览

•Startup Time(s):启动时长

•Num of Bean:初始化的Bean数量

•Used/Total Jars:使用Jar数量/总量

•Unused/Total Jars:未使用Jar数量/总量

•ClassLoader Count:类加载器数量

高效开发与设计:提效Spring应用的运行效率和生产力

Spring Bean初始化详情

•Name:一级name对应着Bean的名称

•Duration with children (ms) :Bean的引用加载时长

•Duration (ms) :Bean本身的加载时长

•Detail:包含类加载器、加载该Bean的线程信息(异步加载的话会有多个不同的)

高效开发与设计:提效Spring应用的运行效率和生产力

SpringBean 加载耗时 timeline 可视化分析

这个观察项可以一直下探,直到Bean引用的最末级,可以看出每一级的加载时长

高效开发与设计:提效Spring应用的运行效率和生产力

应用启动过程线程wall clock火焰图

如何看懂火焰图

y 轴表示调用栈,每一层都是一个函数。调用栈越深,火焰就越高,顶部就是正在执行的函数,下方都是它的父函数。

x 轴表示抽样数,如果一个函数在 x 轴占据的宽度越宽,就表示它被抽到的次数多,即执行的时间长。注意,x 轴不代表时间,而是所有的调用栈合并后,按字母顺序排列的。

火焰图就是看顶层的哪个函数占据的宽度最大。只要有"平顶"(plateaus),就表示该函数可能存在性能问题。

颜色没有特殊含义,因为火焰图表示的是 CPU 的繁忙程度,所以一般选择暖色调。

火焰图总览

从总览图中可以看出,有三个入口函数占用百分比较大,下面分别看一下。

高效开发与设计:提效Spring应用的运行效率和生产力

火焰局部图1

这部分火焰图可以看出,springfox在启动过程做了很多初始化,占了大量时间,对于不需要该功能的项目,可以直接下掉。

高效开发与设计:提效Spring应用的运行效率和生产力

火焰局部图2

spring bean 的初始化过程

高效开发与设计:提效Spring应用的运行效率和生产力

从这个图中可以看出,bean的创建过程也占了很多时间。

高效开发与设计:提效Spring应用的运行效率和生产力

火焰局部图3

从这个图中可以看出,注册BeanPostProcessor也耗费了大量时间。

高效开发与设计:提效Spring应用的运行效率和生产力

应用未加载的jar包(Jar瘦身)

这一个观察项可以搜集到项目启动完之后,没有用到的Jar包。

高效开发与设计:提效Spring应用的运行效率和生产力

03 

  

实施与优化效果  

理解,首先 MCube 会依据模板缓存状态判断是否需要网络获取最新模板,当获取到模板后进行模板加载,加载阶段会将产物转换为视图树的结构,转换完成后将通过表达式引擎解析表达式并取得正确的值,通过事件解析引擎解析用户自定义事件并完成事件的绑定,完成解析赋值以及事件绑定后进行视图的渲染,最终将目标页面展示到屏幕。

操作步骤和配置项

安装Spring Startup Analyzer
手动安装
  1. 点击realease下载最新版tar.gz包新建文件夹,并解压
  2. linux/mac系统可以考虑使用以下命令:
mkdir -p ${HOME}/spring-startup-analyzercd 下载路径tar -zxvf spring-startup-analyzer.tar.gz -C 安装路径/spring-startup-annalyzer
脚本安装(linux/mac)
curl -sS https://raw.githubusercontent.com/linyimin0812/spring-startup-analyzer/main/bin/install.sh | sh

脚本默认安装路径:$HOME/spring-startup-analyzer

应用启动

spring-startup-analyzer是以agent的方式启动的,所以在启动命令中添加参数-javaagent:安装路径/spring-startup-analyzer/lib/spring-profiler-agent.jar即可。

•以java命令行的方式启动应用,则在命令行中添加参数,例如:

java -javaagent:/Users/runner/spring-startup-analyzer/lib/spring-profiler-agent.jar     -Dproject.name=mac-demo     -Dspring-startup-analyzer.admin.http.server.port=8066     -jar /Users/runner/spring-startup-analyzer/ARK.jar

•IDEA中启动,则需要在VM options选项中添加:

高效开发与设计:提效Spring应用的运行效率和生产力

日志文件路径:安装路径/spring-startup-analyzer/logs

•startup.log: 启动过程中的日志

•transform.log: 被re-transform的类/方法信息

应用启动完成后会在console和startup.log文件中输出======= spring-startup-analyzer finished, click http://localhost:xxxx to visit details. ======,可以通过此输出来判断采集是否完成。

启动时间和性能改善情况

优化之前

预发平均启动10分钟,本地无法启动,每次需求需要提交到预发环境验证,开发和发版周期比较长,且预发环境连接的生产库,不能随便造数。项目引用585个jar,其中有337个jar没用到。

高效开发与设计:提效Spring应用的运行效率和生产力

慢bean分析

分析可以看到,耗时排名前面的接口都是jsf相关的加载,还有一个es相关的bean。

功能路径:

Details of Method Invoke --> AbstractAutowireCapableBeanFactory.createBean

高效开发与设计:提效Spring应用的运行效率和生产力

jsf启动优化

注:index=“注册中心地址”中的“注册中心地址“做了匿名,在具体场景查看自己代码中的配置

jsf的生产者的注册中心在启动的时候,会拉取一批ip,不断尝试注册jsf,在办公环境这些ip无法访问,导致启动过程一直重试


 <!-- 预发、生产的注册中心 -->    <jsf:registry id="jsfRegistry" protocol="jsfRegistry" index="注册中心地址"/>
 

在本机host里面增加jsf发布地址的host配置,下面*.*.*.* 在使用的时候替换成自己的,可以 ping test.注册中心地址 获取。“注册中心地址” 替换成上面index后面的地址

*.*.*.* 注册中心地址

 

再次启动项目,时长来到185s

高效开发与设计:提效Spring应用的运行效率和生产力

开启Bean懒加载

将ES的Bean初始化进行懒加载,以及开启全局懒加载,时长来到131s;

全局懒加载:

1.根据spring版本的不同,开启全局懒加载的方式可能会不相同

2.不建议生产环境开启全局懒加载,因为基本上我们的服务都是部署在k8s上的,有可能服务在伸缩的时候,在访问量大的时候,由于懒加载的配置,服务快速启动成功了,会返回给docker容器服务已经准备就绪状态,导致k8s把流量分给该服务,导致预想不到的问题。

高效开发与设计:提效Spring应用的运行效率和生产力

Jar瘦身

对于应用未使用的jar包,可以谨慎剔除,在剔除的时候一个一个下,每下一个都要重复编译和启动验证是否会对项目造成影响,这是一个持续和长期的过程,Jar瘦身不仅对启动时长有收益,而且对编译提效很明显,减少了大量的Jar复制过程。

高效开发与设计:提效Spring应用的运行效率和生产力

最终效果

做完上述优化之后:

•本地能够启动和debug项目,这对开发人员来说有极大的提效。

•预发使用该方案进行优化之后,能够缩短项目编译以及发布的时间,对于快速验证和迭代需求有极大提效。

•整体启动效率提升70%~80%。

•在intel芯片电脑,启动速度在2min11s。

•在m1芯片的电脑,速度会更快,大概启动时间在90s左右。

•使用该思路,可以优化大部分spring以及spring boot项目,建议定期做一轮这种排查和优化。

04 

  总结:优化关键点和方法  

理解,首先 MCube 会依据模板缓存状态判断是否需要网络获取最新模板,当获取到模板后进行模板加载,加载阶段会将产物转换为视图树的结构,转换完成后将通过表达式引擎解析表达式并取得正确的值,通过事件解析引擎解析用户自定义事件并完成事件的绑定,完成解析赋值以及事件绑定后进行视图的渲染,最终将目

•去除未使用的jar包:定位未使用的jar包。通过分析和整理项目依赖,可以将这些未使用的jar包从应用中移除,减少编译、启动时间和资源消耗。

•优化慢速的Bean初始化:找到启动耗时较长的Bean。可以考虑对这些接口和Bean进行优化,例如使用延迟加载或异步加载的方式,以减少启动时的耗时。

•取消不需要的发布:对于本地开发环境而言,如果不需要发布jsf接口,可以在本地取消这部分的发布,以节省启动时间。

•开启全局懒加载:通过开启全局懒加载,可以延迟加载一些不必要的组件和资源,从而减少启动时间。确保在需要使用时才进行加载。

•拆分大型组件:定位加载时间较长的组件,可以考虑将其拆分成多个组件,并在启动时只加载需要的部分。这样可以减少启动时的加载时间和资源消耗。

•使用性能分析工具:结合之前提到的性能分析工具,如Spring Startup Analyzer、Java Profiler、VisualVM等,对应用进行性能分析。通过监测和分析应用的性能数据,可以找到性能瓶颈,并针对性地进行优化。

•定期进行代码优化和重构:定期审查和优化代码,识别和消除潜在的性能问题。使用优化的算法和数据结构,减少不必要的计算和循环,优化数据库查询等,以提高应用的性能。

•使用缓存机制:合理地使用缓存来减少对数据库或其他资源的频繁访问。通过缓存常用数据或计算结果,可以显著提升应用的响应速度和性能。

•并行化处理:如果有一些独立的任务可以并行处理,可以考虑使用多线程或异步机制来提高处理速度和效率。

信息补充

oracle jdk8下载地址

https://www.oracle.com/java/technologies/downloads/#java8-mac

本地redis安装

https://redis.io/docs/install/install-redis/install-redis-on-windows/

spring-startup-analyzer启动分析工具

https://github.com/linyimin0812/spring-startup-analyzer/blob/main/README_ZH.md

高效开发与设计:提效Spring应用的运行效率和生产力
高效开发与设计:提效Spring应用的运行效率和生产力

‍
打造SAAS化服务的会员徽章体系,可以作为标准的产品化方案统一对外输出。结合现有平台的通用能力,实现会员行为全路径覆盖,并能结合企业自身业务特点,规划相应的会员精准营销活动,提升会员忠诚度和业务的持续增长。
▪
底层能力:维护用户基础数据、行为数据建模、用户画像分析、精准营销策略的制定

▪功能支撑:会员成长体系、等级计算策略、权益体系、营销底层能力支持

▪用户活跃:会员关怀、用户触达、活跃活动、业务线交叉获客、拉新促活

‍

‍

本文仅供学习!所有权归属原作者。侵删!文章来源: 京东技术 -京东健康 梁灿 :http://mp.weixin.qq.com/s/Z6FqmLADUzK22UogF3yPQA

 

更多文章:

  1. 解放双手!ChatGPT助力编写JAVA框架
  2. Redis为什么这么快?
  3. Spring中@Autowired和@Inject注解的区别?
  4. 从代码到设计的性能优化指南
  5. MySQL性能优化浅析及线上案例讲解
  6. 定时任务原理方案综述
  7. LangChain:打造自己的LLM应用
  8. 随机高并发查询结果一致性设计实践
  9. 手把手教你落地DDD
  10. Spring 七种事务传播性介绍
标签: 京东 性能优化 Java Spring 开发 设计
最后更新:2024-01-18

coder

分享干货文章,学习先进经验。

打赏 点赞
< 上一篇
下一篇 >

文章评论

razz evil exclaim smile redface biggrin eek confused idea lol mad twisted rolleyes wink cool arrow neutral cry mrgreen drooling persevering
取消回复

广告
文章目录
  • 引言
  •   分析工具  
  • 实施与优化效果  
  •   总结:优化关键点和方法  
最新 热点 推荐
最新 热点 推荐
Anthropic Code with Claude 开发者大会:开启 AI Agent 新时代 视频笔记-微服务架构P4:必懂5种设计模式 视频笔记:微服务架构P4 设计模式:每服务数据库、API 网关和事件驱动架构 干货 | 论Elasticsearch数据建模的重要性 马蜂窝消息总线——面向业务的消息服务设计 基于 MySQL Binlog 实现可配置的异构数据同步 视频笔记:Google发布Agent2Agent协议 视频笔记:什么是微服务,为什么是微服务?
基于 MySQL Binlog 实现可配置的异构数据同步马蜂窝消息总线——面向业务的消息服务设计视频笔记:微服务架构P4 设计模式:每服务数据库、API 网关和事件驱动架构干货 | 论Elasticsearch数据建模的重要性视频笔记-微服务架构P4:必懂5种设计模式Anthropic Code with Claude 开发者大会:开启 AI Agent 新时代
康威定律:为什么你的架构会反映团队结构? 用图讲解SOLID设计原则 浅析Redis大Key 高效开发与设计:提效Spring应用的运行效率和生产力 Commands与Events之间的区别 责任链模式在复杂数据处理场景中的实战 手把手教你实战TDD 笔记 | JVM内存区域结构:一计两栈一堆一区

CRUD (1) Event Sourcing (1) graphql (1) id (1) NoSQL (1) quarkus (1) rest (1) RocketMQ (2) Spring Boot (1) zk (1) zookeeper (1) 上下文 (1) 事务消息 (1) 二级缓存 (1) 值对象 (1) 关系数据库 (1) 分布式缓存 (1) 原子性 (1) 唯一ID (1) 商品 (1) 多对多 (1) 子域 (1) 字符集 (1) 客户端心跳 (1) 幂等 (2) 干货 (1) 并发 (1) 应用场景 (1) 应用架构图 (1) 康威定律 (2) 异步复制 (1) 微服务架构 (3) 总体方案 (1) 技术方案 (2) 技术架构 (2) 技术架构图 (1) 技能 (1) 持续集成 (1) 支撑域 (1) 故障恢复 (1) 数据架构图 (1) 方案选型 (1) 日记 (1) 服务发现 (1) 服务治理 (1) 服务注册 (2) 机房 (1) 核心域 (1) 泄漏 (1) 洋葱架构 (1) 消息队列 (5) 源码剖析 (1) 灰度发布 (1) 熔断 (1) 生态 (1) 画图工具 (1) 研发团队 (1) 线程 (2) 组织架构 (1) 缓存架构 (1) 编码 (1) 视频 (20) 读写分离 (1) 贵州 (1) 软件设计 (1) 迁移 (1) 通用域 (1) 集群化 (1) 雪花算法 (1) 顺序消息 (1)

推荐链接🔗
  • AI工具集
  • 工具箱🛠️

COPYRIGHT © 2014-2025 verysu.com . ALL RIGHTS RESERVED.

Theme Kratos Made By Seaton Jiang

粤ICP备15033072号-2