【阿里】重磅！AI 驱动的 Java 开发框架：Spring AI Alibaba

应用架构历经了单体架构、LAMP 架构、SOA 架构、微服务架构、云原生架构。

• API First，开放协同：OpenAI 作为全球最大售卖 API 公司，通过 API 快速构建了生态和营收，加速创新，大模型企业无不例外通过 API 来向外提供服务。
• 事件驱动，提升吞吐：不同于经典应用，大模型处理速度慢，长链接流式推送消耗大，因此需要消息解耦，提升吞吐。
• AIOps，一键诊断：相比经典应用，大模型失败率更高，定位难度更大，因此需要更智能的诊断工具。

• 第一阶段：2022 年 ，ChatGPT 3.0 发布，震惊世界，但是当时数据幻觉，数据质量，数据格式问题非常多，很快行业推出了 LangChain 试图来解决这些问题；但是随着模型能力的增强，原有的问题逐步得到解决，但是由于大模型迭代迅速，Langchain 的过度封装，反而没有减少工程师们的代码量，额外带来了复杂度。
• 第二阶段：2023 年，随着 ChatGPT 4.0 / LIama 3.0 / Qwen 2.5 的推出，模型能力进一步提升，早期提示词的价值逐步弱化，LlamaIndex 因其更简单的体系抽象，更加符合当前的需求。
• 第三阶段：2024 年，随着多模态发展，模型能力持续突破，在过去的两年框架以 Python 为主，但是对于中国 42.9% 的 Java 开发者会选择是什么来构建 AI 应用呢？写 Python？写 Java 版 Langchain / LlamaIndex ？还是基于 Spring 体系进行构建？

随着生成式 AI 的快速发展，基于 AI 开发框架构建 AI 应用的诉求迅速增长，涌现出了包括 LangChain、LlamaIndex 等开发框架，它们为 Python 开发者提供了方便的 API 抽象。但这些开发框架对于国内习惯了 Spring 开发范式的 Java 开发者而言，并非十分友好和丝滑。因此，我们基于 Spring AI 发布并快速演进 Spring AI Alibaba，通过提供一种方便的 API 抽象，帮助 Java 开发者简化 AI 应用的开发，一步迈入 AI 原生时代。

• Higress：作为 AI 网关，支持多模型适配、流式输出、请求/Tokens 限流防护、长连接无损热更新，支持最小请求数负载均衡，并借助丰富的 AI 插件，帮助开发者零代码构建 AI 应用，守住安全合规底线。
• OTel：基于开源 Open Telemetry Python SDK 进行了扩展，发布可观测探针，为 GenAI 应用可观测而生，能自动获取大模型调用各个阶段的数据，全面提升 LLM 应用的可观测性。
• Apache RocketMQ：支持主动 POP 消费模式，自适应负载均衡，动态消费超时时长，适应不同算力消耗的请求，实时数据驱动 RAG 架构，提升吞吐量和实时性。
• Nacos Python SDK：提升灵活性，动态调整提示词模版、算法、相关度等参数。

• 阿里内部大规模验证，通义 / PAI / 百炼长期打磨。
• 具备完整的生态和组件，覆盖应用开发的主链路。
• 支持主流大模型，低代码、甚至无代码构建企业级 AI 应用。
• 深度集成阿里云百炼、云原生应用开发平台 CAP，开箱即用。

本文仅供学习！所有权归属原作者。侵删！文章来源： 阿里巴巴中间件 - :http://mp.weixin.qq.com/s/1hRVYkqaBmKpBPV5V0E-Aw