Su的技术博客

  • 首页
  • 原创
  • 视频
  • Java
  • MySQL
  • DDD
  • 事故复盘
  • 架构方案
  • AI
  • Other
  • 工具
    • AI工具集
    • 工具清单
    • JSON在线格式化
    • JSON在线比较
    • SQL在线格式化
  • 打赏
  • 关于
kafka
架构方案

binlog 基于 MySQL Binlog 实现可配置的异构数据同步

为了满足不断增长的业务数据查询需求,马蜂窝从仅使用 MySQL 转向将业务数据同步到 Elasticsearch 进行多维度检索,从而解决了搜索问题。然而,这种异构存储带来了数据同步的挑战;最初采用中间表和定时脚本同步增量数据的方案,但随着数据量增加,中间表维护和扩展变得低效且耗时。为了实现实时数据同步并优化流程,新的方案基于 MySQL Binlog,利用 Kafka 的有序性和完整性机制,将 Binlog 数据高效、准确地同步到 Elasticsearch,极大减少了业务方的开发负担和中间表维护的痛点。

2025-05-04 0条评论 1584点热度 0人点赞 阅读全文
架构方案

eda 事件驱动架构(EDA) VS 请求响应架构(RR)

在当今快速发展的软件开发领域,选择合适的架构模 […]

2024-11-17 0条评论 1611点热度 0人点赞 阅读全文
Java

转载 Kafka为什么要去掉ZooKeeper?一文了解Kafka 中 ZooKeeper 的演变过程

Apache ZooKeeper 在 Apache Kafka 的发展中发挥了至关重要的作用,尤其是W […]

2024-08-25 0条评论 3705点热度 0人点赞 阅读全文

秋天0261

关注Java领域,后端开发、Netty、Zookeeper、Kafka、ES、分布式、微服务、架构等。分享技术干货,架构设计,实战经验等。

广告
最近评论
秋天0261 发布于 2 年前(12月16日) 这是后端开发常见的事务异常,务必掌握!
秋天0261 发布于 2 年前(12月09日) 已经支持了!!
秋天0261 发布于 2 年前(10月16日) 并发清理并不会STW

CRUD (1) Event Sourcing (1) graphql (1) id (1) NoSQL (1) quarkus (1) rest (1) RocketMQ (2) Spring Boot (1) zk (1) zookeeper (1) 上下文 (1) 事务消息 (1) 二级缓存 (1) 值对象 (1) 关系数据库 (1) 分布式缓存 (1) 原子性 (1) 唯一ID (1) 子域 (1) 幂等 (2) 干货 (1) 应用场景 (1) 康威定律 (2) 微服务架构 (3) 总体方案 (1) 支撑域 (1) 方案选型 (1) 机房 (1) 核心域 (1) 消息队列 (5) 源码剖析 (1) 灰度发布 (1) 熔断 (1) 生态 (1) 画图工具 (1) 研发团队 (1) 线程 (2) 组织架构 (1) 缓存架构 (1) 编码 (1) 视频 (20) 读写分离 (1) 贵州 (1) 软件设计 (1) 迁移 (1) 通用域 (1) 集群化 (1) 雪花算法 (1) 顺序消息 (1)

推荐链接🔗
  • AI工具集
  • 工具箱🛠️

COPYRIGHT © 2014-2025 verysu.com . ALL RIGHTS RESERVED.

Theme Kratos Made By Seaton Jiang

粤ICP备15033072号-2