导航菜单
路很长,又很短
博主信息
昵   称:Cocodroid ->关于我
Q     Q:2531075716
博文数:312
阅读量:890668
访问量:89245
至今:
×
博文->>消息队列 博文列表>>
Tags : 消息队列,消息轨迹,RocketMQ 发表时间:2019-10-01 07:47:30
一、消息轨迹数据结构 二、发送消息轨迹流程 三、消息轨迹存储 四、消费消息轨迹流程 五、总结 消息轨迹在不少情况是很重要的,比如消息到底有没有发送出去,消息存储在哪个Broker,消息被哪些消费者消费、消费时间、消费耗时等等。对于我们排查消息问题还是非常重要的。 RocketMQ 4.4.0版本开始支持消息轨迹,目前(2019-09-08)最新release版本是4.5.2。 下图是使用RocketMQ-console查看消息轨迹的数据:
类别:消息队列 | 阅读(140)| 回复(0)| (0) 阅读全文>>
Tags : RocketMQ,消息队列,MQ 发表时间:2019-08-17 22:19:16
RocketMQ是阿里开源的消息队列框架,如今也已成为Apache顶级项目,RockerMQ是一个非常优秀的框架,现在大部分互联网公司使用的消息队列也是RocketMQ,在我们使用的过程中,如果能一开始就给你最佳实践,可以避免走一些弯路,甚至你看完之后可以自身检查下你们是不是这样使用,没有的话可以进行适当的调整,这篇文章应该能够帮助你更好的使用RockerMQ。 1 〓Producer最佳实践 1、Topic一个应用尽可能用一个 Topic,消息子类型用 tags 来标识,tags 可以由应用自由设置。
类别:消息队列 | 阅读(294)| 回复(0)| (0) 阅读全文>>
Tags : 消息队列,队列,kafka,面试题 发表时间:2019-03-17 23:01:11
1、请说明什么是Apache Kafka? 2、说说Kafka的使用场景? 3、使用Kafka有什么优点和缺点? 4、为什么说Kafka性能很好,体现在哪里? 5、请说明什么是传统的消息传递方法? 6、请说明Kafka相对传统技术有什么优势? 7、解释Kafka的Zookeeper是什么?我们可以在没有Zookeeper的情况下使用Kafka吗? 8、解释Kafka的用户如何消费信息? 9、解释如何提高远程用户的吞吐量? 10、解释一下,在数据制作过程中,你如何能从Kafka得到准
类别:消息队列 | 阅读(12467)| 回复(3)| (4) 阅读全文>>
Tags : kafka,Spring-Kafka 发表时间:2018-11-22 00:07:08
    使用Spring-Kafka往Kafka Broker发送消息出现下面的异常信息: java.lang.IllegalArgumentException: Magic v1 does not support record headers at org.apache.kafka.common.record.MemoryRecordsBuilder.appendWithOffset(MemoryRecordsBuilder.java:403) at org.apache.kafka.c
类别:消息队列 | 阅读(5741)| 回复(3)| (0) 阅读全文>>
Tags : Netty 发表时间:2017-08-26 14:00:24
Netty当前的版本: User guide for 4.x - RECOMMENDED VERSION User guide for 3.x User guide for 5.x - ABANDONED VERSION - NOT SUPPORTED 4.x版本是当前官方推荐,4.x版本目前一直在维护中,值得称赞! 3.x版本是比较旧的版本,跟4.x版本相比变化比较大,特别是API。 5.x是被舍弃的版本,官方不再支持! Netty 5.0以前是发布alpha版。 听到你Netty 5.0不继续开发了,这个是相当大的吃惊,目前也有一部分书籍
类别:消息队列 | 阅读(5950)| 回复(1)| (5) 阅读全文>>
Tags : ZK,Zookeeper,curator 发表时间:2017-09-26 22:23:20
    使用ZK客户端curator框架连接Zookeeper出现连接不上,并且时好时不好:         启动ZK之后,客户端连接正常,一段时间重启客户端,却发现始终连接不上,再次重启ZK,则正常;有时重启ZK,客户端怎么弄都连接不上。     连接超时日志如下: WARN - Client session timed out, have not heard from server in 30000ms for se
类别:消息队列 | 阅读(4936)| 回复(0)| (0) 阅读全文>>
Tags : netty,性能优化 发表时间:2017-01-08 12:44:32
1 对于JVM启动时选取的启动参数是:-server -Xms2048m -Xmx2048m -XX:+UseParallelGC -XX:+AggressiveOpts -XX:+UseFastAccessorMethods    2 尽量避免小数据通信、不定长不稳定数据通信。可以通过数据拼接,报文格式设定等方式以稳定和优化吞吐量   3 json数据协议   4 静态化ChannelFactory,如果大量产生该对象,将会导致direct out of memory
类别:消息队列 | 阅读(825)| 回复(0)| (0) 阅读全文>>
Tags : Kafka 发表时间:2016-12-28 20:12:08
5月23日Confluent官方宣布Apache Kafka 0.10正式发布。该版本包含了很多新功能和优化,这里列出比较重要的几项:   Streams 如果你有这样的需求,从Kafka拉取数据进行流处理然后再推送回Kafka,那么你会喜欢0.10的Kafka Streams。Kafka Streams是一个类库,它实现了一系列流处理动作(例如join,filter,aggregate等),能够帮助你构建一个功能齐全的低延迟的流处理系统。它支持有状态或无状态的处理,并且能够被部署在各种框架和容器中(例如YARN,Mesos,D
类别:消息队列 | 阅读(808)| 回复(0)| (0) 阅读全文>>
Tags : kafka0.9 发表时间:2016-12-27 21:42:46
一、安全特性 在0.9之前,Kafka安全方面的考虑几乎为0,在进行外网传输时,只好通过Linux的防火墙、或其他网络安全方面进行配置。相信这一点,让很多用户在考虑使用Kafka进行外网消息交互时有些担心。在安全方面,主要有以下方面设计: 客户端连接borker使用SSL或SASL进行验证 borker连接ZooKeeper进行权限管理 数据传输进行加密(需要考虑性能方面的影响) 客户端读、写操作可以进行授权管理 可以对外部的可插拔模块的进行授权管理
类别:消息队列 | 阅读(848)| 回复(0)| (0) 阅读全文>>
Tags : Kafka 发表时间:2016-12-27 21:33:50
怎么确定分区数? “我应该选择几个分区?”——如果你在Kafka中国社区的群里,这样的问题你会经常碰到的。不过有些遗憾的是,我们似乎并没有很权威的答案能够解答这样的问题。其实这也不奇怪,毕竟这样的问题通常都是没有固定答案的。Kafka官网上标榜自己是"high-throughput distributed messaging system",即一个高吞吐量的分布式消息引擎。那么怎么达到高吞吐量呢?Kafka在底层摒弃了Java堆缓存机制,采用了操作系统级别的页缓存,同时将随机写操作改为顺序写,再结合Zero-Copy的特性极大地改善了IO性能。但是,这只是一个方面,毕竟单机优化的能力是
类别:消息队列 | 阅读(919)| 回复(0)| (0) 阅读全文>>