路很长，又很短
博文->>消息队列
博文列表>>
发表时间：2020-06-13 23:00:02
点击上方蓝色字关注我们~
前段时间发现，在使用RockerMQ console时，查询消息的时候出现很慢，查询耗时大于10秒，少则5、6秒，多则14+秒。
如下图：
这到底是为什么？查询消息为啥会出现这么大的耗时？
当前使用的开发环境：操作系统是Windows10，JDK8，RocketMQ为4.5.2。
在其它机器上则没有此问题，也在本机器上的虚拟机VMware上安装的Linux部署了RocketMQ 和 console，并且验证是没问题的
发表时间：2019-10-01 07:47:30
一、消息轨迹数据结构
二、发送消息轨迹流程
三、消息轨迹存储
四、消费消息轨迹流程
五、总结
消息轨迹在不少情况是很重要的，比如消息到底有没有发送出去，消息存储在哪个Broker，消息被哪些消费者消费、消费时间、消费耗时等等。对于我们排查消息问题还是非常重要的。
RocketMQ 4.4.0版本开始支持消息轨迹，目前(2019-09-08)最新release版本是4.5.2。
下图是使用RocketMQ-console查看消息轨迹的数据：
发表时间：2019-08-17 22:19:16
RocketMQ是阿里开源的消息队列框架，如今也已成为Apache顶级项目，RockerMQ是一个非常优秀的框架，现在大部分互联网公司使用的消息队列也是RocketMQ，在我们使用的过程中，如果能一开始就给你最佳实践，可以避免走一些弯路，甚至你看完之后可以自身检查下你们是不是这样使用，没有的话可以进行适当的调整，这篇文章应该能够帮助你更好的使用RockerMQ。
1
〓Producer最佳实践
1、Topic一个应用尽可能用一个 Topic，消息子类型用 tags 来标识，tags 可以由应用自由设置。
发表时间：2019-03-17 23:01:11
1、请说明什么是Apache Kafka?
2、说说Kafka的使用场景？
3、使用Kafka有什么优点和缺点？
4、为什么说Kafka性能很好，体现在哪里？
5、请说明什么是传统的消息传递方法?
6、请说明Kafka相对传统技术有什么优势?
7、解释Kafka的Zookeeper是什么?我们可以在没有Zookeeper的情况下使用Kafka吗?
8、解释Kafka的用户如何消费信息?
9、解释如何提高远程用户的吞吐量?
10、解释一下，在数据制作过程中，你如何能从Kafka得到准
发表时间：2018-11-22 00:07:08
使用Spring-Kafka往Kafka Broker发送消息出现下面的异常信息：
java.lang.IllegalArgumentException: Magic v1 does not support record headers
at org.apache.kafka.common.record.MemoryRecordsBuilder.appendWithOffset(MemoryRecordsBuilder.java:403)
at org.apache.kafka.c
发表时间：2017-08-26 14:00:24
Netty当前的版本：
User guide for 4.x - RECOMMENDED VERSION
User guide for 3.x
User guide for 5.x - ABANDONED VERSION - NOT SUPPORTED
4.x版本是当前官方推荐，4.x版本目前一直在维护中，值得称赞！
3.x版本是比较旧的版本，跟4.x版本相比变化比较大，特别是API。
5.x是被舍弃的版本，官方不再支持！
Netty 5.0以前是发布alpha版。
听到你Netty 5.0不继续开发了，这个是相当大的吃惊，目前也有一部分书籍
发表时间：2017-09-26 22:23:20
使用ZK客户端curator框架连接Zookeeper出现连接不上，并且时好时不好：
启动ZK之后，客户端连接正常，一段时间重启客户端，却发现始终连接不上，再次重启ZK，则正常；有时重启ZK，客户端怎么弄都连接不上。
连接超时日志如下：
WARN - Client session timed out, have not heard from server in 30000ms for se
发表时间：2017-01-08 12:44:32
1 对于JVM启动时选取的启动参数是：-server -Xms2048m -Xmx2048m -XX:+UseParallelGC -XX:+AggressiveOpts -XX:+UseFastAccessorMethods
2 尽量避免小数据通信、不定长不稳定数据通信。可以通过数据拼接，报文格式设定等方式以稳定和优化吞吐量
3 json数据协议
4 静态化ChannelFactory，如果大量产生该对象，将会导致direct out of memory
发表时间：2016-12-28 20:12:08
5月23日Confluent官方宣布Apache Kafka 0.10正式发布。该版本包含了很多新功能和优化，这里列出比较重要的几项：
Streams
如果你有这样的需求，从Kafka拉取数据进行流处理然后再推送回Kafka，那么你会喜欢0.10的Kafka Streams。Kafka Streams是一个类库，它实现了一系列流处理动作（例如join，filter，aggregate等），能够帮助你构建一个功能齐全的低延迟的流处理系统。它支持有状态或无状态的处理，并且能够被部署在各种框架和容器中（例如YARN，Mesos，D
发表时间：2016-12-27 21:42:46
一、安全特性
在0.9之前，Kafka安全方面的考虑几乎为0，在进行外网传输时，只好通过Linux的防火墙、或其他网络安全方面进行配置。相信这一点，让很多用户在考虑使用Kafka进行外网消息交互时有些担心。在安全方面，主要有以下方面设计：
客户端连接borker使用SSL或SASL进行验证
borker连接ZooKeeper进行权限管理
数据传输进行加密（需要考虑性能方面的影响）
客户端读、写操作可以进行授权管理
可以对外部的可插拔模块的进行授权管理
发表时间：2016-12-27 21:33:50
怎么确定分区数？
“我应该选择几个分区？”——如果你在Kafka中国社区的群里，这样的问题你会经常碰到的。不过有些遗憾的是，我们似乎并没有很权威的答案能够解答这样的问题。其实这也不奇怪，毕竟这样的问题通常都是没有固定答案的。Kafka官网上标榜自己是"high-throughput distributed messaging system"，即一个高吞吐量的分布式消息引擎。那么怎么达到高吞吐量呢？Kafka在底层摒弃了Java堆缓存机制，采用了操作系统级别的页缓存，同时将随机写操作改为顺序写，再结合Zero-Copy的特性极大地改善了IO性能。但是，这只是一个方面，毕竟单机优化的能力是
发表时间：2015-12-30 23:08:12
业务场景：车联网服务端使用Netty构建，接收车载终端的请求消息，然后下发给后端其它系统，最后返回应答给车载终端。
故障描述：系统运行一段时间后发现服务端接收不到车载终端消息，需要尽快定位出问题原因。
问题定位:首先查看服务端进程运行状态、JVM堆内存占用、CPU使用率、网络I/O等，各种资源占用率都不高，排除了系统压力过大导致请求消息无法及时处理的因素。
系统资源占用示例图：
排除资源耗尽等原因之外，可能导致无法接收请求消息的原因如下：
1、JVM
发表时间：2015-12-19 22:36:14
Netty4与Netty3.x的心跳机制略有不同，在Netty4中已经去掉了IdleStateAwareChannelHandler这个类，但IdleStateHandler依旧保留，只是心跳超时的触发事件的写法略有不同，Netty底层实现了一套类似信号和槽的事件通信机制。
这里且看实现。
首先是在 SocketChannel.pipeline 中注册 IdleStateHandler 进行心跳时间的定制：
1
2
3
4
5
6
7
8
9
10
11
1
发表时间：2015-12-08 21:08:20
Netty作为一个高性能的异步网络开发框架，可以作为各种服务的开发框架。
前段时间的一个项目涉及到硬件设备实时数据的采集，采用Netty作为采集服务的实现框架，同时使用RabbitMQ作为采集服务和各个其他模块的通信消息队列，整个服务框架图如下：
将业务代码和实际协议解析部分的代码抽离，得到以上一个简单的设计图，代码开源在GitHub上，简单介绍下NettyMQServer采集服务涉及到的几个关键技术点：
1、设备TCP消息解析：
NettyMQServer和采集设备Device之间采用T
发表时间：2015-07-24 21:17:28
根据KaFka官网的quickstart步骤进行运行KaFka程序，但是当运行 Step 4: Send some messages这个步骤出现了这个问题：
Exception in thread “main” kafka.common.FailedToSendMessageException: Failed to send messages after 3 tries.
at kafka.producer.async.DefaultEventHa
