路很长，又很短
热门博文
查看更多>>
博文栏目
博文->>消息队列
博文列表>>
发表时间：2019-03-17 23:01:11
1、请说明什么是Apache Kafka?
2、说说Kafka的使用场景？
3、使用Kafka有什么优点和缺点？
4、为什么说Kafka性能很好，体现在哪里？
5、请说明什么是传统的消息传递方法?
6、请说明Kafka相对传统技术有什么优势?
7、解释Kafka的Zookeeper是什么?我们可以在没有Zookeeper的情况下使用Kafka吗?
8、解释Kafka的用户如何消费信息?
9、解释如何提高远程用户的吞吐量?
10、解释一下，在数据制作过程中，你如何能从Kafka得到准
发表时间：2018-11-22 00:07:08
使用Spring-Kafka往Kafka Broker发送消息出现下面的异常信息：
java.lang.IllegalArgumentException: Magic v1 does not support record headers
at org.apache.kafka.common.record.MemoryRecordsBuilder.appendWithOffset(MemoryRecordsBuilder.java:403)
at org.apache.kafka.c
发表时间：2017-08-26 14:00:24
Netty当前的版本：
User guide for 4.x - RECOMMENDED VERSION
User guide for 3.x
User guide for 5.x - ABANDONED VERSION - NOT SUPPORTED
4.x版本是当前官方推荐，4.x版本目前一直在维护中，值得称赞！
3.x版本是比较旧的版本，跟4.x版本相比变化比较大，特别是API。
5.x是被舍弃的版本，官方不再支持！
Netty 5.0以前是发布alpha版。
听到你Netty 5.0不继续开发了，这个是相当大的吃惊，目前也有一部分书籍
发表时间：2017-09-26 22:23:20
使用ZK客户端curator框架连接Zookeeper出现连接不上，并且时好时不好：
启动ZK之后，客户端连接正常，一段时间重启客户端，却发现始终连接不上，再次重启ZK，则正常；有时重启ZK，客户端怎么弄都连接不上。
连接超时日志如下：
WARN - Client session timed out, have not heard from server in 30000ms for se
发表时间：2017-01-08 12:44:32
1 对于JVM启动时选取的启动参数是：-server -Xms2048m -Xmx2048m -XX:+UseParallelGC -XX:+AggressiveOpts -XX:+UseFastAccessorMethods
2 尽量避免小数据通信、不定长不稳定数据通信。可以通过数据拼接，报文格式设定等方式以稳定和优化吞吐量
3 json数据协议
4 静态化ChannelFactory，如果大量产生该对象，将会导致direct out of memory
发表时间：2016-12-28 20:12:08
5月23日Confluent官方宣布Apache Kafka 0.10正式发布。该版本包含了很多新功能和优化，这里列出比较重要的几项：
Streams
如果你有这样的需求，从Kafka拉取数据进行流处理然后再推送回Kafka，那么你会喜欢0.10的Kafka Streams。Kafka Streams是一个类库，它实现了一系列流处理动作（例如join，filter，aggregate等），能够帮助你构建一个功能齐全的低延迟的流处理系统。它支持有状态或无状态的处理，并且能够被部署在各种框架和容器中（例如YARN，Mesos，D
发表时间：2016-12-27 21:42:46
一、安全特性
在0.9之前，Kafka安全方面的考虑几乎为0，在进行外网传输时，只好通过Linux的防火墙、或其他网络安全方面进行配置。相信这一点，让很多用户在考虑使用Kafka进行外网消息交互时有些担心。在安全方面，主要有以下方面设计：
客户端连接borker使用SSL或SASL进行验证
borker连接ZooKeeper进行权限管理
数据传输进行加密（需要考虑性能方面的影响）
客户端读、写操作可以进行授权管理
可以对外部的可插拔模块的进行授权管理
发表时间：2016-12-27 21:33:50
怎么确定分区数？
“我应该选择几个分区？”——如果你在Kafka中国社区的群里，这样的问题你会经常碰到的。不过有些遗憾的是，我们似乎并没有很权威的答案能够解答这样的问题。其实这也不奇怪，毕竟这样的问题通常都是没有固定答案的。Kafka官网上标榜自己是"high-throughput distributed messaging system"，即一个高吞吐量的分布式消息引擎。那么怎么达到高吞吐量呢？Kafka在底层摒弃了Java堆缓存机制，采用了操作系统级别的页缓存，同时将随机写操作改为顺序写，再结合Zero-Copy的特性极大地改善了IO性能。但是，这只是一个方面，毕竟单机优化的能力是
发表时间：2015-12-30 23:08:12
业务场景：车联网服务端使用Netty构建，接收车载终端的请求消息，然后下发给后端其它系统，最后返回应答给车载终端。
故障描述：系统运行一段时间后发现服务端接收不到车载终端消息，需要尽快定位出问题原因。
问题定位:首先查看服务端进程运行状态、JVM堆内存占用、CPU使用率、网络I/O等，各种资源占用率都不高，排除了系统压力过大导致请求消息无法及时处理的因素。
系统资源占用示例图：
排除资源耗尽等原因之外，可能导致无法接收请求消息的原因如下：
1、JVM
发表时间：2015-12-19 22:36:14
Netty4与Netty3.x的心跳机制略有不同，在Netty4中已经去掉了IdleStateAwareChannelHandler这个类，但IdleStateHandler依旧保留，只是心跳超时的触发事件的写法略有不同，Netty底层实现了一套类似信号和槽的事件通信机制。
这里且看实现。
首先是在 SocketChannel.pipeline 中注册 IdleStateHandler 进行心跳时间的定制：
1
2
3
4
5
6
7
8
9
10
11
1
位访客 ,欢迎您！^_^
