导航菜单
路很长,又很短
博主信息
昵   称:Cocodroid ->关于我
Q     Q:2531075716
博文数:297
阅读量:604922
访问量:56576
至今:
×
博文->>消息队列 博文列表>>
Tags : kafka,Spring-Kafka 发表时间:2018-11-22 00:07:08
    使用Spring-Kafka往Kafka Broker发送消息出现下面的异常信息: java.lang.IllegalArgumentException: Magic v1 does not support record headers at org.apache.kafka.common.record.MemoryRecordsBuilder.appendWithOffset(MemoryRecordsBuilder.java:403) at org.apache.kafka.c
类别:消息队列 | 阅读(162)| 回复(0)| (0) 阅读全文>>
Tags : Netty 发表时间:2017-08-26 14:00:24
Netty当前的版本: User guide for 4.x - RECOMMENDED VERSION User guide for 3.x User guide for 5.x - ABANDONED VERSION - NOT SUPPORTED 4.x版本是当前官方推荐,4.x版本目前一直在维护中,值得称赞! 3.x版本是比较旧的版本,跟4.x版本相比变化比较大,特别是API。 5.x是被舍弃的版本,官方不再支持! Netty 5.0以前是发布alpha版。 听到你Netty 5.0不继续开发了,这个是相当大的吃惊,目前也有一部分书籍
类别:消息队列 | 阅读(4049)| 回复(0)| (5) 阅读全文>>
Tags : ZK,Zookeeper,curator 发表时间:2017-09-26 22:23:20
    使用ZK客户端curator框架连接Zookeeper出现连接不上,并且时好时不好:         启动ZK之后,客户端连接正常,一段时间重启客户端,却发现始终连接不上,再次重启ZK,则正常;有时重启ZK,客户端怎么弄都连接不上。     连接超时日志如下: WARN - Client session timed out, have not heard from server in 30000ms for se
类别:消息队列 | 阅读(2125)| 回复(0)| (0) 阅读全文>>
Tags : netty,性能优化 发表时间:2017-01-08 12:44:32
1 对于JVM启动时选取的启动参数是:-server -Xms2048m -Xmx2048m -XX:+UseParallelGC -XX:+AggressiveOpts -XX:+UseFastAccessorMethods    2 尽量避免小数据通信、不定长不稳定数据通信。可以通过数据拼接,报文格式设定等方式以稳定和优化吞吐量   3 json数据协议   4 静态化ChannelFactory,如果大量产生该对象,将会导致direct out of memory
类别:消息队列 | 阅读(517)| 回复(0)| (0) 阅读全文>>
Tags : Kafka 发表时间:2016-12-28 20:12:08
5月23日Confluent官方宣布Apache Kafka 0.10正式发布。该版本包含了很多新功能和优化,这里列出比较重要的几项:   Streams 如果你有这样的需求,从Kafka拉取数据进行流处理然后再推送回Kafka,那么你会喜欢0.10的Kafka Streams。Kafka Streams是一个类库,它实现了一系列流处理动作(例如join,filter,aggregate等),能够帮助你构建一个功能齐全的低延迟的流处理系统。它支持有状态或无状态的处理,并且能够被部署在各种框架和容器中(例如YARN,Mesos,D
类别:消息队列 | 阅读(535)| 回复(0)| (0) 阅读全文>>
Tags : kafka0.9 发表时间:2016-12-27 21:42:46
一、安全特性 在0.9之前,Kafka安全方面的考虑几乎为0,在进行外网传输时,只好通过Linux的防火墙、或其他网络安全方面进行配置。相信这一点,让很多用户在考虑使用Kafka进行外网消息交互时有些担心。在安全方面,主要有以下方面设计: 客户端连接borker使用SSL或SASL进行验证 borker连接ZooKeeper进行权限管理 数据传输进行加密(需要考虑性能方面的影响) 客户端读、写操作可以进行授权管理 可以对外部的可插拔模块的进行授权管理
类别:消息队列 | 阅读(522)| 回复(0)| (0) 阅读全文>>
Tags : Kafka 发表时间:2016-12-27 21:33:50
怎么确定分区数? “我应该选择几个分区?”——如果你在Kafka中国社区的群里,这样的问题你会经常碰到的。不过有些遗憾的是,我们似乎并没有很权威的答案能够解答这样的问题。其实这也不奇怪,毕竟这样的问题通常都是没有固定答案的。Kafka官网上标榜自己是"high-throughput distributed messaging system",即一个高吞吐量的分布式消息引擎。那么怎么达到高吞吐量呢?Kafka在底层摒弃了Java堆缓存机制,采用了操作系统级别的页缓存,同时将随机写操作改为顺序写,再结合Zero-Copy的特性极大地改善了IO性能。但是,这只是一个方面,毕竟单机优化的能力是
类别:消息队列 | 阅读(595)| 回复(0)| (0) 阅读全文>>
Tags : Netty,车联网 发表时间:2015-12-30 23:08:12
业务场景:车联网服务端使用Netty构建,接收车载终端的请求消息,然后下发给后端其它系统,最后返回应答给车载终端。 故障描述:系统运行一段时间后发现服务端接收不到车载终端消息,需要尽快定位出问题原因。 问题定位:首先查看服务端进程运行状态、JVM堆内存占用、CPU使用率、网络I/O等,各种资源占用率都不高,排除了系统压力过大导致请求消息无法及时处理的因素。 系统资源占用示例图: 排除资源耗尽等原因之外,可能导致无法接收请求消息的原因如下: 1、JVM
类别:消息队列 | 阅读(1314)| 回复(0)| (0) 阅读全文>>
Tags : Netty4,心跳机制 发表时间:2015-12-19 22:36:14
Netty4与Netty3.x的心跳机制略有不同,在Netty4中已经去掉了IdleStateAwareChannelHandler这个类,但IdleStateHandler依旧保留,只是心跳超时的触发事件的写法略有不同,Netty底层实现了一套类似信号和槽的事件通信机制。 这里且看实现。 首先是在 SocketChannel.pipeline 中注册 IdleStateHandler 进行心跳时间的定制: 1 2 3 4 5 6 7 8 9 10 11 1
类别:消息队列 | 阅读(946)| 回复(0)| (1) 阅读全文>>
Tags : Netty,RabbitMQ,消息服务 发表时间:2015-12-08 21:08:20
Netty作为一个高性能的异步网络开发框架,可以作为各种服务的开发框架。 前段时间的一个项目涉及到硬件设备实时数据的采集,采用Netty作为采集服务的实现框架,同时使用RabbitMQ作为采集服务和各个其他模块的通信消息队列,整个服务框架图如下: 将业务代码和实际协议解析部分的代码抽离,得到以上一个简单的设计图,代码开源在GitHub上,简单介绍下NettyMQServer采集服务涉及到的几个关键技术点: 1、设备TCP消息解析: NettyMQServer和采集设备Device之间采用T
类别:消息队列 | 阅读(887)| 回复(0)| (2) 阅读全文>>