Tags : Zookeeper
发表时间:2017-11-06 21:09:33
1、客户端连接ZK出现下面的异常信息
2017-11-02 15:36:42,489 [myid:] - INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:ZooKeeperServer@873] - Refusing session request for client /127.0.0.1:49912 as it has seen zxid 0x2a1 our last zxid is 0x0 client must try another server
2017-11-02 1
Tags : Eclipse,hadoop
发表时间:2017-09-17 05:06:48
Retrying connect to server: localhost/127.0.0.1:8020. Already tried 1 time(s)
14/11/30 18:28:22 INFO jvm.JvmMetrics: Initializing JVM Metrics with processName=JobTracker, sessionId=
14/11/30 18:28:22 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applicatio
Tags : Hadoop
发表时间:2017-09-17 04:18:18
下文中没有特殊说明,环境都是CentOS下Hadoop 2.2.0。
1、伪分布模式下执行start-dfs.sh脚本启动HDFS时出现如下错误:
vi打开libexec/hadoop-config.sh中,查找JAVA_HOME is not set and could not be found,找到后在这一行if [[ -z $JAVA_HOME ]]; then的前面添加如下语句即可:
&
Tags : Hadoop,Eclipse
发表时间:2017-09-17 04:15:52
在Windows下连接虚拟机CentOS64位系统上的Hadoop进行开发,运行程序出现下面的异常:
14/11/30 22:14:51 INFO jvm.JvmMetrics: Initializing JVM Metrics with processName=JobTracker, sessionId=
14/11/30 22:15:24 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool fo
Tags : Hadoop,Eclipse
发表时间:2017-09-17 04:12:31
Hadoop版本是最老的版本:hadoop-0.20.2
首先在MyEclipse/Eclipse中将hadoop安装包下的Eclipse插件添加到其dropins文件夹下即可完成插件的整合。
解决:
1、下载正确的插件:https://issues.apache.org/jira/secure/attachment/12460491/hadoop-eclipse-plugin-0.20.3-SNAPSHOT.jar
2、重命名:将下载的插件重命名为"hadoop-0.20.2-eclipse-plugin.jar"
3、替换原
Tags : Hadoop,NameNode
发表时间:2017-09-17 04:09:23
14/11/30 21:04:37 INFO jvm.JvmMetrics: Initializing JVM Metrics with processName=JobTracker, sessionId=
14/11/30 21:04:37 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.
Eannot delete /tmp/hadoop-
Tags : 分布式,网站架构,zookeeper
发表时间:2017-07-11 16:05:56
Zookeeper是hadoop的一个子项目,虽然源自hadoop,但是我发现zookeeper脱离hadoop的范畴开发分布式框架的运用越来越多。今天我想谈谈zookeeper,本文不谈如何使用zookeeper,而是zookeeper到底有哪些实际的运用,哪些类型的应用能发挥zookeeper的优势,最后谈谈zookeeper对分布式网站架构能产生怎样的作用。
Zookeeper是针对大型分布式系统的高可靠的协调系统。由这个定义我们知道zookeeper是个协调系统,作用的对象是分布式系统。为什么分布式系统需要一个协调系统了?理由如下:
开发分布式
Tags : 分布式,接口,幂等
发表时间:2017-02-22 21:16:31
概念
幂等性, Idempotence, 这个词来源自数学领域, 百科 上一元运算的幂等性解释如下: > 设 f 为一由 {x} 映射至 {x} 的一元运算, 则 f 为幂等的, 当对于所有在 {x} 内的 x: > f(f(x)) = f(x) > 特别的是,恒等函数一定是幂等的,且任一常数函数也都是幂等的。
幂等性衍生到软件工程中, 它的语义是指: 函数/接口可以使用相同的参数重复执行, 不应该影响系统状态, 也不会对系统造成改变 .
一个简答的例子: 查询接口 G
Tags : HBase,场景
发表时间:2017-02-22 21:12:13
HBase 使用场景和成功案例
有时候了解软件产品的最好方法是看看它是怎么用的。它可以解决什么问题和这些解决方案如何适用于大型应用架构,能够告诉你很多。因为HBase有许多公开的产品部署,我们正好可以这么做。本章节将详细介绍一些人们成功使用HBase的使用场景。
注意:不要自我限制,认为HBase只能解决这些使用场景。它是一个初生的技术,根据使用场景进行创新正驱动着系统的发展。如果你有新想法,认为可以受益于HBase提供的功能,试试吧。社区很乐于帮助你,也会从你的经验中学习。这正是开源软件精神。
HBase仿效了G
Tags : Hadoop,JPS
发表时间:2015-06-14 18:59:56
Hadoop集群启动之后,使用JPS查看与Hadoop相关Java进程时出现:
4791 -- process information unavailable
JPS
191 -- process information unavailable
解决办法:
进入tmp目录
&