导航菜单
路很长,又很短
博主信息
昵   称:Cocodroid ->关于我
Q     Q:2531075716
博文数:290
阅读量:550308
访问量:51382
至今:
×
博文->>大数据 博文列表>>
Tags : Zookeeper 发表时间:2017-11-06 21:09:33
    1、客户端连接ZK出现下面的异常信息 2017-11-02 15:36:42,489 [myid:] - INFO  [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:ZooKeeperServer@873] - Refusing session request for client /127.0.0.1:49912 as it has seen zxid 0x2a1 our last zxid is 0x0 client must try another server 2017-11-02 1
类别:大数据 | 阅读(963)| 回复(1)| (1) 阅读全文>>
Tags : Eclipse,hadoop 发表时间:2017-09-17 05:06:48
Retrying connect to server: localhost/127.0.0.1:8020. Already tried 1 time(s) 14/11/30 18:28:22 INFO jvm.JvmMetrics: Initializing JVM Metrics with processName=JobTracker, sessionId= 14/11/30 18:28:22 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applicatio
类别:大数据 | 阅读(442)| 回复(0)| (0) 阅读全文>>
Tags : Hadoop 发表时间:2017-09-17 04:18:18
  下文中没有特殊说明,环境都是CentOS下Hadoop 2.2.0。 1、伪分布模式下执行start-dfs.sh脚本启动HDFS时出现如下错误:          vi打开libexec/hadoop-config.sh中,查找JAVA_HOME is not set and could not be found,找到后在这一行if [[ -z $JAVA_HOME ]]; then的前面添加如下语句即可:   &
类别:大数据 | 阅读(486)| 回复(0)| (0) 阅读全文>>
Tags : Hadoop,Eclipse 发表时间:2017-09-17 04:15:52
在Windows下连接虚拟机CentOS64位系统上的Hadoop进行开发,运行程序出现下面的异常: 14/11/30 22:14:51 INFO jvm.JvmMetrics: Initializing JVM Metrics with processName=JobTracker, sessionId= 14/11/30 22:15:24 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool fo
类别:大数据 | 阅读(438)| 回复(0)| (0) 阅读全文>>
Tags : Hadoop,Eclipse 发表时间:2017-09-17 04:12:31
Hadoop版本是最老的版本:hadoop-0.20.2 首先在MyEclipse/Eclipse中将hadoop安装包下的Eclipse插件添加到其dropins文件夹下即可完成插件的整合。 解决: 1、下载正确的插件:https://issues.apache.org/jira/secure/attachment/12460491/hadoop-eclipse-plugin-0.20.3-SNAPSHOT.jar 2、重命名:将下载的插件重命名为"hadoop-0.20.2-eclipse-plugin.jar" 3、替换原
类别:大数据 | 阅读(338)| 回复(0)| (0) 阅读全文>>
Tags : Hadoop,NameNode 发表时间:2017-09-17 04:09:23
  14/11/30 21:04:37 INFO jvm.JvmMetrics: Initializing JVM Metrics with processName=JobTracker, sessionId= 14/11/30 21:04:37 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same. Eannot delete /tmp/hadoop-
类别:大数据 | 阅读(372)| 回复(0)| (0) 阅读全文>>
Tags : 分布式,网站架构,zookeeper 发表时间:2017-07-11 16:05:56
  Zookeeper是hadoop的一个子项目,虽然源自hadoop,但是我发现zookeeper脱离hadoop的范畴开发分布式框架的运用越来越多。今天我想谈谈zookeeper,本文不谈如何使用zookeeper,而是zookeeper到底有哪些实际的运用,哪些类型的应用能发挥zookeeper的优势,最后谈谈zookeeper对分布式网站架构能产生怎样的作用。   Zookeeper是针对大型分布式系统的高可靠的协调系统。由这个定义我们知道zookeeper是个协调系统,作用的对象是分布式系统。为什么分布式系统需要一个协调系统了?理由如下:   开发分布式
类别:大数据 | 阅读(405)| 回复(0)| (0) 阅读全文>>
Tags : 分布式,接口,幂等 发表时间:2017-02-22 21:16:31
概念 幂等性, Idempotence, 这个词来源自数学领域, 百科 上一元运算的幂等性解释如下: > 设 f 为一由 {x} 映射至 {x} 的一元运算, 则 f 为幂等的, 当对于所有在 {x} 内的 x: > f(f(x)) = f(x) > 特别的是,恒等函数一定是幂等的,且任一常数函数也都是幂等的。 幂等性衍生到软件工程中, 它的语义是指: 函数/接口可以使用相同的参数重复执行, 不应该影响系统状态, 也不会对系统造成改变 . 一个简答的例子: 查询接口 G
类别:大数据 | 阅读(684)| 回复(0)| (0) 阅读全文>>
Tags : HBase,场景 发表时间:2017-02-22 21:12:13
HBase 使用场景和成功案例 有时候了解软件产品的最好方法是看看它是怎么用的。它可以解决什么问题和这些解决方案如何适用于大型应用架构,能够告诉你很多。因为HBase有许多公开的产品部署,我们正好可以这么做。本章节将详细介绍一些人们成功使用HBase的使用场景。 注意:不要自我限制,认为HBase只能解决这些使用场景。它是一个初生的技术,根据使用场景进行创新正驱动着系统的发展。如果你有新想法,认为可以受益于HBase提供的功能,试试吧。社区很乐于帮助你,也会从你的经验中学习。这正是开源软件精神。 HBase仿效了G
类别:大数据 | 阅读(506)| 回复(0)| (1) 阅读全文>>
Tags : Hadoop,JPS 发表时间:2015-06-14 18:59:56
    Hadoop集群启动之后,使用JPS查看与Hadoop相关Java进程时出现:     4791 -- process information unavailable      JPS     191 -- process information unavailable 解决办法:      进入tmp目录    &
类别:大数据 | 阅读(1271)| 回复(0)| (11) 阅读全文>>