导航菜单
路很长,又很短
博主信息
昵   称:Cocodroid ->关于我
Q     Q:2531075716
博文数:356
阅读量:1648250
访问量:205639
至今:
×
博文->>搜索结果(耗时0.024秒) 博文列表>>
Tags : 大数据,Hadoop。数据挖掘 发表时间: 2018-11-04 00:23:19
读了《Hadoop大数据挖掘从入门到进阶实战》这本书,进行了一点勘误和建议:1、MapReduce可以简单介绍下其思想或计算模型2、HBase介绍到关于列数据库时,可以介绍下列数据库,以及和行数据库的区别3、故障转移时,会出现的问题可以描述下及其框架处理的方法4、93页,Drill拼写少了一个l5、155页,dns3错写为d36、210页,核实路径是否存在,这里的命令下的路径与异常的地方的路径不一致,感觉一致可能更好或者再多加一句描述。7、245页,图8-17应该是错误,是图忘画还是指定的是图8-16?8、257页,唯一表示应该是唯一标识。9、298页,下面图10-13应该是图10-16。10
类别:苏说 | 阅读(1937)| 回复(0)| (0) 阅读全文>>
Tags : NamingException,数据源 发表时间: 2017-11-25 23:34:09
Maven项目使用Tomcat启动时,报错:javax.naming.NamingException:Classnotfound:com.mchange.v2.c3p0.ComboPooledDataSourceMETA-INF/context.xml有配置这个数据源,然后去寻找的时候发现没有这个jar包,所以报错。在Tomcat的lib包增加这个c3p0的数据源的jar包,并且也要添加mysql驱动jar包,不然也会报找不到mysql驱动包。
类别:Java | 阅读(2776)| 回复(0)| (0) 阅读全文>>
Tags : Spring,动态加载,数据源 发表时间: 2017-07-10 13:55:39
主要还是Spring的多数据源例子,可以动态的获取数据源。最近有一个项目需求,要求实现SAAS服务,最终结果大致如上图,当然这只是其中的一部分。这个项目有一个很明确的需求:所有站点用的是一套代码,有一个主站,多个子站,所有子站的数据结构是一致的,A登录时访问子站一,B登录时访问子站二,子站一与子站二的数据分别位于不同的数据库中,数据内容互不影响。网上查了一些资料,总结并实践后得出此文。我项目中用的是springJPAData,忽略大部分配置,主要配置如...详细访问:http://blog.csdn.net/geloin/article/details/18556427
类别:Java | 阅读(1291)| 回复(0)| (0) 阅读全文>>
Tags : hadoop,大数据,HDFS 发表时间: 2015-06-13 00:14:37
error:org.apache.oozie.action.ActionExecutorException:JA002:org.apache.hadoop.security.AccessControlException:Permissiondenied:user=xxj,access=WRITE,inode="user":hadoop:supergroup:rwxr-xr-x解决:addedthisentrytoconf/hdfs-site.xml<property><name>dfs.permissions</name><value>false
类别:大数据 | 阅读(1890)| 回复(0)| (0) 阅读全文>>
Tags : hadoop,大数据 发表时间: 2015-06-12 23:59:33
之前写好的一个Hadoop代码,昨天晚上执行时报错了,查了半天没查出来,网上的方法都试了还是不行,报错信息:2011-11-1711:11:26,821INFOorg.apache.hadoop.mapred.JvmManager:JVM:jvm_201111071540_0140_m_-855804511exited.Numberoftasksitran:12011-11-1711:11:26,992INFOorg.apache.hadoop.mapred.TaskTracker:attempt_201111071540_0140_m_000005_00.8166969%2011-11-17
类别:大数据 | 阅读(1559)| 回复(0)| (0) 阅读全文>>
Tags : hadoop,zookeeper,大数据 发表时间: 2015-05-02 13:19:31
在前面的文章里我多次提到zookeeper对于分布式系统开发的重要性,因此对zookeeper的学习是非常必要的。本篇博文主要是讲解zookeeper的安装和zookeeper的一些基本的应用,同时我还会教大家如何安装伪分布式,伪分布式不能在windows下实现,只能在linux下实现,我的伪分布式是通过电脑的虚拟机完成了,好了,不废话了,具体内容如下:  首先我们要下载一个zookeeper,下载地址是:  http://www.apache.org/dyn/closer.cgi/zookeeper/  一般我们会选择一个stable版(稳定版)进行下载,我下载的版本是zookeeper-3
类别:大数据 | 阅读(1594)| 回复(0)| (0) 阅读全文>>
Tags : jdbc,大数据 发表时间: 2014-12-12 22:40:17
什么是大数据内容?在数据库中,有一条一条的记录,记录中很多字段都是几个字符就够的,假如现在要把一部小说存入数据库,这本小说当然不是几个字符组成,而是由几万字组成,这本小说的数据我们就可以说是大数据,生活中当然有各种各样的大数据:电影,音乐,图片等等。。。大字符数据内容操作大字符内容:通常是指很长的字符类型的文件,例如小说,故事等等,内容有字符组成。下面说明一下MySQL与Oracle中的大数据类型数据种类数据大小MySQLOracle字符小char,varcharvarchar2大text/longtextclob字节大bit,blob,longblobblob1.把大字符数据存进数据库(把一
类别:DB | 阅读(1876)| 回复(0)| (0) 阅读全文>>
Tags : 数据库,mysql,主库 发表时间: 2021-11-12 08:11:08
伽蓝八戒技术团队数据库备份是保障猪八戒数据安全必不可少的一部分,在猪八戒MySQL数据库上我们通常进行热备和binlog备份,目的是能回溯、恢复企业生产数据。其中基于binlog和备份恢复是日常数据库运维中一定会遇到的操作,本文通过一次案例介绍如何在误删除之后基于已有备份和binlog恢复数据以及什么样的备份是可以进行数据恢复的。背景MySQL5.6.40,库比较小,row+gtid复制环境,但由于以前种种原因,备份还原在从库后,开启复制存在大量1062,1032错误,gtid卡在靠前位置。做复制的时候没有任何从库,每小时的备份也被运维停了。以前从来没遇到过这种情况,相对测试环境正式环境比较复
类别:数据库 | 阅读(63)| 回复(0)| (0) 阅读全文>>
Tags : Elasticsearch,数据采集,Logstash,Ingest Node 发表时间: 2021-10-25 00:05:37
1、背景Logstash是ElasticStack的重要组成部分(即ELK中的L),在该架构中负责数据采集,处理,输出等功能,支持多种数据输入,数据处理,数据输出方式,并且具有可扩展性好,功能强大等优点。典型的采用Logstash进行数据采集和处理的ElasticStack架构如下图:而IngestNode是在Elasticsearch5.0之后引入的特性,用于在文档实际索引动作执行前对文档进行预处理,在数据处理层面上与Logstash有许多功能重叠之处。引入IngestNode后的ElasticStack数据采集和处理架构如下:IgnestNode的出现为ElasticStack数据的采集和
类别:大数据 | 阅读(83)| 回复(0)| (0) 阅读全文>>
Tags : 数据库,连接池,hikari,druid,c3p0,dbcp,jdbc 发表时间: 2019-05-30 23:44:47
背景对现有的数据库连接池做调研对比,综合性能,可靠性,稳定性,扩展性等因素选出推荐出最优的数据库连接池。NOTE:本文所有测试均是MySQL库测试结论1:性能方面hikariCP>druid>tomcat-jdbc>dbcp>c3p0。hikariCP的高性能得益于最大限度的避免锁竞争。2:druid功能最为全面,sql拦截等功能,统计数据较为全面,具有良好的扩展性。3:综合性能,扩展性等方面,可考虑使用druid或者hikariCP连接池。4:可开启prepareStatement缓存,对性能会有大概20%的提升。功能对比功能dbcpdruidc3p0tomcat-j
类别:数据库 | 阅读(2637)| 回复(0)| (0) 阅读全文>>
Tags : 区块, 哈希, 难度, 数据, 系数 发表时间: 2018-03-07 00:55:31
区块链(blockchain)是眼下的大热门,新闻媒体大量报道,宣称它将创造未来。可是,简单易懂的入门文章却很少。区块链到底是什么,有何特别之处,很少有解释。下面,我就来尝试,写一篇最好懂的区块链教程。毕竟它也不是很难的东西,核心概念非常简单,几句话就能说清楚。我希望读完本文,你不仅可以理解区块链,还会明白什么是挖矿、为什么挖矿越来越难等问题。需要说明的是,我并非这方面的专家。虽然很早就关注,但是仔细地了解区块链,还是从今年初开始
类别:区块链 | 阅读(1117)| 回复(0)| (0) 阅读全文>>
Tags : 事务, 数据库, 消息, CAP, 系统 发表时间: 2017-11-16 17:05:21
前言最近很久没有写博客了,一方面是因为公司事情最近比较忙,另外一方面是因为在进行CAP的下一阶段的开发工作,不过目前已经告一段落了。接下来还是开始我们今天的话题,说说分布式事务,或者说是我眼中的分布式事务,因为每个人可能对其的理解都不一样。分布式事务是企业集成中的一个技术难点,也是每一个分布式系统架构中都会涉及到的一个东西,特别是在微服务架构中,几乎可以说是无法避免,本文就分布式事务来简单聊一下。数据库事务在说分布式事务之
类别:分布式 | 阅读(1273)| 回复(0)| (0) 阅读全文>>
Tags : IO, 模型, 阻塞, 函数, 数据 发表时间: 2017-10-21 20:12:39
socket阻塞与非阻塞,同步与异步作者:huangguisu1.概念理解   在进行网络编程时,我们常常见到同步(Sync)/异步(Async),阻塞(Block)/非阻塞(Unblock)四种调用方式:同步:      所谓同步,就是在发出一个功能调用时,在没有得到结果之前,该调用就不返回。也就是必须一件一件事做,等前一件做完了才能做下一件事。例如普通B/S模式(同步):提交请求->等待服务器处理->处理完毕返回 
类别:操作系统 | 阅读(1157)| 回复(0)| (0) 阅读全文>>
Tags : 事务, 数据库, 消息, 一致性, XA 发表时间: 2017-10-19 13:11:04
1、什么是分布式事务分布式事务就是指事务的参与者、支持事务的服务器、资源服务器以及事务管理器分别位于不同的分布式系统的不同节点之上。以上是百度百科的解释,简单的说,就是一次大的操作由不同的小操作组成,这些小的操作分布在不同的服务器上,且属于不同的应用,分布式事务需要保证这些小操作要么全部成功,要么全部失败。本质上来说,分布式事务就是为了保证不同数据库的数据一致性。2、分布式事务的产生的原因2.1、数据库分库分表当数据库单表一年产
类别:分布式 | 阅读(1224)| 回复(0)| (0) 阅读全文>>
Tags : 事务, 数据库, 隔离, 级别, 数据 发表时间: 2017-10-16 08:24:48
  本篇讲诉数据库中事务的四大特性(ACID),并且将会详细地说明事务的隔离级别。  如果一个数据库声称支持事务的操作,那么该数据库必须要具备以下四个特性:⑴原子性(Atomicity)  原子性是指事务包含的所有操作要么全部成功,要么全部失败回滚,这和前面两篇博客介绍事务的功能是一样的概念,因此事务的操作如果成功就必须要完全应用到数据库,如果操作失败则不能对数据库有任何影响。⑵一致性(Consistency)  一致性是
类别:数据库 | 阅读(1163)| 回复(0)| (0) 阅读全文>>
Tags : 事务, 数据库, 数据, 机制, 隔离 发表时间: 2017-10-15 12:33:21
摘要:  事务是最小的逻辑执行单元,也是数据库并发控制的基本单位,其执行的结果必须使数据库从一种一致性状态变到另一种一致性状态。事务具有四个重要特性,即原子性(Atomicity)、一致性(Consistency)、隔离性(Isolation)和持久性(Durability)。本文首先叙述了数据库中事务的本质及其四大特性(ACID)的内涵,然后重点介绍了事务隔离性的动机和内涵,并介绍了数据库为此所提供的事务隔离级别以及这些事务隔离
类别:数据库 | 阅读(1192)| 回复(0)| (0) 阅读全文>>
Tags : 索引, SQL, 原理, 数据, 语句 发表时间: 2017-10-11 23:41:10
MySQL凭借着出色的性能、低廉的成本、丰富的资源,已经成为绝大多数互联网公司的首选关系型数据库。虽然性能出色,但所谓“好马配好鞍”,如何能够更好的使用它,已经成为开发工程师的必修课,我们经常会从职位描述上看到诸如“精通MySQL”、“SQL语句优化”、“了解数据库原理”等要求。我们知道一般的应用系统,读写比例在10:1左右,而且插入操作和一般的更新操作很少出现性能问题,遇到最多的,也是最容易出问题的,还是一些复杂的查询操作,所以查询语
类别:数据库 | 阅读(1012)| 回复(0)| (0) 阅读全文>>