导航菜单
路很长,又很短
博主信息
昵   称:Cocodroid ->关于我
Q     Q:2531075716
博文数:356
阅读量:1648319
访问量:205652
至今:
×
博文->>搜索结果(耗时0.041秒) 博文列表>>
Tags : Elasticsearch,原理 发表时间: 2021-10-26 12:33:14
1.基本概念索引(Index)ES将数据存储于一个或多个索引中,索引是具有类似特性的文档的集合。类比传统的关系型数据库领域来说,索引相当于SQL中的一个数据库,或者一个数据存储方案(schema)。索引由其名称(必须为全小写字符)进行标识,并通过引用此名称完成文档的创建、搜索、更新及删除操作。一个ES集群中可以按需创建任意数目的索引。类型(Type)类型是索引内部的逻辑分区(category/partition),其意义完全取决于用户需求。因此,一个索引内部可定义一个或多个类型(type)。一般来说,类型就是为那些拥有相同的域的文档做的预定义。例如,在索引中,可以定义一个用于存储用户数据的类型
类别:ES/Solr | 阅读(151)| 回复(0)| (0) 阅读全文>>
Tags : Elasticsearch,索引机制 发表时间: 2021-10-24 23:35:03
前言相比于大多数人熟悉的MySQL数据库的索引,Elasticsearch的索引机制是完全不同于MySQL的B+Tree结构。索引会被压缩放入内存用于加速搜索过程,这一点在效率上是完爆MySQL数据库的。但是Elasticsearch会对全部text字段进行索引,必然会消耗巨大的内存,为此Elasticsearch针对索引进行了深度的优化。在保证执行效率的同时,尽量缩减内存空间的占用。这篇文章就深度解析了Elasticsearch索引原理,揭开搜索的神秘面纱。简介Elasticsearch是一个基于Lucene库的开源搜索引擎,它提供分布式的实时文件存储和搜索,可扩展性好,并且支持通过HTTP
类别:ES/Solr | 阅读(139)| 回复(0)| (1) 阅读全文>>
Tags : ElasticSearch,安全,黑客勒索,比特币 发表时间: 2017-09-03 15:53:46
某天发现自己的博客的搜索功能失效了,搜索使用ElasticSearch作为博客的全文搜索引擎。ElasticSearch使用的是2.X版本,并且使用了插件head来进行管理。默认的ElasticSearch,以及head插件是无需输入认证信息就能访问,这个确实是一大安全问题。现在黑客使用工具基本上就可以扫描你服务器,0-65535个端口基本上会给扫一遍。针对常用的服务端口,更加是他们最喜欢最容易攻破的地方!比如:Tomcat默认端口8080,MySQL默认端口3306,等等。然而ElasticSearch的http端口默认就是9200!下面就分享下我的ElasticSearch被黑了,然后要勒
类别:线上问题 | 阅读(3405)| 回复(0)| (1) 阅读全文>>
Tags : ElasticSearch 发表时间: 2017-05-18 15:33:11
使用ES来作为全文搜索是最好不过的了。当你在开发的时候,总是需要改这改那,特别是配置文件elasticsearch.yml这个里面,经常要进行修改,比如:绑定的网络本机地址:network.host大家得特别注意,我改了这个的地址IP,不管怎样都是启动不了,而且更换了很多本机IP都不行,更甚的是日志里面一点提示也没有。你知道是怎么解决的吗?原因就是es的配置文件非常注重格式,配置文件类型key-value格式,但是得特别注意就是要有空格,比如我遇到的问题:network.host:192.168.0.101这个配置是错的!你看到空格了没有?必须要有空格才行,不然永远启动不了了。正确的应该是这样
类别:ES/Solr | 阅读(2598)| 回复(0)| (1) 阅读全文>>
Tags : ElasticSearch插件,head,kopf 发表时间: 2017-05-13 16:46:42
安装好elasticsearch之后,使用2.4.5版本。总想用图形化界面来查看和使用ES的相关操作和监控状态。下面我安装了这两个插件:Head和Kopf这两个分别做下介绍和安装:1、Head关于ElasticSearch-Head官方介绍比较简单,只有一句话:ElasticSearch-Head是一个与Elastic集群(Cluster)相交互的Web前台。ES-Head的主要作用它展现ES集群的拓扑结构,并且可以通过它来进行索引(Index)和节点(Node)级别的操作它提供一组针对集群的查询API,并将结果以json和表格形式返回它提供一些快捷菜单,用以展现集群的各种状态安装命令:ela
类别:ES/Solr | 阅读(3065)| 回复(1)| (3) 阅读全文>>
Tags : elasticsearch,搜索引擎 发表时间: 2017-05-13 10:31:51
NoNodeAvailableException[Noneoftheconfigurednodesareavailable:[{#transport#-1}{192.168.0.101}{192.168.0.101:9300}]]atorg.elasticsearch.client.transport.TransportClientNodesService.ensureNodesAreAvailable(TransportClientNodesService.java:326)atorg.elasticsearch.client.transport.TransportClientNodesSe
类别:ES/Solr | 阅读(13418)| 回复(0)| (24) 阅读全文>>
Tags : Elasticsearch,集群 发表时间: 2021-11-20 16:33:27
题记这是一位腾讯大佬2020年4月份在死磕Elasticsearch技术交流微信群里发起讨论的问题,之前初步讨论了答案,但是不够细或者说讲解不透,所以一直没有成文。这一次,加上了实践验证,说透。1、上问题还是没太搞懂seed_hosts和cluster.initial_master_nodes的区别。1、seed_hosts里面一定是配置mastereligible节点吗?2、还是说data节点也可以配置到mastereligible3、是如何发现潜在机器的呢?4、initial_master一定是mastereligible节点吧?5、集群初始启动时,这几个节点一定都要在是吗?6、初始的时候
类别:搜索引擎 | 阅读(60)| 回复(0)| (0) 阅读全文>>
Tags : Elasticsearch,缓存 发表时间: 2021-11-20 16:06:43
1、Elasticsearch缓存引出Elasticsearch查询的响应需要占用CPU、内存资源,在复杂业务场景,会出现慢查询,需要花费大量的时间。如何破局呢?增加集群硬件配置会有高昂硬件开销。还有没有其他方案呢?这时候会想到:缓存。Elasticsearch有哪些缓存,不同缓存的应用场景是什么呢?本文给出答案。2、Elasticsearch缓存经常被问道的问题汇总怎样知道自己的查询时命中缓存了还是走的磁盘搜索?我想每次查询的时候直接显示几个小时以前的数据而不是只有实时的,这些是要存到缓存中么?看ElasticsearchAPI的时候看到/_cache/clear,这个缓存什么时候需要清理?
类别:搜索引擎 | 阅读(50)| 回复(0)| (0) 阅读全文>>
Tags : Elasticsearch,page cache 发表时间: 2021-11-17 01:05:32
前言对于广大Elasticsearch使用者而言,在面对系统资源分配、问题请求排查时是否曾遇到以下问题:只知道需要预留许多内存资源给lucene(一般为系统资源的一半),但是分配的这些是否够用,以及这些内存资源被什么文件所占用,往往都不得而知;线上服务突然出现一波超时告警,告警波及的索引面积较广,但波动具体由哪个索引,甚至哪个查询导致的,在排查时容易陷入无从下手的困境。通常在Elasticsearch的监控层面,我们会选择去查看kibana的监控报表,但kibana在内存方面的监控指标通常都基于JVM本身,无法追溯到lucene层面。而lucene的文件使用的是操作系统的pagecache,如
类别:搜索引擎 | 阅读(57)| 回复(0)| (0) 阅读全文>>
Tags : Elasticsearch,冻结索引 发表时间: 2021-11-14 10:48:40
背景介绍当我们希望充分利用硬件时,经常会采用热温架构。当我们有基于时间的数据时,如日志、指标和APM数据时,它特别有用。这类设置大多依赖于这样一个事实,即相应数据是只读的(采集后),索引可以基于时间(或大小)。因此可以根据我们期望的保留期轻松删除它们。在这个架构中,我们将Elasticsearch节点分为两种类型:“热”和“温”。热节点保存最新数据,因而需要处理所有索引负载。由于最近的数据通常是最常被查询的,因此热节点是我们集群中最强大的节点:存储速度快、内存容量大、CPU性能出色。但是,这种超高配置也意味着成本高昂,所以在热节点上存储不常查询的旧数据并不划算。另一方面,温节点将以更具成本效益
类别:搜索引擎 | 阅读(59)| 回复(0)| (0) 阅读全文>>
Tags : ElasticSearch,Shard,分片 发表时间: 2021-11-11 00:49:05
author:JoshuaBackingHerearesomegreatslidesfromourCoreElasticsearch:Operationscoursethathelpexplaintheconcept.We'drecommendthatyoutakethefullcoursetounderstandthisevenbetter,butI'llprovideanoverviewfromourtraininghere:Shardallocationistheprocessofallocatingshardstonodes.Thiscanhappenduringinitialreco
类别:搜索引擎 | 阅读(68)| 回复(0)| (0) 阅读全文>>
Tags : Elasticsearch,冷热分离,架构 发表时间: 2021-11-10 16:11:51
当数据量比较小的情况下,我们可以直接将其插入单台机器的一个索引中,es的性能足够应付。当数据量变得比较大,我们可以将es的索引分片,将分片分配到不同的机器上,并行搜索以满足性能的要求。当插入海量数据到es的索引中时,一个分片中的数据变得很大,此时搜索性能就会下降,因为成本的考虑,我们不能再随意横向扩容。这个时候我们就需要新的思路来解决这个问题。所幸的是,在绝大多数的场景下,数据都是具有时间局部性的,时间近的数据往往访问频繁(即热数据),时间远的数据往往访问较少(即冷数据)。根据这个特性,我们可以将数据拆分到不同的索引中,热数据索引可以设置较多的分片,分配到性能较高的机器上。冷数据索引设置较少的
类别:搜索引擎 | 阅读(113)| 回复(0)| (0) 阅读全文>>
Tags : Elasticsearch,索引,Rollover API 发表时间: 2021-11-09 00:32:46
Andthebigonesaid"Rollover" — ManagingElasticsearchtime-basedindicesefficientlyauthor:ClintonGormley2016年7月12日AnybodywhousesElasticsearchforindexingtime-baseddatasuchaslogeventsisaccustomedtotheindex-per-daypattern:useanindexnamederivedfromthetimestampoftheloggingeventroundedtothenearestday,andnewind
类别:搜索引擎 | 阅读(78)| 回复(0)| (0) 阅读全文>>
Tags : Elasticsearch,冷热分离,架构 发表时间: 2021-11-09 00:37:09
“Hot-Warm”ArchitectureinElasticsearch5.xauthor:SamirBennacer2017年1月16日Whenusingelasticsearchforlargertimedataanalyticsusecases,werecommendusingtime-basedindicesandatieredarchitecturewith3differenttypesofnodes(Master,Hot-NodeandWarm-Node),whichwerefertoasthe"Hot-Warm"architecture.Eachnodehastheirownc
类别:搜索引擎 | 阅读(169)| 回复(0)| (0) 阅读全文>>
Tags : Elasticsearch,冷热分离,架构 发表时间: 2021-11-03 23:34:30
当使用Elasticsearch进行更大的时间数据分析用例时,我们建议使用基于时间(time-based)的索引和具有3种不同类型节点(主节点、热节点和冷节点)的分层架构,我们称之为Hot-Warm架构。每个节点都有自己的特性,如下所述。主节点我们建议每个集群运行3个专用的主节点(masternodes),以提供最大的弹性。使用这些功能时,还应将discovery.zen.minimum_master_nodes设置为2,以防止出现“脑裂”的情况。利用专用的主节点,只负责处理集群管理和状态,增强了整体稳定性。因为它们不包含数据,也不参与搜索和索引操作,所以它们对JVM的要求与在大量索引或长时间
类别:大数据 | 阅读(77)| 回复(0)| (0) 阅读全文>>
Tags : Elasticsearch,集群,冷热分离,读写分离 发表时间: 2021-11-02 01:30:54
一、冷热分离按《控制Elasticsearch分片和副本的分配》来设置,将hot,stale数据分到不同的集群上去hot集群只保留最近一天或两天数据写一个定时任务每天凌晨将前一天的索引标记为stalePUT/index_name/_settings{"index.routing.allocation.include.zone":"stale"}这样旧索引数据会自动迁移到stale集群上详细情况参考:https://www.elastic.co/guide/en/elasticsearch/reference/2.1/modules-cluster.htmlhttps://www.elastic
类别:搜索引擎 | 阅读(89)| 回复(0)| (0) 阅读全文>>