导航菜单
路很长,又很短
博主信息
昵   称:Cocodroid ->关于我
Q     Q:2531075716
博文数:356
阅读量:1648311
访问量:205650
至今:
×
博文->>搜索结果(耗时0.035秒) 博文列表>>
Tags : 分布式,架构,技术大会 发表时间: 2021-08-28 12:54:59
搬运工怀有开源、分享精神。若你将其进行商业传播行为活动,有关侵权行为,与本公众号无关!资料来源均来自互联网。若有侵权请告知进行删除。云盘:https://pan.baidu.com/s/1D418nbt4Fd0lzUexs4VDEg密码:请关注本公众号,回复:资料(资料、密码不定期更新,请关注本公众号)已有资料如下:24、ESMeetup2021深圳PPT腾讯Elasticsearch压缩编码优化实践.pdf视频地址:https://www.bilibili.com/video/BV1RA411c7gK基于ES+MongoDB的实时数据融合平台架构分享.pdf视频地址:https://www.
类别:架构 | 阅读(236)| 回复(0)| (0) 阅读全文>>
Tags : 架构 发表时间: 2019-06-10 07:43:47
以前见过零零散散地介绍一些知名网站架构的分析文章。最近D瓜哥也想研究一下各大知名网站的架构。所以,就搜集了一下这方面资料。限于时间问题,这篇文章分享的文章并没有都看完,所以不保证所有文章的质量。另外,如果有朋友发现更好的文章,欢迎留言告知。再补充进来。知名网站架构分析探索GoogleAppEngine背后的奥秘(1)–Google的核心技术探索GoogleAppEngine背后的奥秘(2)–Google的整体架构猜想探索GoogleAppEngine背后的奥秘(3)-GoogleAppEngine的简介探索GoogleAppEngine背后的奥秘(4)-GoogleAppEngine的架构探索
类别:Other | 阅读(1131)| 回复(0)| (0) 阅读全文>>
Tags : 微信群,技术交流,架构,互联网 发表时间: 2018-10-28 12:24:55
微信公众号:搬运工来架构。建立一个技术交流群:互联网基础/架构交流群。有兴趣的小伙伴可以扫描下面二维码加入:互联网基础/架构交流群若出现二维码失效,请加微信号:cocodroid或cat_eleven,拉你进群!本群会不定期分享干货文章,福利(红包/送书),电子书等资料。希望大家技术上一同进步!
类别:苏说 | 阅读(1554)| 回复(0)| (1) 阅读全文>>
Tags : 架构 发表时间: 2018-08-19 17:06:51
微信公众号【搬运工来架构】。分享技术干货,架构实战,经验分享,学习最新、最热门的技术文章。挨踢人关IT事,技术人干技术事。无干货不分享,不分享无干货。干货等你来。推荐关注!
类别:苏说 | 阅读(721)| 回复(0)| (0) 阅读全文>>
Tags : 分布式,网站架构,zookeeper 发表时间: 2017-07-11 16:05:56
  Zookeeper是hadoop的一个子项目,虽然源自hadoop,但是我发现zookeeper脱离hadoop的范畴开发分布式框架的运用越来越多。今天我想谈谈zookeeper,本文不谈如何使用zookeeper,而是zookeeper到底有哪些实际的运用,哪些类型的应用能发挥zookeeper的优势,最后谈谈zookeeper对分布式网站架构能产生怎样的作用。  Zookeeper是针对大型分布式系统的高可靠的协调系统。由这个定义我们知道zookeeper是个协调系统,作用的对象是分布式系统。为什么分布式系统需要一个协调系统了?理由如下:  开发分布式系统是件很困难的事情,其中的困难主
类别:大数据 | 阅读(1409)| 回复(0)| (0) 阅读全文>>
Tags : 双活,架构 发表时间: 2021-11-26 00:10:31
直日神八戒技术团队猪八戒网随着业务访问量的直线增长,用户增长达到一定规模后,同时面临着高并发业务和海量数据的挑战,传统单机房在服务器容量上存在瓶颈,而且在一些不可预知场景下,导致整个网站出现故障,例如机房断电、火灾等这些不可抗拒因素都会导致所有服务器出现宕机从而导致业务瘫痪,即使有备份,恢复业务花费的时间也比较长。所以公司根据实际业务情况选择了同城双活流量高可用架构,当然还有两地三中心、异地多活等方案。本文主要基于同城双活流量叙述猪八戒网这16年的双活流量架构演进之路。初期2014年前猪八戒网的服务器都是托管于传统IDC机房,虽然业务应用、基础组件、数据库等都设计了高可用模式,但是避免不了机房
类别:架构 | 阅读(36)| 回复(0)| (0) 阅读全文>>
Tags : 告警,架构,vivo 发表时间: 2021-11-18 23:51:05
作者:vivo互联网服务器团队-ChenNingning一、背景一套监控系统检测和告警是密不可分的,检测用来发现异常,告警用来将问题信息发送给相应的人。vivo监控系统1.0时代各个监控系统分别维护一套计算、存储、检测、告警收敛逻辑,这种架构下对底层数据融合非常不利,也就无法实现监控系统更广泛场景的应用,所以需要进行整体规划,重新对整个监控系统架构进行调整,在这样的背景下统一监控的目标被确立。以前监控被划分为基础监控、通用监控、调用链、日志监控、拨测监控等几大系统,统一监控的目标是将各个监控指标数据进行统一计算、统一存储、统一检测、统一告警、统一展示。这里不作赘述,后面会出一期vivo监控系统
类别:架构 | 阅读(169)| 回复(0)| (0) 阅读全文>>
Tags : nginx,自动扩容,架构 发表时间: 2021-11-12 00:40:13
文科八戒技术团队需求背景因公司业务的飞速发展,以往的服务器硬件采购方式已经不能快速适应公司的业务需求。在此需求下,公司运维团队投入了虚拟化平台的建设,并最终采用了云平台业界较为知名和成熟的开源产品Openstack。随着公司虚拟化平台的不断深入,规模的不断壮大,服务器运维部署相关的需求也越来越多,动态扩容的解决方案呼之而出。Nginx手动扩容阶段Openstack平台仅仅提供根据镜像创建虚机,但是虚机中的软件需要自己手动安装,当一个项目中包含多台虚拟机时,配置较为繁琐,虽说可以设定脚本或其它方法自动安装所需软件,但是从项目创建到项目中虚机配置完成,仍需要花费较长时间。在此情况下,运维部依据Op
类别:运维 | 阅读(57)| 回复(0)| (0) 阅读全文>>
Tags : Elasticsearch,冷热分离,架构 发表时间: 2021-11-10 16:11:51
当数据量比较小的情况下,我们可以直接将其插入单台机器的一个索引中,es的性能足够应付。当数据量变得比较大,我们可以将es的索引分片,将分片分配到不同的机器上,并行搜索以满足性能的要求。当插入海量数据到es的索引中时,一个分片中的数据变得很大,此时搜索性能就会下降,因为成本的考虑,我们不能再随意横向扩容。这个时候我们就需要新的思路来解决这个问题。所幸的是,在绝大多数的场景下,数据都是具有时间局部性的,时间近的数据往往访问频繁(即热数据),时间远的数据往往访问较少(即冷数据)。根据这个特性,我们可以将数据拆分到不同的索引中,热数据索引可以设置较多的分片,分配到性能较高的机器上。冷数据索引设置较少的
类别:搜索引擎 | 阅读(113)| 回复(0)| (0) 阅读全文>>
Tags : Elasticsearch,冷热分离,架构 发表时间: 2021-11-09 00:37:09
“Hot-Warm”ArchitectureinElasticsearch5.xauthor:SamirBennacer2017年1月16日Whenusingelasticsearchforlargertimedataanalyticsusecases,werecommendusingtime-basedindicesandatieredarchitecturewith3differenttypesofnodes(Master,Hot-NodeandWarm-Node),whichwerefertoasthe"Hot-Warm"architecture.Eachnodehastheirownc
类别:搜索引擎 | 阅读(169)| 回复(0)| (0) 阅读全文>>
Tags : 八戒,金融,技术架构 发表时间: 2021-11-05 11:05:23
前言八戒金融在近6年的发展历程中,在互联网金融行业蓬勃发展和不断创新的金融形态驱动下,经历了三轮技术架构体系的演进。本文将详细阐述其演进历程,希望给互联网金融企业,尤其是初创企业一些借鉴和启发,少走一些弯路。第一阶段业务探索阶段架构V0.1版~V1.0版【2016年1月~2018年2月】八戒金融于2016年1月开始组建,2016年5月31日,旗下互联网小贷公司宜创小贷宣告成立,正式开始进军全国互联网金融业务。在这期间陆陆续续做了一些业务尝试,技术架构演进方面,分成了三个版本:<1>架构V0.1版(2016年1月—2016年7月)第一版架构是用php语言开发的单体系统。<2&g
类别:架构 | 阅读(85)| 回复(0)| (0) 阅读全文>>
Tags : Elasticsearch,冷热分离,架构 发表时间: 2021-11-03 23:34:30
当使用Elasticsearch进行更大的时间数据分析用例时,我们建议使用基于时间(time-based)的索引和具有3种不同类型节点(主节点、热节点和冷节点)的分层架构,我们称之为Hot-Warm架构。每个节点都有自己的特性,如下所述。主节点我们建议每个集群运行3个专用的主节点(masternodes),以提供最大的弹性。使用这些功能时,还应将discovery.zen.minimum_master_nodes设置为2,以防止出现“脑裂”的情况。利用专用的主节点,只负责处理集群管理和状态,增强了整体稳定性。因为它们不包含数据,也不参与搜索和索引操作,所以它们对JVM的要求与在大量索引或长时间
类别:大数据 | 阅读(77)| 回复(0)| (0) 阅读全文>>
Tags : 亿级流量,架构,API网关 发表时间: 2021-11-03 14:18:58
作者:张松然松然聊技术这不是一个讲概念的专栏,而且我也不擅长讲概念,每一篇文章都是一个故事,我希望你可以通过这些故事了解我当时在实际工作中遇到问题和背后的思考,架构设计是种经验,我有幸参与到多个亿级系统的架构设计中,有所收获的同时也希望把这些收获分享与大家。承接上篇,客户端通过调用API网关获取数据,但实时数据的获取,如果通过轮询网关,大量空转不仅非常的低效且浪费服务器资源。基于此,实现了一种消息推送技术,提供一个实时的、可靠的、异步的双向数据交换通道,提升API网关性能。消息平台既负责消息的接入,又负责消息的推送。为了支持多数据源的高性能消息推送,消息整体架构的改造包括以下几点:一、解耦消息
类别:架构 | 阅读(83)| 回复(0)| (0) 阅读全文>>
Tags : 亿级流量,架构,API网关 发表时间: 2021-11-03 14:18:02
作者:张松然松然聊技术这不是一个讲概念的专栏,而且我也不擅长讲概念,每一篇文章都是一个故事,我希望你可以通过这些故事了解我当时在实际工作中遇到问题和背后的思考,架构设计是种经验,我有幸参与到多个亿级系统的架构设计中,有所收获的同时也希望把这些收获分享与大家。承接上篇,网关是负责接口调用获取请求数据的,HTTP属于单向操作,建客户端与服务平台的TCP双向通道,保持客户端与服务平台的会话状态,则可以提供更多、更灵活的技术实现和业务实现。在业务服务调用上通过HTTP网关,在平台服务调用上则通过TCP网关,实现平台与业务解耦,并且平台采用TCP通道还可以增加对平台的控制力,如下图所示:本文继续讲述构建
类别:架构 | 阅读(71)| 回复(0)| (0) 阅读全文>>
Tags : 亿级流量,架构,API网关 发表时间: 2021-11-03 14:17:01
作者:张松然松然聊技术这不是一个讲概念的专栏,而且我也不擅长讲概念,每一篇文章都是一个故事,我希望你可以通过这些故事了解我当时在实际工作中遇到问题和背后的思考,架构设计是种经验,我有幸参与到多个亿级系统的架构设计中,有所收获的同时也希望把这些收获分享与大家。2015年,我在实现了APP服务端的平台化转型之后,进一步开始了对服务端架构的升级改造,故事由此继续。承接上篇,API网关经过两年的发展,逐渐演进拆分成了面向ISV的API开放网关和面向客户端的API服务网关,其中面向ISV的API开放网关延续了前两篇已经介绍过的技术栈,后期则主要在高并发、高可用、高性能上进行技术攻坚;而面向客户端的API
类别:架构 | 阅读(88)| 回复(0)| (0) 阅读全文>>