当前位置:网站首页 /

CPA原理在数据高可用方面的运用

CPA原理在数据高可用方面的运用

  数据高可用的含义主要包括以下几个方面:  1、数据持久性  2、数据可访问性  3、数据一致性  博主按:这里不详细解释上述具体概念了,可以顾名思义,如果你了解它们我就不用解释,如果你不懂那说明你不需要了解,无需解释。  大多数时候,为了保证数据的高可用性,网站通常会牺牲数据一致性这一重要指标,...

2017年07月14日 | 分类:大数据 | 浏览:352 次 | 评论:1 人 | TAG:学习笔记,高可用,cpa,

一致性Hash算法在分布式缓存中的运用

一致性Hash算法在分布式缓存中的运用

  先看一下一致性hash环的构造过程:       1、先构造一个长度为0~232的整数环(一致性Hash环)  2、根据缓存服务器节点名称的0~232个Hash值将节点放置到这个Hash环上  3、由需要缓存的数据的Key值算...

2017年07月12日 | 分类:大数据 | 浏览:269 次 | 评论:1 人 | TAG:学习笔记,一致性hash,分布式缓存,虚拟节点,

架构之设计基本原则

  分层原则:分层是为了降低软件深度复杂性而使用的关键思想,就像社会有了阶级一样,软件有了层次结构。  模块化原则:模块化是化解软件广度复杂的必然手段,模块化的目的就是让软件分工。  接口实现分离原则:随着软件模块化的不断深入改进,面向接口编程而不是面向实现编程可以让复杂度日趋增高的软件降低模块之间的耦合度,从而让各模块更轻松改进。从这个原则出发,软件也从微观进行了细致的规范化。  细节隐藏原则:...

2017年07月06日 | 分类:框架 | 浏览:300 次 | 评论:2 人 | TAG:学习笔记,架构,分层,模块,接口,

Hadoop之kafka

Hadoop之kafka

  Kafka是一个分布式的、高吞吐的、基于发布/订阅的消息系统。利用kafka技术可以在廉价PCServer上搭建起大规模的消息系统。Kafka具有消息持久化、高吞吐、分布式、实时、低耦合、多客户端支持、数据可靠等诸多特点,适合在线和离线的消息处理。是用Scala开发的,起初应用于Linked...

2017年06月28日 | 分类:大数据 | 浏览:418 次 | 评论:0 人 | TAG:学习笔记,大数据,Hadoop,kafka,

Hadoop之MapReduce

Hadoop之MapReduce

  2003年Google发表《GoogleFileSystem》,即GFS集群,主要包括Masternode和Chunkservers。在2004年Google发表论文并引入MapReduce的概念,两位创始人谢尔盖布林和拉里佩奇就是凭借其在斯坦福大学时期发明的MapReduce算法解决了大...

2017年06月27日 | 分类:大数据 | 浏览:292 次 | 评论:0 人 | TAG:学习笔记,大数据,Hadoop,mapreduce,

Hadoop之HBase&Hive

Hadoop之HBase&Hive

  HBase(HadoopDatabase),是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。其底层的文件系统是HDFS,使用阿里的开源框架——动物园管理员Zookeeper来管理集群间的HMaster和各Regionserver之间的通信,监控各Regionserver的状态,存储...

2017年06月27日 | 分类:大数据 | 浏览:321 次 | 评论:0 人 | TAG:学习笔记,大数据,Hadoop,HBase,Hive,
名言警句
«   2018年7月   »
1
2345678
9101112131415
16171819202122
23242526272829
3031
最近发表
随机文章
友情链接

关注博主