当前位置:网站首页 / 大数据

大数据在一个择偶场景中的简单运用

大数据在一个择偶场景中的简单运用

 夏娃是一个美丽文静的女孩,追求者众多,但是在众多的追求者中一直在冠当和亚当之间摇摆,不知道应该选择谁。报着试试看的心态,她来求助谷歌大数据了,下面是他们的对话。     夏娃问:“嘿,谷歌,亚当和冠当都在追我,我两个也都很喜欢,但喜欢的点不太一样,很难做决定...

2017年07月27日 | 分类:大数据 | 浏览:294 次 | 评论:0 人 | TAG:大数据,择偶,算法,

CPA原理在数据高可用方面的运用

CPA原理在数据高可用方面的运用

  数据高可用的含义主要包括以下几个方面:  1、数据持久性  2、数据可访问性  3、数据一致性  博主按:这里不详细解释上述具体概念了,可以顾名思义,如果你了解它们我就不用解释,如果你不懂那说明你不需要了解,无需解释。  大多数时候,为了保证数据的高可用性,网站通常会牺牲数据一致性这一重要指标,...

2017年07月14日 | 分类:大数据 | 浏览:499 次 | 评论:1 人 | TAG:学习笔记,高可用,cpa,

一致性Hash算法在分布式缓存中的运用

一致性Hash算法在分布式缓存中的运用

  先看一下一致性hash环的构造过程:       1、先构造一个长度为0~232的整数环(一致性Hash环)  2、根据缓存服务器节点名称的0~232个Hash值将节点放置到这个Hash环上  3、由需要缓存的数据的Key值算...

2017年07月12日 | 分类:大数据 | 浏览:377 次 | 评论:1 人 | TAG:学习笔记,一致性hash,分布式缓存,虚拟节点,

Hadoop之kafka

Hadoop之kafka

  Kafka是一个分布式的、高吞吐的、基于发布/订阅的消息系统。利用kafka技术可以在廉价PCServer上搭建起大规模的消息系统。Kafka具有消息持久化、高吞吐、分布式、实时、低耦合、多客户端支持、数据可靠等诸多特点,适合在线和离线的消息处理。是用Scala开发的,起初应用于Linked...

2017年06月28日 | 分类:大数据 | 浏览:676 次 | 评论:0 人 | TAG:学习笔记,大数据,Hadoop,kafka,

Hadoop之MapReduce

Hadoop之MapReduce

  2003年Google发表《GoogleFileSystem》,即GFS集群,主要包括Masternode和Chunkservers。在2004年Google发表论文并引入MapReduce的概念,两位创始人谢尔盖布林和拉里佩奇就是凭借其在斯坦福大学时期发明的MapReduce算法解决了大...

2017年06月27日 | 分类:大数据 | 浏览:388 次 | 评论:0 人 | TAG:学习笔记,大数据,Hadoop,mapreduce,

Hadoop之HBase&Hive

Hadoop之HBase&Hive

  HBase(HadoopDatabase),是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。其底层的文件系统是HDFS,使用阿里的开源框架——动物园管理员Zookeeper来管理集群间的HMaster和各Regionserver之间的通信,监控各Regionserver的状态,存储...

2017年06月27日 | 分类:大数据 | 浏览:439 次 | 评论:0 人 | TAG:学习笔记,大数据,Hadoop,HBase,Hive,

「学习笔记」深入理解Hadoop HDFS的写入&读取机制

「学习笔记」深入理解Hadoop HDFS的写入&读取机制

  博主按:要理解以下内容,需要掌握namenode,datanode、元数据等概念及HDFS的基本原理。HDFS(HadoopDistributeFileSystem)是一个分布式文件系统,是Hadoop的重要成员。  一、HDFS数据写入机制  向HDFS中写入文件时,是按照块儿为单位的,...

2017年05月22日 | 分类:大数据 | 浏览:510 次 | 评论:4 人 | TAG:大数据,Hadoop HDFS,
名言警句
«   2018年10月   »
1234567
891011121314
15161718192021
22232425262728
293031
最近发表
随机文章
友情链接
您的鼓励,我的动力
  • 我是IT客