当前位置:网站首页 /

Hadoop之kafka

Hadoop之kafka

  Kafka是一个分布式的、高吞吐的、基于发布/订阅的消息系统。利用kafka技术可以在廉价PCServer上搭建起大规模的消息系统。Kafka具有消息持久化、高吞吐、分布式、实时、低耦合、多客户端支持、数据可靠等诸多特点,适合在线和离线的消息处理。是用Scala开发的,起初应用于Linked...

2017年06月28日 | 分类:大数据 | 浏览:418 次 | 评论:0 人 | TAG:学习笔记,大数据,Hadoop,kafka,

Hadoop之MapReduce

Hadoop之MapReduce

  2003年Google发表《GoogleFileSystem》,即GFS集群,主要包括Masternode和Chunkservers。在2004年Google发表论文并引入MapReduce的概念,两位创始人谢尔盖布林和拉里佩奇就是凭借其在斯坦福大学时期发明的MapReduce算法解决了大...

2017年06月27日 | 分类:大数据 | 浏览:292 次 | 评论:0 人 | TAG:学习笔记,大数据,Hadoop,mapreduce,

Hadoop之HBase&Hive

Hadoop之HBase&Hive

  HBase(HadoopDatabase),是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。其底层的文件系统是HDFS,使用阿里的开源框架——动物园管理员Zookeeper来管理集群间的HMaster和各Regionserver之间的通信,监控各Regionserver的状态,存储...

2017年06月27日 | 分类:大数据 | 浏览:321 次 | 评论:0 人 | TAG:学习笔记,大数据,Hadoop,HBase,Hive,
名言警句
«   2018年7月   »
1
2345678
9101112131415
16171819202122
23242526272829
3031
最近发表
随机文章
友情链接

关注博主