miller
发布于

大数据技术 GFS


传统数据库 ACID ,也就是原子性(Atomic)、一致性(Consistency)、隔离性(Isolation)以及持久性(Durability)
而在大数据领域,很多时候因为分布式的存在,我们常常会退化到一个叫做 BASE 的模型。
BASE 代表着基本可用(Basically Available)、软状态(Soft State)以及最终一致性(Eventually Consistent)。



同步复制-备库
异步复制-只读master(影子), 可能有小小延迟

  • client与master之间只有控制流,与chunk之间是数据流 。减小master压力
浏览 (351)
点赞
收藏
4条评论
miller
miller
https://zhuanlan.zhihu.com/p/645180597
点赞
评论
miller
miller
站在某个时间点,我们谈论的Hive数仓,一般默认包括HDFS存储系统、Yarn资源管理平台、Hive元数据管理、Spark计算引擎、Presto查询引擎,这些构成了离线数仓的技术栈。
点赞
评论
miller
miller
其实,经过多年的发展,在Hadoop生态体系中很多模块已经被新的模块替换,比如Spark替代MapReduce、S3替代HDFS、K8s替代Yarn,而完成了这些替代之后的Hadoop也早就是不是原来的Hadoop了。
点赞
评论
miller
miller
实时处理可以用Spark,要处理流数据有Flink
点赞
评论