分布式存储与计算
HDFS分布式文件系统
hdfs dfs -ls /data hdfs dfs -put local.txt /data/
Hive数据仓库
CREATE TABLE users(id INT, name STRING); SELECT * FROM users;
HBase NoSQL数据库
create 'user', 'info' put 'user', '1001', 'info:name', 'Tom'
分布式计算原理
- • MapReduce：分而治之，批量处理
- • Spark/Flink：内存计算与流式处理