【大数据】直播记录

字数统计: 1.7k | 阅读时长≈ 5 分钟

¶大数据行业发展，未来前景

Apache Hadoop是一款开源的分布式处理技术栈，提供了：
- 基于Hadoop HDFS的：分布式数据存储技术
- 基于Hadoop MapReduce的：分布式数据计算技术
- 基于Hadoop YARN的：分布式资源调度技术

海量的数据	数字时代人人联网，日常活动产生的数据记录是海量的，背后蕴含的价值也是巨大的
基础设施	大数据在技术上，是数字化时代的基础设施。数字化时代的发展离不开大数据技术的支持
生活	警务、政务、工业、电商、金融、能源、物流、通讯、科研、教育等。大数据已经渗入生活方方面面

SQL (Structured Query Language)
- 结构化查询语言，是所有关系型数据库的规范
- 关系型数据库
  - mysql
  - oracle
  - sqlserver
  - …
NoSQL：不仅仅是SQL
- SQL主要强调以二维的表格存储数据
- NoSQL主要强调以键值对形式（KV）存储数据
  - java→map集合 python→dict字典

Apache Hadoop -MapReduce
- Apache Hadoop的MapReduce组件是最早一代的大数据分布式计算引擎对大数据的发展做出了卓越贡献
- Java语言写的
Apache Hive
- Apache Hive是一款以SQL为主要开发语言的分布式计算框架
- 其底层使用了Hadoop的MapReduce技术
- Apache Hive至今仍活跃在大数据一线，被许多公司使用
- 写的是SQL语句，背后运行的是MapReduce程序
- 相比用MapReduce，工作量少了很多
Apache Spark
- Apache Spark是目前全球范围内最火热的分布式内存计算引擎，是大数据体系中的明星计算产品
- 速度更快，因为主要基于内存，不够的时候会用一部分磁盘；
- 而MapReduce是基于磁盘内存不断进行IO操作
Apache Flink
- Apache Flink同样也是一款明星级的大数据分布式内存计算引擎
- 特别是在实时计算（流计算）领域占据了大多数国内市场
- 例：阿里双11 大屏显示实时数据用的就是Flink
- 目前Flink也是阿里在维护，阿里是国内最大用户
- 因为可以支持实时计算显示，所以成本较高，目前市占率较小

Apache Sqoop
- Apache Sqoop是一款ETL工具，可以协助大数据体系和关系型数据库之间进行数据传输
- ETL：对数据进行抽取、转换、加载的过程
- 有个岗位叫ETL工程师
- 阿里出的一个工具datax也是一个ETL工具
- 用的比较多的ETL根据：Sqoop和datax
Apache Flume
- Apache Flume是一款【流式】数据采集工具，可以从非常多的数据源中完成数据采集传输任务
Apache Kafka
- Apache Kafka是一款分布式的消息系统，可以完成海量规模的数据传输工作
- Apache Kafka在大数据领域也是明星产品
Apache Pulsar
- Apache Pulsar同样是一款分布式的消息系统
- 在大数据领域同样有非常多使用者

此处缺一张图 72:35

此处还缺一张图 75:37

此处又缺一张图 78:49

81:09

81:49

103:36