大数据Hive+Spark离线数仓工业项目实战

  课程目录  

　　大数据Hive+Spark离线数仓工业项目实战(滑动查看)

　　第1节 - 知识点01：课程目标

　　第2节 - 知识点02：项目背景

　　第3节 - 知识点03：项目需求

　　第4节 - 知识点04：业务流程

　　第5节 - 知识点05：技术选型

　　第6节 - 知识点06：Docker的介绍

　　第7节 - 知识点07：Docker的网络

　　第8节 - 知识点08：Docker的使用

　　第9节 - 知识点09：Oracle的介绍

　　第10节 - 知识点10：集群软件规划

　　第11节 - 知识点11：项目环境导入

　　第12节 - 知识点12：项目环境配置

　　第13节 - 知识点13：项目环境测试：Oracle

　　第14节 - 知识点14：项目环境测试：MySQL

　　第15节 - 知识点15：项目环境测试：Hadoop

　　第16节 - 知识点16：项目环境测试：Hive

　　第17节 - 知识点17：项目环境测试：Spark

　　第18节 - 知识点18：项目环境测试：Sqoop

　　第19节 - 知识点01：课程回顾

　　第20节 - 知识点02：课程目标

　　第21节 - 知识点03：数仓设计回顾

　　第22节 - 知识点04：分层整体设计

　　第23节 - 知识点05：分层具体功能

　　第24节 - 知识点06：业务系统结构

　　第25节 - 知识点07：业务系统数据

　　第26节 - 知识点08：全量与增量分析

　　第27节 - 知识点09：Sqoop命令回顾

　　第28节 - 知识点10：YARN资源调度及配置

　　第29节 - 知识点11：MR的Uber模式

　　第30节 - 知识点12：Sqoop采集数据格式问题

　　第31节 - 知识点13：问题解决：Avro格式

　　第32节 - 知识点14：Sqoop增量采集方案回顾

　　第33节 - 知识点15：脚本开发思路

　　第34节 - 知识点16：全量及增量采集脚本运行

　　第35节 - 知识点17：Schema备份及上传

　　第36节 - 知识点18：Python脚本

　　第37节 - 知识点01：课程 回顾

　　第38节 - 知识点02：课程 目标

　　第39节 - 知识点03：数仓分层回顾

　　第40节 - 知识点04：Hive建表语法

　　第41节 - 知识点05：Avro建表语法

　　第42节 - 知识点06：ODS层构建：需求分析

　　第43节 - 知识点07：ODS层构建：创建项目环境

　　第44节 - 知识点08：ODS层构建：代码导入

　　第45节 - 知识点09：ODS层构建：代码结构及修改

　　第46节 - 知识点10：ODS层构建：连接代码及测试

　　第47节 - 知识点11：ODS层构建：建库代码及测试

　　第48节 - 知识点12：ODS层构建：建表代码及测试

　　第49节 - 知识点13：ODS层构建：申明分区代码及测试

　　第50节 - 知识点14：ODS层与DWD层区别

　　第51节 - 知识点15：DWD层构建：需求分析

　　第52节 - 知识点16：DWD层构建：建库实现测试

　　第53节 - 知识点17：DWD层构建：建表实现测试

　　第54节 - 知识点18：DWD层构建：数据抽取分析&知识点19：DWD层构建：数据抽取测试

　　第55节 - 知识点20：整体代码重难点回顾

　　第56节 - 知识点01： 课程回顾

　　第57节 - 知识点02： 课程目标

　　第58节 - 知识点03：维度建模回顾：建模流程

　　第59节 - 知识点04：维度建模回顾：维度设计

　　第60节 - 知识点05：维度建模回顾：维度模型

　　第61节 - 知识点06：一站制造业务主题划分

　　第62节 - 知识点07：一站制造业务维度设计

　　第63节 - 知识点08：一站制造业务主题维度矩阵

　　第64节 - 知识点09：行政地区维度设计

　　第65节 - 知识点10：行政地区维度构建

　　第66节 - 知识点11：日期时间维度设计

　　第67节 - 知识点12：日期时间维度构建

　　第68节 - 知识点13：服务网点维度设计

　　第69节 - 知识点14：服务网点维度构建

　　第70节 - 知识点15：油站维度设计

　　第71节 - 知识点16：油站维度构建

　　第72节 - 知识点17：其他维度：组织机构

　　第73节 - 知识点18：其他维度：仓库、物流

　　第74节 - 知识点 01：课程回顾

　　第75节 - 知识点 02：课程目标

　　第76节 - 知识点03：分层回顾

　　第77节 - 知识点04：DWB层的设计

　　第78节 - 知识点05：事实主题指标划分

　　第79节 - 知识点06：呼叫中心事实指标需求分析

　　第80节 - 知识点07：呼叫中心事实指标构建

　　第81节 - 知识点08：油站事实指标需求分析

　　第82节 - 知识点09：油站事实指标构建

　　第83节 - 知识点10：工单事实指标需求分析

　　第84节 - 知识点11：工单事实指标构建

　　第85节 - 知识点12：安装事实指标需求分析

　　第86节 - 知识点13：安装事实指标构建

　　第87节 - 知识点14：维修事实指标需求分析

　　第88节 - 知识点15：维修事实指标构建

　　第89节 - 知识点16：客户回访事实指标需求分析

　　第90节 - 知识点17：客户回访事实指标

　　第91节 - 知识点18：费用事实指标分析及实现（上）

　　第92节 - 知识点18：费用事实指标分析及实现（下）

　　第93节 - 知识点19：差旅事实指标分析及实现

　　第94节 - 知识点20：网点物料事实指标分析及实现

　　第95节 - 附录一：在线教育项目回顾

　　第96节 - 附录二：一站制造项目回顾

　　第97节 - 知识点01：课程回顾

　　第98节 - 知识点02：课程目标

　　第99节 - 知识点03：数仓分层回顾

　　第100节 - 知识点04：ST层的设计

　　第101节 - 知识点05：服务域：工单主题分析

　　第102节 - 知识点06：服务域：工单主题实现

　　第103节 - 知识点07：服务域：油站主题分析

　　第104节 - 知识点08：服务域：油站主题实现

　　第105节 - 知识点09：服务域：安装主题分析实现

　　第106节 - 知识点10：服务域：维修主题分析实现

　　第107节 - 知识点11：服务域：回访主题分析

　　第108节 - 知识点12：服务域：回访主题实现

　　第109节 - 知识点13：服务域：派单主题分析实现

　　第110节 - 知识点14：服务域：费用主题分析

　　第111节 - 知识点15：服务域：费用主题实现

　　第112节 - 知识点16：物料域：主题模型

　　第113节 - 知识点17：DM层：设计及运营部门主题

　　第114节 - 知识点01：课程目标

　　第115节 - 知识点02：任务流调度回顾

　　第116节 - 知识点03：AirFlow的介绍

　　第117节 - 知识点04：AirFlow的部署启动

　　第118节 - 知识点05：AirFlow的架构组件

　　第119节 - 知识点06：AirFlow的开发规则

　　第120节 - 知识点07：Shell调度测试

　　第121节 - 知识点08：依赖调度测试

　　第122节 - 知识点09：Python调度测试

　　第123节 - 知识点10：Oracle与MySQL调度方法

　　第124节 - 知识点11：大数据组件调度方法

　　第125节 - 知识点12：定时调度使用

　　第126节 - 知识点13：Airflow常用命令

　　第127节 - 知识点14：邮件告警使用

　　第128节 - 知识点15：一站制造中的调度

　　第129节 - 知识点16：回顾：Spark核心概念（上）

　　第130节 - 知识点16：回顾：Spark核心概念（下）

　　第131节 - 知识点01：课程目标

　　第132节 - 知识点02：监控需求及常见工具

　　第133节 - 知识点03：Prometheus的介绍

　　第134节 - 知识点04：Prometheus的架构

　　第135节 - 知识点05：Prometheus的部署

　　第136节 - 知识点06：node_exporter插件

　　第137节 - 知识点07：mysqld_exportor插件

　　第138节 - 知识点08：可视化工具Grafana介绍

　　第139节 - 知识点09：可视化工具Grafana部署

　　第140节 - 知识点10：Grafana集成Prometheus

　　第141节 - 知识点11：Grafana集成MySQL监控

　　第142节 - 知识点12：项目总结：背景需求

　　第143节 - 知识点13：项目总结：数据来源

　　第144节 - 知识点14：项目总结：主题划分

　　第145节 - 知识点15：项目总结：技术架构

　　第146节 - 知识点16：项目总结：数仓设计

　　第147节 - 知识点17：项目总结：优化及新特性

　　第148节 - 知识点18：项目总结：问题

　　第149节 - 知识点19：项目总结：数据规模

　　第150节 - 知识点20：项目总结：简历模板

　　未完待续，黑马老师996更新中......