AWS Glue – 完整的大师班
掌握构建完整的 AWS Glue ETL 管道、Glue 数据质量、Glue Data Brew 以及其他 AWS 资源
讲师:Data Soup
口袋资源独家Udemy付费课程,独家中英文字幕,配套资料齐全!
用不到1/10的价格,即可享受同样的高品质课程,且可以完全拥有,随时随地都可以任意观看和分享。
你将会学到的
- 了解 AWS Glue 数据目录并创建 AWS Glue 数据库、Glue 表和爬网程序
- 使用 AWS Glue Studio 创建 ETL 管道以及计划触发器、条件触发器和粘合工作流程
- KMS、IAM 角色、SNS、S3 以及与 Glue 关联的其他相关 AWS 资源。了解并创造所有资源
- 了解 AWS Glue 数据质量并创建关联的 Glue ETL 管道
- 了解 AWS Glue Data Brew,创建配方、项目和作业来管理数据集
- 了解 AWS Glue 流式传输、使用 Python shell 作业创建流并使用 Spark 流式传输加载流
- AWS Glue 作业失败的不同方式以及调试失败和修复
- 使用 AWS 控制台和 cloudformation 为 AWS Glue Pipeline 创建 AWS 资源
要求
- ETL概念的理解
- 用于执行所有实验的 AWS 帐户
- 无需云经验
说明
了解 AWS Glue 的最新信息 – 并学习将其与其他 AWS 资源一起使用。
在这个不断增长的数据和不断增长的云计算世界中,拥有云ETL工具的核心能力也是必要的。AWS Glue 具有内置的 Spark 支持、数据质量和使用 Data Brew 的数据管理。JPMC、Vanguard、BCBS、Amazon、第一资本、Capgemini、FINRA 等顶级技术、金融和保险公司都在使用AWS Glue 每天在 PB 级数据上运行 ETL。
AWS Glue 提供无服务器且可扩展的 ETL 解决方案,其中可以使用 Python、Spark 以及当前使用 Ray 编写脚本。它还提供可视化拖放选项来创建 ETL 管道。随着现在越来越多的公司迁移到云,这导致了对这项技能的需求激增!掌握 AWS Glue 后,您现在有能力快速成为就业市场上最有知识的人之一!
本课程将教授 AWS Glue 数据目录、AWS Glue Studio、IAM、SNS、KMS、CloudFormation、CloudWatch 等 AWS 资源的基础知识,并继续学习如何使用 AWS Glue 为组织构建 ETL 解决方案!完成此操作后,我们将介绍如何使用 Glue Data Quality、Glue Streaming 和 Glue Data Brew ETL 管道。一路上,您将拥有多个实验室,使用 AWS 控制台和 CloudFormation 模板创建所有资源和 ETL 管道,让您置身于现实世界中,您需要使用新技能来解决实际问题!
如果您准备好进入 AWS Glue 的数据工程世界,这就是适合您的课程!
此课程面向哪些人:
- 从本地迁移到 AWS 云进行 ETL 的数据工程师、ETL 开发人员、数据仓库开发人员或 BI 开发人员
- 想要了解 Glue ETL 概念并管理数据的数据科学家
- 想要在AWS云中进行ETL的软件开发工程师