面向数据工程师的 Azure Databricks 和 Spark (PySpark / SQL)
使用 Azure Databricks、Delta Lake、Unity Catalog、Azure 数据工厂的一级方程式赛车真实世界项目
讲师：Ramesh Retnasamy
口袋资源独家Udemy付费课程，独家中英文字幕，配套资料齐全！
用不到1/10的价格，即可享受同样的高品质课程，且可以完全拥有，随时随地都可以任意观看和分享。
你将会学到的
- 您将学习如何使用 Azure Databricks 和 Spark Core 构建现实世界的数据项目。本课程是使用真实世界数据教授的。
- 您将获得 Azure Databricks、Delta Lake、Spark Core、Azure Data Lake Gen2 和 Azure Data Factory (ADF) 方面的专业级数据工程技能
- 您将学习如何在 Azure Databricks 中创建笔记本、仪表板、集群、集群池和作业
- 您将学习如何使用 Azure Databricks 中的 PySpark 提取和转换数据
- 您将学习如何在 Azure Databricks 中使用 Spark SQL 转换和分析数据
- 您将了解数据湖架构和 Lakehouse 架构。此外，您还将学习如何使用 Delta Lake 实现 Lakehouse 架构。
- 您将学习如何创建 Azure 数据工厂管道来执行 Databricks 笔记本
- 您将了解如何创建 Azure 数据工厂触发器来计划管道以及监视它们。
- 您将获得通过 Azure 数据工程师助理认证考试 DP203 所需的 Azure Databricks 和数据工厂技能
- 您将学习如何从 PowerBI 连接到 Azure Databricks 以创建报告
- 您将全面了解 Unity Catalog 以及 Unity Catalog 提供的数据治理功能。
- 您将学习使用支持 Unity Catalog 的 Databricks 工作区来实施数据治理解决方案。
要求
- 提供了所有代码和分步说明，但以下技能将对您的旅程大有裨益
- 需要基本的Python编程经验
- 需要基本的 SQL 知识
- 了解云基础知识将是有益的，但不是必需的
- 需要 Azure 订阅，如果您没有订阅，我们将在课程中创建一个免费帐户
说明
自课程推出以来的重大更新
2023 年 5 月– 添加了新的第 25、26 和 27 节以包含 Unity 目录。Unity Catalog 是 Databricks 的最新成员，它为 Data Lakehouse 提供统一的数据治理解决方案。这些部分涵盖了 Unity Catalog 的所有方面以及使用项目的实现。
2023 年 3 月– 添加了新的第 6 节和第 7 节。第 8 节已更新。这些更改旨在反映有关访问 Azure Data Lake 的最新 Databricks 建议。此外，这还为使用 Azure 学生订阅或企业订阅且对 Azure Active Directory 访问权限有限的学生完成课程项目提供了更好的解决方案。
2022 年 12 月– 更新了第 3、4 和 5 部分，以反映 Azure Databricks 最近的 UI 更改。还包括有关 Databricks 最近在 Databricks 集群中包含的附加功能的课程。。
欢迎！
我期待帮助您学习云中最受欢迎的数据工程工具之一 Azure Databricks！本课程的教学内容是使用 Azure Databricks 和 Spark 核心实施数据工程解决方案，用于分析和报告一级方程式赛车数据的现实项目。
这与 Udemy 中针对 Azure Databricks 的其他课程不同。完成课程（包括所有作业）后，我坚信您将能够自己启动一个现实世界的数据工程项目，并精通 Azure Databricks。我还提供了有关 Azure Data Lake Storage Gen2、Azure 数据工厂以及 PowerBI 的课程。本课程的主要重点是 Azure Databricks 和 Spark 核心，但它也涵盖了相关概念以及与提到的其他技术的连接。请注意，本课程不涵盖 Spark 的其他方面，例如 Spark 流和 Spark ML。该课程还使用 PySpark 和 Spark SQL 进行教学；它不涵盖 Scala 或 Java。
该课程遵循现实世界项目实施的逻辑进展，解释技术概念并同时构建 Databricks 笔记本。尽管本课程并不是专门为教您通过 Azure 数据工程师助理认证考试 DP203 所需的技能而设计的，但它可以极大地帮助您获得考试所需的大部分必要技能。
我珍惜你的时间，就像珍惜我自己的时间一样。因此，我将这门课程设计得快节奏、切题。此外，该课程以简单的英语授课，没有行话。我从基础开始课程，在课程结束时，您将精通所使用的技术。
目前该课程教您以下内容
Azure 数据块
- 使用 Azure Databricks、Azure Data Lake Gen2、Azure 数据工厂和 Power BI 构建数据工程解决方案的解决方案架构
- 创建和使用 Azure Databricks 服务以及 Azure 中的 Databricks 体系结构
- 使用 Databricks 笔记本以及使用 Databricks 实用程序、魔术命令等
- 在笔记本之间传递参数以及创建笔记本工作流程
- 创建、配置和监控 Databricks 集群、集群池和作业
- 使用 Azure Key Vault 中存储的机密在 Databricks 中安装 Azure 存储
- 使用 Databricks 表、Databricks 文件系统 (DBFS) 等
- 利用Delta Lake实现Lakehouse架构的解决方案
- 创建仪表板以可视化输出
- 从 PowerBI 连接到 Azure Databricks 表
Spark（仅限 PySpark 和 SQL）
- Spark架构、数据源API和Dataframe API
- PySpark – 将 CSV、简单和复杂的 JSON 文件作为 parquet 文件/表引入数据湖。
- PySpark – 过滤器、连接、简单聚合、GroupBy、窗口函数等转换。
- PySpark – 创建本地和临时视图
- Spark SQL – 创建数据库、表和视图
- Spark SQL – 过滤、联接、简单聚合、GroupBy、窗口函数等转换。
- Spark SQL – 创建本地和临时视图
- 使用分区实现完全刷新和增量加载模式
三角洲湖
- Data Lakehouse 架构的出现和 Delta Lake 的作用。
- 使用 PySpark 和 SQL 读取、写入、更新、删除和合并到 Delta Lake
- 历史、时间旅行和真空
- 将 Parquet 文件转换为 Delta 文件
- 使用 Delta Lake 实现增量负载模式
统一目录
- 数据治理和 Unity 目录概述
- 创建 Unity Catalog Metastore 并使用 Unity Catalog 启用 Databricks 工作区
- 3 级命名空间和创建 Unity Catalog 对象的概述
- 通过 Unity Catalog 配置和访问外部数据湖
- 使用 Unity Catalog 开发迷你项目，并了解 Unity Catalog 提供的关键数据治理功能，例如数据发现、数据审计、数据沿袭和数据访问控制。
Azure 数据工厂
- 创建管道来执行 Databricks 笔记本
- 设计强大的管道来处理意外情况，例如丢失文件
- 在活动和管道之间创建依赖关系
- 使用数据工厂触发器安排管道定期执行
- 监视触发器/管道以检查错误/输出。
此课程面向哪些人：
- 寻找数据工程职业的大学生
- 致力于其他学科并试图转向数据工程的 IT 开发人员
- 目前正在使用本地技术或其他云平台（例如 AWS 或 GCP）并希望学习 Azure 数据技术的数据工程师/数据仓库开发人员
- 希望了解 Azure 数据工程堆栈的数据架构师
