Apache Spark 和 Databricks – Lakehouse 中的流处理

使用 Apache Spark (PySpark) 和 Databricks Cloud (Azure) 以及端到端 Capstone 项目掌握流处理

讲师:Prashant Kumar Pandey

口袋资源独家Udemy付费课程独家中英文字幕配套资料齐全!

不到1/10的价格,即可享受同样的高品质课程,且可以完全拥有,随时随地都可以任意观看和分享。

你将学到什么

  • 实时流处理概念
  • Spark 结构化流 API 和架构
  • 使用流媒体源和接收器
  • 面向数据工程师的 Kafka
  • 使用 Kafka 源并将 Spark 与 Kafka 集成
  • 无状态和全状态流传输转换
  • 使用 Spark Stream 的窗口化聚合
  • 水印和状态清理
  • 流式连接和聚合
  • 使用流连接处理内存问题
  • 使用 Azure Databricks
  • Capstone 项目 – Lakehouse 中的流媒体应用程序

要求

  • Spark 基础知识和 Spark Dataframe API 接触
  • 使用Python编程语言的编程知识

描述

关于课程

我正在使用 Python 语言和 PySpark API在 Lakehouse 中创建Apache Spark 和 Databricks – 流处理。 本课程 将帮助您了解使用 Apache Spark 和 Databricks Cloud 进行实时流处理,并应用这些知识来构建实时流处理解决方案。本课程以示例为主导,并遵循类似工作会议的方法。我们将采用实时编码方法并解释所有需要的概念。

顶点项目

本课程还包括一个端到端顶点项目。该项目将帮助您了解现实项目设计、编码、实施、测试和 CI/CD 方法。

谁应该学习本课程?

我为愿意使用 Apache Spark 开发实时流处理管道和应用程序的软件工程师设计了本课程。我还为负责设计和构建组织以数据为中心的基础设施的数据架构师和数据工程师创建这门课程。另一类人是不直接参与 Spark 实施的经理和架构师。尽管如此,他们还是与那些在底层实施 Apache Spark 的人合作。

课程中使用的 Spark 版本。

本课程使用Apache Spark 3.5我已使用 Databricks Runtime 14.1在 Azure Databricks Cloud 上测试了本课程中使用的所有源代码和示例。

本课程适合谁:

  • 愿意使用 Apache Spark 和 Databricks Cloud 设计和开发大数据工程项目的软件工程师和架构师
  • 渴望使用 Apache Spark 和 Databricks Cloud 成长和学习数据工程的程序员和开发人员

发表回复

后才能评论

  • 每一个课程页面,都有演示地址选项,点击链接可以跳转到课程发布网站查看详细课程列表。
  • 绝大部分课程都有试看内容,可以先点击试看,再决定是否购买。
  • 本站课程均存储在阿里云盘或百度网盘中,由于阿里云盘对分享的文件类型有限制,所以课程资料和字幕会存储到蓝奏云盘中。
  • 阿里云盘和蓝奏云盘都是不限速下载的,你既可以选择在阿里云盘中在线学习,也可以选择下载到本地学习。
  • 课程下载到本地可以挂载中英文双字幕,请点击查看Potplayer挂载中英文双字幕教程
  • 本站所有课程,均提供mp4格式视频文件,中英文双字幕,配套资料齐全,不加密。
  • 每一个课程右侧下载面板中,都会有清晰度标识,大部分都是1080P或者720P,还有少数是超高清的。
  • 本站课程购买之后,均可以免费更新,所有课程,皆配有中文字幕。
  • 请注意,课程的中文字幕是根据英文字幕用谷歌翻译生成的,本非人工翻译。谷歌翻译准确度尚可,学习观看,没有问题。
  • 由于数字资源具有可复制性,一旦购买,不接受退款要求,请在购买之前,认真了解课程内容,确定是否需要。
  • 当然,如果有特殊情况,可以查看网站底部联系方式,联系站长说明问题,我会为你妥善处理。
  • 赞助本站VIP会员,可以免费下载所有课程,详情请查看VIP介绍