Apache Airflow:动手指南
从头到尾掌握 Apache Airflow。关于 Airflow 与 AWS、Kubernetes、Docker 等的实践视频
讲师:Marc Lamberti
口袋资源独家Udemy付费课程,独家中英文字幕,配套资料齐全!
用不到1/10的价格,即可享受同样的高品质课程,且可以完全拥有,随时随地都可以任意观看和分享。
你会学到什么
- 通过实践示例掌握 Airflow 来编码生产级数据管道
- 如何遵循 Apache Airflow 的最佳实践
- 如何使用本地、Celery 和 Kubernetes Wxecutors 扩展气流
- 如何使用 Elasticsearch 和 Grafana 设置监控
- 如何使用身份验证、加密和 RBAC UI 保护 Airflow
- 具有优点和局限性的核心和高级概念
- 掌握带时区、单元测试、回填和追赶的 DAG
- 整理 DAG 文件夹并保持干净
本课程包括:
- 14小时点播视频
- 9篇
- 1 个可下载资源
- 在手机和电视上访问
要求
- Docker 和 Python 的概念
- 安装了 Virtual Box(仅适用于本地 Kubernetes 集群部分)
- Vagrant 已安装
- “Apache Airflow 的完整实践介绍”课程是一个不错的加分项。
描述
Apache Airflow 是一个由社区创建的平台,用于以编程方式编写、安排和监控工作流。
它是可伸缩的、动态的、可扩展的和可调制的。
毫无疑问,掌握 Airflow 正在成为任何处理数据的人的必备技能和有吸引力的技能。
您将在课程中学到什么:
- 解释了 Airflow 的基础知识,例如什么是 Airflow、调度程序和 Web 服务器的工作原理
- Forex Data Pipeline 项目是在 Airflow 中发现许多运算符并处理 Slack、Spark、Hadoop 等的绝佳方式
- 掌握您的 DAG是重中之重,您将能够使用时区、对您的 DAG 进行单元测试、如何构建您的 DAG 文件夹等等。
- 通过Local Executor、Celery Executor和Kubernetes Executor等不同的执行器扩展 Airflow将被详细解释。您将发现如何专门化您的工作人员、如何添加新工作人员以及节点崩溃时会发生什么。
- 将在本地设置一个包含 3 个节点的 Kubernetes 集群,其中包含Rancher、Airflow和Kubernetes Executor,以运行您的数据管道。
- 高级概念将通过实际示例展示,例如为您的 DAG 设置模板、如何使您的 DAG 依赖于另一个、什么是Subdag 和死锁等等。
- 您将使用AWS EKS 和 Rancher在云中设置一个Kubernetes 集群 ,以便将 Airflow 与Kubernetes Executor一起使用
- 监控气流非常重要!这就是为什么您会知道如何使用Elasticsearch和Grafana来做到这一点。
- 还将解决安全问题,以使您的 Airflow 实例符合贵公司的要求。使用 RBAC 为您的用户指定角色和权限,防止使用身份验证和密码、数据加密等访问 Airflow UI 。
此外:
- 课程中提供了许多实践练习,以便您有机会应用所学知识。
- 在需要时说明最佳实践,为您提供使用 Airflow 的最佳方式
- 每个部分末尾都有测验来评估您的理解程度。
- 快速回答您的问题是我的首要任务,我会尽力为您服务。
为了给你最好的内容,我付出了很多努力,我希望你会像我一样喜欢它。
在课程结束时,您将比以往更有信心使用 Airflow
祝你取得圆满成功!
马克·兰贝蒂
本课程适合谁:
- 数据工程师
- 鼓舞人心的数据工程师
- 开发运营
- 软件工程师
- 数据科学家
声明:口袋资源网(koudaizy.com)提供的所有课程、素材等资源全部来源于互联网,赞助VIP仅用于对口袋资源服务器带宽及网站运营等费用支出做支持,从本站下载资源,说明你已同意本条款。