为数据工程师掌握 AWS Lambda 函数

为数据工程师构建端到端数据管道的 AWS Lambda 函数综合课程。

讲师：Durga Viswanatha Raju Gadiraju

口袋资源独家Udemy付费课程，独家中英文字幕，配套资料齐全！

用不到1/10的价格，即可享受同样的高品质课程，且可以完全拥有，随时随地都可以任意观看和分享。

你将会学到的

• 在 Windows 上设置所需的工具以使用 Python 和 AWS 服务开发 ETL 数据管道的代码
• 设置项目或开发环境以使用 Python 和 AWS 服务开发应用程序
• 通过在 AWS 中创建账户并配置 AWS CLI 以及查看用于项目的数据集来开始使用 AWS
• 使用 Python boto3 开发核心逻辑以将数据从源摄取到 AWS s3
• 使用 Python 3 运行时环境开始使用 AWS Lambda 函数
• 重构应用程序，构建 zip 文件以部署为 AWS Lambda 函数
• 使用 Zip 文件创建 AWS Lambda 函数并验证
• 使用 AWS Cloudwatch 解决与 AWS Lambda 函数相关的问题
• 为应用程序构建自定义 docker 映像并推送到 AWS ECR
• 使用 AWS ECR 中的自定义 docker 映像创建 AWS Lambda 函数

要求

• 计算机科学或 IT 学位或 1 或 2 年 IT 经验
• 能够使用终端运行命令的基本 Linux 技能
• 需要使用 Python 进行编程技能
• 使用 AWS 服务的有效 AWS 账户来了解如何使用 AWS Lambda 函数构建数据管道

说明

你想通过使用 Python 和其他关键 AWS 服务（如Boto3、S3、Dynamodb、ECR、Cloudwatch、Glue Catalog、Athena等）构建端到端数据管道来学习 AWS Lambda 函数吗？这是一门课程，你将通过使用提到的所有服务实施端到端管道来学习 AWS Lambda 函数。

• 在 Windows 上设置所需的工具，以使用 Python 和 AWS 服务开发 ETL 数据管道的代码。你将负责使用 wsl、Docker 桌面、Visual Studio Code 以及远程开发扩展工具包设置Ubuntu，以便你可以使用 AWS 服务开发基于 Python 的应用程序。
• 设置项目或开发环境以在 Windows 和 Mac 上使用 Python 和 AWS 服务开发应用程序。
• 通过在 AWS 中创建账户并配置 AWS CLI以及查看用于项目的数据集来开始使用 AWS
• 使用 Python boto3 开发核心逻辑以将数据从源摄取到 AWS s3。该应用程序将使用 Boto3 构建以与 AWS 服务、用于日期运算的 Pandas 以及通过 REST API 从源获取文件的请求进行交互。
• 使用 Python 3.9 运行时环境开始使用AWS Lambda 函数
• 重构应用程序，并构建一个 zip 文件以部署为 AWS Lambda 函数。应用程序逻辑包括在 Dynamodb 中捕获书签以及 Job Run Detail。你还将了解 Dynamodb以及如何与 Dynamodb 交互以管理书签以及作业运行详细信息。
• 使用 Zip 文件创建AWS Lambda 函数，使用 AWS 控制台进行部署并进行验证。
• 使用 AWS Cloudwatch 解决与 AWS Lambda 函数相关的问题
• 为应用程序构建自定义 docker 映像并将其推送到AWS ECR
• 使用AWS ECR 中的自定义 docker 映像创建 AWS Lambda 函数，然后进行验证。
• 了解AWS s3 事件通知或Lambda 函数上基于 s3 的触发器。
• 开发另一个 Python 应用程序来转换数据，并将数据以 Parquet 的形式写入 s3。该应用程序将使用 Pandas 构建，一次将 10,000 条记录转换为 Parquet。
• 使用两个 Lambda 函数之间的 AWS s3 事件通知构建协调的管道。
• 使用 AWS EventsBridge 安排第一个 lambda 函数，然后进行验证。
• 最后，在包含 parquet 文件的 s3 位置创建 AWS Glue 目录表，并通过使用 AWS Athena 运行 SQL 查询进行验证。

请注意，内容已录制，目前正在后期制作中。100% 的课程内容将在 7 月 10 日之前提供。

以下是本次培训的主要内容：

• 使用基于 Zip 的包和自定义 docker 映像开发 Python 应用程序并部署为 Lambda 函数。
• 通过查看 Cloudwatch 日志来监控和解决问题。
• 用于演示的整个应用程序代码以及用于提出核心逻辑的笔记本。
• 能够使用多种 AWS 服务构建解决方案，例如Boto3、S3、Dynamodb、ECR、Cloudwatch、Glue Catalog、Athena 等

此课程面向哪些人：

• 想要通过动手和实时示例学习 AWS Lambda 函数的大学生
• 希望通过实时示例掌握用于数据处理的 AWS Lambda 函数的有抱负的数据工程师和数据科学家
• 具有基础编程经验并希望使用 AWS 和 Python 构建完整项目的入门级 IT 专业人员
• 希望探索如何使用 Python 和 AWS 服务构建端到端应用程序的经验丰富的应用程序开发人员
• 经验丰富的数据工程师使用 Python 和 AWS 服务构建端到端数据管道
• 任何热衷于使用一些关键服务（如 s3、Dynamodb、Lambda、ECR、IAM 等）开始使用 AWS 的 IT 专业人员。

口袋站长永久会员

收藏 海报 链接