Google Cloud 认证专业数据工程师
理论、实践和 252 个问题、答案和解释。所有实践均采用一键复制粘贴方式。 PDF下载
讲师：Deepak Dubey
口袋资源独家Udemy付费课程，独家中英文字幕，配套资料齐全！
用不到1/10的价格，即可享受同样的高品质课程，且可以完全拥有，随时随地都可以任意观看和分享。
你将学到什么
- 设计数据处理系统
- 构建和运行数据处理系统
- 机器学习模型的可操作性
- 确保解决方案质量
- 设计数据管道
- 设计数据处理解决方案
- 迁移数据仓库和数据处理
- 构建和运行存储系统
- 建设和运营管道
- 构建和运行处理基础设施
- 利用预构建的 ML 模型作为服务
- 部署 ML 管道
- 机器学习模型的测量、监控和故障排除
- 安全性和合规性设计
- 确保可扩展性和效率
- 确保可靠性和保真度
- 确保灵活性和便携性
要求
- 本课程将涵盖您通过 Google Cloud 认证专业数据工程师所需的一切
描述
设计数据处理系统
选择适当的存储技术。考虑因素包括：
● 将存储系统映射到业务需求
● 数据建模
● 涉及延迟、吞吐量、事务的权衡
● 分布式系统
● 架构设计
设计数据管道。考虑因素包括：
● 数据发布和可视化（例如BigQuery）
● 批处理和流数据（例如Dataflow、Dataproc、Apache Beam、Apache Spark 和Hadoop 生态系统、Pub/Sub、Apache Kafka）
● 在线（交互式）预测与批量预测
● 作业自动化和编排（例如，Cloud Composer）
设计数据处理解决方案。考虑因素包括：
● 基础设施的选择
● 系统可用性和容错能力
● 分布式系统的使用
● 容量规划
● 混合云和边缘计算
● 架构选项（例如，消息代理、消息队列、中间件、面向服务的架构、无服务器功能）
● 至少一次、有序、恰好一次等事件处理
迁移数据仓库和数据处理。考虑因素包括：
● 了解当前状态以及如何将设计迁移到未来状态
● 从本地迁移到云（数据传输服务、传输设备、云网络）
● 验证迁移
构建和运行数据处理系统
构建和运行存储系统。考虑因素包括：
● 有效使用托管服务（Cloud Bigtable、Cloud Spanner、Cloud SQL、BigQuery、Cloud Storage、Datastore、Memorystore）
● 存储成本和性能
● 数据的生命周期管理
建设和运营管道。考虑因素包括：
● 数据清洗
● 批量和流式传输
● 转型
● 数据采集与导入
● 与新数据源集成
建设和运行处理基础设施。考虑因素包括：
● 配置资源
● 监控管道
● 调整管道
● 测试和质量控制
机器学习模型的可操作性
利用预构建的 ML 模型作为服务。考虑因素包括：
● ML API（例如视觉API、语音API）
● 自定义ML API（例如AutoML Vision、Auto ML 文本）
● 对话体验（例如Dialogflow）
部署机器学习管道。考虑因素包括：
● 摄取适当的数据
● 机器学习模型的再训练（AI Platform Prediction and Training、BigQuery ML、Kubeflow、Spark ML）
● 持续评估
选择适当的培训和服务基础设施。考虑因素包括：
● 分布式与单机
● 边缘计算的使用
● 硬件加速器（例如GPU、TPU）
测量、监控机器学习模型并排除故障。考虑因素包括：
● 机器学习术语（例如特征、标签、模型、回归、分类、推荐、监督和无监督学习、评估指标）
● 机器学习模型依赖性的影响
● 常见的错误来源（例如，对数据的假设）
确保解决方案质量
为安全性和合规性而设计。考虑因素包括：
● 身份和访问管理（例如，Cloud IAM）
● 数据安全（加密、密钥管理）
● 确保隐私（例如，数据丢失防护 API）
● 法律合规性（例如，健康保险流通与责任法案 (HIPAA)、儿童在线隐私保护法案 (COPPA)、FedRAMP、通用数据保护条例 (GDPR)）
确保可扩展性和效率。考虑因素包括：
● 构建和运行测试套件
● 管道监控（例如云监控）
● 评估、故障排除和改进数据表示和数据处理基础设施
● 调整资源大小和自动扩展资源
确保可靠性和保真度。考虑因素包括：
● 执行数据准备和质量控制（例如Dataprep）
● 验证和监控
● 规划、执行和压力测试数据恢复（容错、重新运行失败的作业、执行回顾性重新分析）
● 在 ACID、幂等、最终一致要求之间进行选择
确保灵活性和便携性。考虑因素包括：
● 映射当前和未来的业务需求
● 针对数据和应用程序可移植性进行设计（例如，多云、数据驻留要求）
● 数据暂存、编目和发现
本课程适合谁：
- 初学者
- 中间的
- 先进的
