使用 Scala 的 Apache Spark – 大数据实践！
Apache Spark 教程，包含 20 多个分析大型数据集的动手示例，在您的桌面或使用 Scala 的 Hadoop 上！
讲师：Sundog Education by Frank Kane
口袋资源独家Udemy付费课程，独家中英文字幕，配套资料齐全！
用不到1/10的价格，即可享受同样的高品质课程，且可以完全拥有，随时随地都可以任意观看和分享。
你将会学到的
- 使用 Scala 编程语言开发分布式代码
- 使用 SparkSQL、DataSet 和 DataFrame 转换结构化数据
- 将大数据分析问题构建为 Apache Spark 脚本
- 通过分区、缓存和其他技术优化 Spark 作业
- 在 Hadoop 集群上构建、部署和运行 Spark 脚本
- 使用 Spark Streaming 处理连续的数据流
- 使用 GraphX 遍历和分析图结构
- 在 Spark 上使用机器学习分析海量数据集
要求
- 需要一些先前的编程或脚本经验。包括 Scala 速成课程，但您需要了解编程的基础知识才能学习它。
- 您将需要一台台式电脑和 Internet 连接。该课程的创建考虑了 Windows，但熟悉 MacOS 或 Linux 的用户可以使用相同的工具。
- 本课程所需的软件是免费提供的，我将引导您完成下载和安装。
说明
新的！针对 Spark 3、IntelliJ、Structured Streaming 进行了全面更新和重新录制，并且更加关注 DataSet API。
“大数据”分析是一项热门且极具价值的技能——本课程将教你大数据中最热门的技术： Apache Spark 。包括亚马逊、 eBay、 NASA JPL、 雅虎在内的雇主 都使用Spark从海量数据中快速提取意义跨容错 Hadoop 集群设置。您将在家中使用自己的 Windows 系统学习相同的技术。这比您想象的要容易，您将向 来自亚马逊的前工程师和高级经理学习IMDB。
Spark 在使用 Scala 编程语言时效果最佳，本课程包括 Scala 速成课程，可帮助您快速上手。然而，对于那些更熟悉 Python 的人，也可以使用该课程的 Python 版本：“使用 Apache Spark 和 Python 驯服大数据 – 动手”。
通过20 多个动手示例学习和掌握将数据分析问题构建为 Spark 问题的艺术，然后在本课程中将它们扩展为在云计算服务上运行。
- 了解 Spark 的弹性分布式数据集、数据帧和数据集的概念。
- 参加 Scala 编程语言速成课程
- 使用 Scala、IntelliJ 和 SBT 快速开发和运行 Spark 作业
- 将复杂的分析问题转化为迭代或多阶段 Spark 脚本
- 使用 Amazon 的Elastic MapReduce 服务扩展到更大的数据集
- 了解 Hadoop YARN如何 跨计算集群分发 Spark
- 练习使用其他 Spark 技术，例如Spark SQL、DataFrames、DataSets、Spark Streaming、机器学习和 GraphX
在本课程结束时，您将在几分钟内运行在云中分析数千兆字节信息的代码。
一路上我们会有一些乐趣。您将通过一些使用 Spark 分析电影分级数据和书中文本的简单示例来热身。一旦你掌握了基础知识，我们将转向一些更复杂和有趣的任务。我们将使用一百万个电影评分来寻找彼此相似的电影，您甚至可能会在此过程中发现一些您可能喜欢的新电影！我们将分析超级英雄的社交图谱，并了解谁是最“流行”的超级英雄——并开发一个系统来找出超级英雄之间的“分离度”。是否所有漫威超级英雄都与蜘蛛侠有一定的联系？你会找到答案的。
本课程非常实用；在我们一起编写、分析和运行真实代码时，您将花费大部分时间跟随讲师——无论是在您自己的系统上，还是在使用 Amazon 的 Elastic MapReduce 服务的云中。包含超过 8 小时的视频 内容，其中包含 20 多个不断增加的复杂性的真实示例，您可以自己构建、运行和学习。按照你自己的节奏，按照你自己的时间表来完成它们。本课程最后概述了其他基于 Spark 的技术，包括 Spark SQL、Spark Streaming 和 GraphX。
立即报名，享受课程！
“我第一次学习 Spark，是使用 Frank 的课程“Apache Spark 2 with Scala – Hands On with Big Data！”。这对我来说是一个很好的起点，获得了 Scala 知识，最重要的是 Spark 应用程序的实际示例。它提供了我了解所有相关的 Spark 核心概念、RDD、数据帧和数据集、Spark Streaming、AWS EMR。在完成后的几个月内，我利用从课程中获得的知识提出在我目前的公司主要从事 Spark 应用程序的工作. 从那以后我继续与 Spark 合作。我强烈推荐 Franks 的任何课程，因为他很好地简化了概念，而且他的教学方式易于遵循和继续！” – Joey Faherty
此课程面向哪些人：
- 希望将技能扩展到集群上的大数据处理领域的软件工程师
- 如果您以前没有编程或脚本编写经验，您将需要先参加入门编程课程。
