1、Spark&Scala课程标准一、课程基本信息课程名称Spark&Scala课程代码034421017课程性质公共必修课口专业必修课0专业选修课口公共选修课专业核心课（是/否）否课程类型理论课（A类）团理论+实践课（B类）口实践课（C类）学分3学时48理论学时24实践学时24适用专业（方向）大数据技术开设学期第5学期先修课程大数据平台部署与运维、大数据开发实战后续课程专业综合实训对接1+X证书名称无证书级别无建议使用职业教育国家规划教材Spark大数据技术与应用（第2版），肖芳、张良均，人民邮电出版社（2022年9月，第2版）二、课程性质与任务（一）课程性质Spark&Scala课程是大数据技
2、术专业开设的专业限选课。本课程是依据大数据技术专业人才培养目标和相关职业岗位（群）的能力要求而设置的，对本专业所面向的大数据应用开发领域所需要的知识、技能和素质目标的达成起到支撑作用。本课程的前导课程是大数据平台部署与运维、大数据开发实战，后续课程是专业综合实训。（二）课程任务本课程主要讲授Spark基本原理与架构、集群安装配置、Scala与Spark编程、Spark核心组件应用等内容。本课程的任务是培养面向大数据技术领域从事数据处理和分析岗位的高素质技术技能人才，使学生能够熟练的应用大数据技术解决企业中的实际生产问题。同时注重学生社会主义核心价值观的养成，提升学生职业道德、行业规范意识和创新
3、意识。（三）课程设计思路本课程是以大数据技术专业所涵盖的岗位群进行任务与职业能力分析，对接大数据工程技术人员国家职业技术技能标准以及全国职业院校技能大赛大数据应用开发赛项，以任务驱动、就业为导向，根据本专业学生的认知特点，以学生职业能力、素质培养为目标，选取课程教学内容，并为学生可持续发展奠定良好的基础。三、课程目标与要求（一）课程目标I.素质目标（1）具有良好的工作态度和责任心（2）具有较强国家通用语言表达能力及良好的沟通能力（3）具有不断追求知识的持续学习能力、吃苦耐劳的工匠精神（4）具备团队合作及协调能力（5）具备创新精神、适应未来岗位发展的迁移转变能力2.知识目标（1）理解SPark基
4、本原理与架构（2）掌握SPark集群安装和配置（3）掌握SCaIa基础语法（4）掌握SParkRDD编程（5）掌握SParkSQL处理结构化数据的方法（6）掌握SParkStreaming实现实时计算（7）了解SParkGraphX基本使用方法3.能力目标（1）能够熟练使用Spark分布式计算框架（2）具备编写、调试及阅读程序的能力（3）具备发现问题、分析问题与解决问题的能力（4）具备大数据处理、分析的能力（二）课程要求课程单元任务名称（含子任务）要求Spark概述任务1Spark基本概念任务2SPark发展和应用任务3SPark架构及原理任务4SPark环境配置T解Spark概念，掌握Spa
5、rk分布式环境特点，掌握SParkRDD的概念，了解SPark的运行流程和原理Scala基础任务1SCala简介掌握Scala环境的安装，掌任务2Scala安装及环境设置任务3Scala数据类型、函数、表达式的应用任务4Scalaif判断和for循环任务5SCala类的定义任务6SCala集合的应用握SCala语言的应用和编程Spark编程任务1创建RDD任务2RDD基本操作任务3RDD键值对操作任务4文件操作掌握RDD的转化操作和行动操作方法，掌握键值对RDD的操作，掌握文本文件的读取和存储Spark编程进阶任务1安装和配置InteniJIDEA任务2Scala插件安装与使用任务3配置Spa
6、rk运行环境任务4运行SPark程序的方法任务5持久化方法任务6数据分区方法掌握如何在IDEA中配置SPark编程环境，掌握SPark程序的编写SparkSQL：结构化数据文件处理任务1SparkSQL简介任务2SparkSQL配置任务3SparkSQL与Shell交互任务4DataFrame生成与操作方法掌握SParkSQL使用方法SparkStreaming：实时计算框架任务1SparkStreaming运行原理任务2SparkStreaming使用方法任务3DStream编程模型基本方法了解SparkStreaming运行原理，掌握SParkStreaming使用方法SparkGraph
7、X:图计算框架任务1图的基本概念任务2图计算的应用任务3GraphX的基础概念任务4图的创建与存储任务5数据查询与数据转换任务6结构转换与关联聚合了解图计算的应用，掌握SparkGraPhX使用方法SparkMLlib:功任务1机器学习了解机器学习算法，掌握能强大的算法库任务2MLIib介绍和应用SparkMLIib使用方法四、课程结构与内容（一）课程结构与学时分配（可自定义表格）项目名称任务名称（含子任务）任务学时项目学时Spark概述任务1Spark基本概念任务2Spark发展和应用任务3Spark架构及原理24任务4Spark环境配置2Scala基础任务1Scala简介任务2SCala安
8、装及环境设置任务3SCaIa数据类型、函数、表达式任务4Scalaif判断和for循环410任务5SCala类的定义2任务6SCala集合的应用4Spark编程任务1创建RDD210任务2RDD转换操作和行动操作4任务3RDD键值对操作2任务4文件操作2Spark编程进阶任务1安装和配置InteIIiJIDEA任务2SCala插件安装与使用任务3配置Spark运行环境28任务4运行SPark程序的方法4任务5持久化方法任务6数据分区方法2SparkSQL：结构化数据文件处理任务1SparkSQL简介任务2SparkSQL配置任务3SparkSQL与Shell交互26任务4DataFrame生成
9、与操作方法4SparkStreaming：实时计算框架任务1SparkStreaming运行原理任务2SparkStrealning使用方法26任务3DStream编程模型基本方法4SparkGraphX：图计算框架任务1图的基本概念任务2图计算的应用任务3GraphX的基础概念任务4图的创建与存储24任务5数据查询与数据转换任务6结构转换与关联聚合2合计4848（二）课程内容与要求（可自定义表格）教学项目教学内容（1+X证书内容融入）教学目标教学重难点（课程思政内容）教学建议学时Spark概述1. Spark基本概念2. Spark发展和应用素质目标：1.培养学生严谨的工作态度知识目标：1
10、了解Spark基本概念、发展和应用2 .掌握SPark环境配置方法教学重点：搭建Spark分布式环境教学方法：讲授法，任务驱动法，案例教学法等。教学形式：讲授知识、43. Spark环境配置方法4. Spark架构及原理3.理解SPark架构及原理能力目标：具备搭建Spark分布式环境的能力思政目标：1.培养学生具备良好教学难点：Spark的架构及原理分组讨论、学生实践操作教学环境：具备局域网，内存16G的职业道德2.培养学生的职业认同感以上、硬盘IT以上的计算机。Scala基础1. Scala简介2. Scala安装及环境设置3. Scala数据类型、函数、表达式的应用4. Scalaif
11、判断和for循环5. Scala类的定义6. Scala集合的应用素质目标：.培养学生查阅资料能力2.培养和提升学生分析问题的能力知识目标：1.掌握SCala环境的安装及配置1 .掌握SCaIa语言的基本语法能力目标：1 .具备编写、调试及阅读程序的能力2 .能够运用SCaIa语言解决实际问题思政目标：1 .职业道德2 .职业认同感教学重点：1. Scala编程环境的搭建2. SCaIa集合的应用教学难点：Scala类和函数教学方法：讲授法，任务驱动法，案例教学法等。教学形式：讲授知识、分组讨论、学生实践操作教学环境：具备局域网，内存内G以上、硬盘IT以上的计算机。10Spark编程1 .从内
12、存中已有数据创建RDD2 .从外部存储创建RDD3 .RDD转化操作和行动操作方法4 .RDD键值对操作素质目标：1.培养学生自主学习的能力2.培养学生持续学习能力知识目标：1 .掌握创建RDD的方法2 .掌握RDD转化操作和行动操作的方法教学重点：RDD的转化操作和行动操作方法教学难点：键值对RDD的操作教学方法：讲授法，任务驱动法，案例教学法等。教学形式：讲授知识、分组讨论、105.文件读取与3.掌握键值对RDD学生实践操存储4.掌握操作文件读取作与存储的方法能力目标：教学环境：1.具备大数据处理的具备局域基本能力网，内存16G2.具备Spark基础编程以上、硬盘能力IT以上的计思政目标：
13、算机。1.培养学生精益求精的工匠精神2.提升学生的职业道德规范素质目标：教学方法：L提升学生分析问题、讲授法，任解决问题的能力务驱动法，Spark编程进阶1 .下载与安装IntelliJIDEA2 .Scala插件安装与使用3 .运行Spark程序4 .设置RDD持久化5 .设置数据分区知识目标：1 .掌握IntelliJIDEA开发环境配置2 .掌握配置SPark运行环境的方法3 .掌握运行SPark程序教学重点：运行Spark程序的方法案例教学法等。教学形式：讲授知识、分组讨论、8的方法4 .掌握持久化方法5 .掌握数据分区方法能力目标：1.具备利用SPark处理教学难点：数据分区方法学生
14、实践操作教学环境：具备局域和分析数据的能力网,内存16G思政目标：以上、硬盘1.培养学生科技强国IT以上的计的意识算机。SparkSQL：结构化数据文件处理1. SparkSQL简介2. SparkSQLClJ配置3. SparkSQL与Shell交互4. DataFrame基础操作方法素质目标：1.提升学生分析问题、解决问题的能力2.培养学生的逻辑思维能力知识目标：1 .掌握SparkSQLCLI的配置方法2 .掌握SparkSQL与Shell交互的方法3 .掌握DataFrame基础操作方法能力目标：1 .具备利用SparkSQL处理结构化文件的能力思政目标：1.培养学生科技强国的意识2
15、培养学生爱国情怀和文化自信教学重点：1 .SparkSQLCLI的配置2 .DataFrame的操作方法教学难点：DataFrame的操作方法教学方法：讲授法，任务驱动法，案例教学法等。教学形式：讲授知识、分组讨论、学生实践操作教学环境：具备局域网，内存16G以上、硬盘IT以上的计算机。61.Spark素质目标：教学重点：教学方法：Streaming基本1.培养学生有效进行DStream编程讲授法，任Spark概念时间管理的能力模型基本方务驱动法，Streaming：2.Spark2.培养学生的创新意法案例教学法6实时计算框Streaming运识等。架行原理知识目标：教学难点：3.Spark
16、1.理解Spark1.Spark教学形式：Streaming使用Streaming的运行原Streaming讲授知识、方法4.DStream编程模型基本方法理2 .掌握SparkStreaming的使用方法3 .掌握DStream编程模型基本方法能力目标：1 .具备处理和分析实时数据的能力思政目标：2 .培养学生科技强国的意识3 .建立专业自豪感行原理2.DStrealn编程模型基本方法分组讨论、学生实践操作教学环境：具备局域网,内存16G以上、硬盘IT以上的计算机。SparkGraphX：图计算框架1 .图的基本概念2 .图计算的应用3 .GraphX的基础概念4 .图的创建与存储5 .数据
17、查询与数据转换6 .结构转换与关联聚合素质目标：1 .培养学生的钻研精神2 .培养学生适应未来岗位发展的迁移转变能力知识目标：1. 了解图的基本概念2. 了解GraPhX常用APl能力目标：1.具备处理和分析实时数据的能力思政目标：1.培养学生精益求精的工匠精神教学重点：1. GraphX的基础概念2. GraphX的常用API教学难点：GraphX的常用APl教学方法：讲授法，任务驱动法，案例教学法等。教学形式：讲授知识、分组讨论教学环境：具备局域网，内存16G以上、硬盘IT以上的计算机。4（）课程思政实施要求在教学过程中，重点从强化创新意识、科学素养等方面着手开展课程思政教学。结合本课程教
18、学内容，将积极向上的生活态度、勇于探索、不断创新的科学精神、严谨细致的工匠精神、坚定不移的爱国精神等思政元素有机融入课程教学，全面渗透到教学全过程，在教学过程中“润物细无声”的使专业课程教学具有传授知识、培养能力及思想政治教育三重功能。（四）1+X证书内容融入五、学生考核与评价（可自定义表格）形成性评价教学阶段考核项目考核方式考核占比课前(20%)预习任务布置任务提交40%课中（50%）课堂表现考勤、提问实验报告和源码提交课堂练习和实验课后(20%)作业作业提交增值评价（10%）（职业核心能力和职业素养）素质目标达成考察日常考察课程考试笔试闭卷60%增值评价（社会价值）参加技能大赛、职业资格证
19、书考核、职业技能等级证书考核等情况计分学分认定、成绩置换六、教学实施与保障（一）教学要求国家级虚拟仿真实训基地的大数据技术专业相关实训室。（二）教学方法本课程的教学模式采用“教、做、学”为一体的任务驱动式教学模式，针对具体的教学内容和教学过程需要，制定教学方法。注重对学生分析问题，解决问题能力的培养，从完成某一方面的“任务”着手，通过引导学生完成“任务”，从而实现教学目标。同时在部分章节采用探究式教学模式，即以解决实际问题为中心开展教学，在解决实际问题的过程注重学生的实践能力和创新开发能力。在教学方法上本课程采用讲授教学法，引导教学法，任务驱动法，案例教学法等多种教学方法来指导学生，在理论知识
20、介绍之后，通过案例和典型实战，由简单到复杂、逐步递进式的完成知识目标和能力目标，有效地调动学生的学习积极性，激发学生的潜能，培养学生的创新精神与实践能力。（三）教学手段依据模块内容，结合探究式学习、自主式学习、项目式学习、仿真设计学习等教学手段采用边学边练的方式，配有大量的实际应用案例，并通过多媒体设备辅以教学，提高教学效果。配合教学方法，倡导使用多元化以学生为中心的学习方法来指导学生，在理论知识介绍之后，通过案例和典型实战，由简单到复杂、逐步递进式的完成教学任务。（四）教学资源1 .教材教材：SPark大数据技术与应用（第2版），肖芳、张良均，人民邮电出版社参考教材：Spark3.O大数据分
21、析与挖掘，王晓华、罗凯靖，清华大学出版社Spark大数据分析实战，张伟洋，清华大学出版社2 .数字化教学资源职教云平台、多媒体课件、案例源码、测试题和习题（五）实训条件1 .校内实训条件软件与大数据学院占地面积约3000平米、拥有专业实训室28间的国家级虚拟仿真实训基地。2 .校外实训基地自主填写谀（六）师资队伍承担本门课程教学任务的专任或兼职教师要求具备以下条件：1 .良好的职业和个人素养，具有团队精神，责任感强2 .熟悉高职教育规律、实践经验丰富、教学效果好3 .授课过程中注意学生职业素质的培养，包括解决问题的综合能力4 .具有熟练的大数据处理与分析能力，重视学习新技术，能紧跟技术发展七、授课进程与安排序号教学内容学时类型1Spark概述4传授新知识2Scala基础10传授新知识、培养技能3Spark编程10传授新知识、培养技能4Spark编程进阶8传授新知识、培养技能5SparkSQL：结构化数据文件处理6传授新知识、培养技能6SparkStreaming：实时计算框架6传授新知识、培养技能7SparkGraphX:图计算框架4传授新知识、培养技能
免费区 
