分布式计算实践课程

实验与实训

五个实验,共16学时;一周综合实训。每次从对应镜像开始,按步骤完成操作,把实际结果填入Word。

  1. 领取本周材料下载学生资料包,镜像由教师课堂发放。
  2. 导入并连接Linux以student登录,密码留空,执行环境检查。
  3. 用Word记录结果按预填栏目粘贴截图、命令、结果和源码。

本学期实验安排

01

4学时 · 起点 L01

Linux、AI助手与HDFS

连接Linux,读取HDFS配置,完成文件存取并核对块位置。

02

4学时 · 起点 L02

Python MapReduce

手算词频,补全Mapper和Reducer,提交YARN作业。

03

4学时 · 起点 L03

PySpark数据分析

使用RDD、DataFrame和SQL清洗并核对销售统计。

04

2学时 · 起点 L04

ZooKeeper协调服务

观察节点监听、会话结束、候选交接与多数派恢复。

05

2学时 · 起点 L05

实时统计与恢复

计算10秒窗口,核对流结果,保留checkpoint恢复查询。

实训

5天 · 起点 P00

一周综合实训

4–5人一组,完成数据生成、HDFS存储、批流分析和网页展示。

镜像与作业

虚拟机镜像由教师课堂发放。按本周实验编号和机房使用的软件领取一份镜像。五个实验对应L01–L05,实训对应P00;每份镜像可独立使用。

每次实验提交一份Word报告,综合实训每组提交一份。末尾用一段说明或一张截图记录AI使用情况;未使用时填“未使用”。

运行虚拟机时放在本地磁盘,关机后再复制到U盘。推荐32GB exFAT U盘,主机本地预留25GB空间。

班级群通知

教师可复制以下通知发到班级群。

同学们,分布式计算实验材料已放到课程网页:
https://distributed-computing-slides.pages.dev/labs/

课前完成:
1. 在网页“资料与镜像领取”下载完整学生资料包并解压。
2. 本周虚拟机镜像由教师课堂发放,按实验编号和虚拟化软件领取一份。
3. 阅读“课前准备与连接”,将虚拟机放到电脑本地磁盘运行,登录student,密码留空。
4. 按本次指导书完成实验,截图、实际结果和源码贴入对应Word模板。末尾用简短说明或一张截图记录AI使用情况。

每次实验提交一份Word报告,综合实训每组提交一份。前次实验尚未完成的同学,可从本周对应镜像继续。
下载通知文本