一、課程地址
-
廈門大學數據庫實驗室
http://dblab.xmu.edu.cn/ -
《大數據技術原理與應用》教材官網
http://dblab.xmu.edu.cn/post/bigdata/ -
《大數據基礎編程、實驗和案例教程》教材官網
http://dblab.xmu.edu.cn/post/bigdatapractice/
注：推薦教材 -
大數據Linux實驗環境虛擬機鏡像文件
http://dblab.xmu.edu.cn/blog/1645-2/
鏡像地址：https://pan.baidu.com/s/1kUWaNWz#list/path=%2F
Visual box 5.2+ubuntu 14.06.04 -
林子雨編著《大數據技術原理與應用》教材配套大數據軟件安裝和編程實踐指南
http://dblab.xmu.edu.cn/post/5663/
重要網頁，包含軟件下載地址與編程實踐指南兩部分內容。 -
配套大數據軟件下載地址
https://pan.baidu.com/s/1ZuY142dtMERuh4vfliAgJg#list/path=%2F
提取碼：gx0b -
林子雨主講入門級大數據在線課程(包含課程視頻)
http://dblab.xmu.edu.cn/post/bigdata-online-course/#lesson0 -
大數據技術原理與應用 第二章 大數據處理架構Hadoop 學習指南
http://dblab.xmu.edu.cn/blog/285/ -
hadoop單機版與僞分佈式安裝步驟
http://dblab.xmu.edu.cn/blog/install-hadoop/ -
eclipse mars下載地址
https://www.eclipse.org/downloads/packages/release/mars/2 -
hadoop集羣安裝步驟
http://dblab.xmu.edu.cn/blog/install-hadoop-cluster/ -
ssh加密原理學習貼：
https://www.cnblogs.com/linzetong/p/10382432.html
https://www.cnblogs.com/pcheng/p/9629621.html
https://blog.csdn.net/udeankyd/article/details/81059704
https://blog.csdn.net/a1510841693/article/details/83743989 -
大數據技術原理與應用 第三章 分佈式文件系統HDFS 學習指南
http://dblab.xmu.edu.cn/blog/290-2/ -
大數據原理與應用 第四章 分佈式數據庫HBase 學習指南
http://dblab.xmu.edu.cn/blog/install-hbase/ -
Hbase原理、基本概念、基本架構
https://blog.csdn.net/woshiwanxin102213/article/details/17584043 -
使用Eclipse編譯運行MapReduce程序_Hadoop2.6.0_Ubuntu/CentOS(實驗報告7)
http://dblab.xmu.edu.cn/blog/hadoop-build-project-using-eclipse/ -
林子雨編著《大數據技術原理與應用》教材配套上機練習題目
http://dblab.xmu.edu.cn/post/5645/
注：與書本課後實驗對應，但是格式不一樣，從學生角度出發。 -
廈門大學林子雨編著《大數據技術原理與應用》教材配套機房上機實驗指南
http://dblab.xmu.edu.cn/post/6131/
注：與書本課後實驗一致 -
PPT下載
http://dblab.xmu.edu.cn/post/5633/ -
中國大學mooc（hadoop）（未開課，不能看）
http://www.icourse163.org/course/XMU-1002335004 -
網易雲課堂（hadoop）
https://study.163.com/course/courseMain.htm?courseId=1002887002&trace_c_p_k2=036309fb1fd04d16bad3fad81fe6e28a#/courseDetail?tab=1 -
林子雨Spark教材官網
http://dblab.xmu.edu.cn/post/spark/
包含實驗指南網址 -
子雨大數據之Spark入門教程（Scala版）（教材文字版-簡化版本）
http://dblab.xmu.edu.cn/blog/spark/
主要的學習材料 -
Scala安裝（實驗報告1）
http://dblab.xmu.edu.cn/blog/929-2/ -
scala下載地址
https://www.scala-lang.org/download/2.11.8.html
https://www.scala-sbt.org/download.html -
Spark安裝(實驗報告2)
http://dblab.xmu.edu.cn/blog/1307-2/ -
使用Eclipse編寫Spark應用程序（Scala+SBT）
http://dblab.xmu.edu.cn/blog/1490/ -
網易雲課堂（spark）
https://study.163.com/course/introduction/1005031005.htm -
中國大學mooc(spark)
http://www.icourse163.org/course/XMU-1205811805 -
教材百度網盤
https://pan.baidu.com/s/1l80bqAUpvnFTMNRHEyODeQ#list/path=%2F
提取碼：vdgm -
ppt下載
http://dblab.xmu.edu.cn/post/7659/#kejianxiazai -
在集羣上運行Spark應用程序
http://dblab.xmu.edu.cn/blog/1217-2/ -
Spark 2.0分佈式集羣環境搭建
http://dblab.xmu.edu.cn/blog/1187-2/ -
Spark快速入門指南 – Spark安裝與基礎使用
http://dblab.xmu.edu.cn/blog/spark-quick-start-guide/ -
網易雲課堂視頻（spark）
https://study.163.com/course/introduction.htm?courseId=1005031005#/courseDetail?tab=1
二、hadoop實驗報告
1、實驗報告1：
2019/10/3 ubuntukylin16.04(Original) 原始安裝盤
2019/10/3 ubuntukylin16.04(1) = ubuntukylin16.04(Original)+安裝vmware-tools
2、實驗報告2：
2019/10/3 ubuntukylin16.04(2) = ubuntukylin16.04(1)+ssh
2019/10/5 ubuntukylin16.04(3)=ubuntukylin(2)+jdk
2019/10/5 ubuntukylin16.04(4)=ubuntukylin(3)+hadoop(單機版)
2019/10/14 ubuntukylin16.04(5)= ubuntukylin16.04(4)+僞分佈配置
3、實驗報告3：
2019/10/25 master= ubuntukylin16.04(4)+集羣配置
2019/10/25 slave1= ubuntukylin16.04(4)+集羣配置
4、實驗報告4：
2019/11/5 ubuntukylin16.04(5.5)= ubuntukylin16.04(5)+eclipse（在線安裝）
內容：1）基於ubuntu(5)版本，安裝eclipse,形成5.5版本。
2）基於ubuntu(5.5)版本，完成shell HDFS練習。
3）基於ubuntu(5.5)版本，基於eclipse完成HDFS程序開發。
備註：離線安裝eclipse-java-mars-2-linux-gtk-x86_64.tar.gz，非常卡，幾乎不能使用，故改爲在線安裝方式，版本號爲3.8.1
5、實驗報告5：
2019/11/03 ubuntukylin16.04(6)=ubuntu16.04(5)+hbase+hbase單機版配置
2019/11/03 ubuntukylin16.04(7)=ubuntu16.04(6)+hbase僞分佈式版配置
內容：1）基於ubuntu(5)版本，完成HBASE單機版配置,形成ubuntu(6)版本。
2）基於ubuntu(6)版本，完成HBASE僞分佈式配置，形成ubuntu(7)版本。
3）基於ubuntu(7)版本，完成HBASE SHELL命令練習。
6、實驗報告6：
2019/11/03 ubuntukylin16.04(8)= ubuntukylin16.04(7)+eclipse（在線安裝）+HBASE實例程序
內容：
1）基於ubuntu(7)版本，在線安裝eclipse，形成ubuntu(8)。
2）基於ubuntu(8)版本，完成eclipse HBASE編程實踐。
7、實驗報告7
2019/12/15 ubuntukylin16.04(9)= ubuntukylin16.04¬(8)+ hadoop-eclipse-kepler-plugin-2.6.0.jar
內容：1）基於ubuntu(8)版本，安裝eclipse插件,形成ubuntukylin16.04(9)版本。
2）基於ubuntu(9)版本，完成eclipse MapReduce程序開發。
三、Spark實驗報告
1、實驗報告1：安裝scala
2020/2/7 ubuntukylin16.04(10)= ubuntukylin16.04(4)+scala-2.11.8
內容：1）基於ubuntukylin16.04(4)版本，安裝scala-2.11.8,形成ubuntukylin16.04(10)
參照http://dblab.xmu.edu.cn/blog/spark/的快學scala部分，完成實例練習。
2、實驗報告2：安裝spark
2020/2/10 ubuntukylin16.04(11)=ubuntukylin16.04(10)+spark2.1.0+sbt0.13.15
內容：參考http://dblab.xmu.edu.cn/blog/1307-2/ ,基於ubuntukylin16.04(10),安裝spark2.1.0和sbt0.13.15