原创 IDEA編寫Scala代碼時自動顯示變量類型
設置方法如下： settins -->Editor–> Code Style --> scala --Type Annotations 勾選框選部分 結果如下所示：
2020-07-01 18:59:22
原创 RDD常用操作，及結果展示
首先簡單介紹一下，HDFS的相關操作： 1、在HDFS上創建文件夾 hdfs dfs -mkdir /path 2、將本地文件拷貝到HDFS上 hdfs dfs -copyFromLocal local_file
2020-06-28 01:37:04
原创 Python遞歸與非遞歸算法的例子，七個練習
練習1 創建一個函數 power來爲任意數字做冪運算n ** i #遞歸 def power(n,i): if i==1: return n return n*power(n,i-1) print(power(2,4))
2020-06-16 10:49:43
原创 Spark的安裝及配置過程（linux完全分佈式）
Spark是一個基於內存的通用並行計算框架，目的是讓數據分析更加快速。 Spark+Hadoop的組合，纔是未來大數據領域最熱門的組合，也是最有前景的組合！ 1.安裝spark 1.1下載Spark安裝包： Download Sp
2020-06-16 10:49:43
原创 Spark中，DataFrame的操作實例及展示
1、啓動進程 啓動：hdfs和spark，會看到如下圖所示的進程 （1）主節點如圖所示： （2）從節點如圖所示： 2、Spark集羣的啓動 瀏覽器輸入 http://10.103.104.101:8080/ （2）spark
2020-06-16 10:49:43
原创 python中，類的多態，實例及運行結果的展示
多態是python三大特性之三 多態從字面上理解是多種形態 ------例如：狗(狼狗、藏獒、哈士奇、古牧……） 多態：一個對象可以以不同的形態去呈現 接下來看一個多態的例子： 首先定義兩個類，A和B， class A: def
2020-06-16 10:49:43
原创 python中，類的封裝以及對象的隱藏屬性
封裝是python三大特性之一 封裝：指的是隱藏對象中一些不希望被外部所訪問到的屬性或方法，使用封裝,確實增加了類的定義的複雜程度,但是它也確保了數據的安全性： 1.隱藏了屬性名,使調用者無法隨意的修改對象中的屬性 2.增加了ge
2020-06-16 10:49:43
原创 在spark-shell中wordcount的實現，以及錯誤的解決！
新建兩個文件，輸入以下字符，用空格進行分割。 首先： 啓動spark進程：start-all-spark.sh 使用：jps 進行查看進程！ 進入scala界面：spark-shell 在scala輸入以下代碼 結果如下：
2020-04-27 15:47:28
原创 python多態中，特殊方法的使用實例及結果展示（6個練習）
特殊方法都是以：__開頭__結尾的方法 ------特殊方法不需要我們自己調用,不要嘗試去調用特殊方法；特殊方法將會在特殊的時刻自動調用。 1、object.__init__(self,xxx,xxx) 方法__init__()：
2020-03-16 05:39:34
原创 python中，類的繼承，實例及結果（必須知道的五點）
繼承是python三大特性之二 通過繼承我們可以使一個類獲取到其他類中的屬性和方法。 -----在定義類時,可以在類名後的括號中指定當前類的父類(超類、基類、super) -----子類(衍生類)可以直接繼承父類中的所有的屬性和方
2020-03-14 13:10:24
1
原创 面向過程和麪向對象的語言有哪些，以及優缺點（一篇文章讓你理解）
C語言是面向過程的,而C++，python，java是面向對象的 — 面向過程的編程思想將一個功能分解爲一 個一個小的步驟,我們通過完成一個一 個的小的步驟來完成一個程序。 優點：這種編程方式 ，符合我們人類的思維,編寫起來相對比
2020-03-14 13:10:14