原创 Python學習第六天---函數與lambda表達式
1、函數與lambda表達式 *參數名的使用：在定義函數的時候，當我們不知道這個函數要往裏面傳多少個值的時候，我們就需要將參數設定爲（*參數），這樣在傳遞的時候我們可以往裏面傳遞任意個參數，其實內置的是以一個元組的方式傳遞
2020-06-01 14:13:20
原创 Python學習第二天----字符串和列表
1、數值 和字符串的講解 1.1、數值 有int 、 float、Decimal（更精確的小數）、Fraction（分數） 整數int是不帶小數的 age = 20
2020-06-01 14:13:20
原创 Python學習第三天---字典表、元組、文件的學習
1、字典表dict。 字典表在其他的語言中就是hash表！其實是一樣的道理：先學以下基本操作。 字典表聲明的時候使用的是花括號，d = {‘鍵’：值 ， 鍵：值，....} ，或者合適d
2020-06-01 14:13:20
原创 ETL--Flume的優化
載自品友互動：http://www.ipinyou.com.cn/technicalnews/201112/Technical_6.html ETL(Extraction, Transformation, and Load)是基於日誌數據
2020-06-01 14:13:08
5
原创 Spark學習第二天之---共享變量Broadcast Variable(廣播變量)和Accumulator(共享變量)
共享變量分爲兩種：Broadcast Variable（廣播變量） 和 Accumulator（累加變量） 什麼是共享變量？ 默認情況下，如果在一個算子的函數中使用到了某個外部的變量，那麼這個變量的值會被拷貝到每個task中。此時每個t
2019-01-25 18:50:08
原创 Spark學習第二天----Transformation和Action算子的學習
1、transformation和Action算子的介紹。 transformation操作會針對已有的RDD創建一個新的RDD； 而action則主要是對RDD進行最後的操作，比如遍歷、reduce、保存到文件等，並且把結果返回給D
2019-01-25 18:50:08
原创 數據結構學習第六天---樹的概念以及二叉樹
1、樹的概念： 樹（英文Tree）：它是一種抽象數據類型（ADT）或是實作這種抽象數據類型的數據結構，用來模擬具有樹狀結構性質的數據集合。它是由n（n>=1）個有限節點組成一個具有層次關係的集合。把他叫做“樹”是因爲它看起來像一顆倒掛
2019-01-21 17:57:38
原创 Spark學習第一天------創建RDD的方式
1,創建RDD 1.進行Spark核心編程時，首先要做的第一件事，就是創建一個初始的RDD。該RDD中，通常就代表和包含了Spark應用程序的輸入源數據。然後在創建了初始的RDD之後，纔可以通過Spark Core提供的transform
2019-01-21 17:57:38
原创 數據結構學習第五天---歸併排序與二分查找
1、歸併排序 ： 歸併排序（MERGE-SORT）是利用歸併的思想實現的排序方法，該算法採用經典的分治（divide-and-conquer）策略（分治法將問題分(divide)成一些小的問題然後遞歸求解，而治(conquer)的階段
2019-01-16 18:27:56
原创 數據結構學習第四天--希爾排序和快排
1、希爾排序 ： 希爾排序（Shell Sort）是插入排序的一種。也叫做縮小增量排序，是直接插入排序算法的一種改進版，是一個非穩定的排序算法.他的原理是把記錄按下標的一定增量分組，對每組使用直接插入排序算法排序；隨着增量逐漸減少，每
2019-01-09 18:36:48
原创 數據結構學習第四天---棧與隊列的概念
1、概念： 前面我們學習了鏈表！鏈表與順序表統稱爲線性表！ 那麼線性表中的順序表在物理上存儲的層次來說的話應該是一組連續的內存空間存儲數據，鏈表是將元素存放在通過鏈接構造起來的一系列存儲塊中。那麼我們如何利用這些數據呢？那麼我們就要使
2019-01-02 19:59:52
原创 數據結構學習第三天---基本數據結構---鏈表的學習
1、鏈表的提出 ： 1、試想當我們的順序表去存儲的時候增加數據都需要重新申請空間！有沒有一種結構可以讓我們在進行擴充的時候，原有的數據不用改變！多一個數據就增加一個呢！？這樣的數據就使用到了鏈表。 鏈表的定義： 鏈表（linke
2018-12-30 14:19:24
原创 數據結構學習第二天---基本數據結構--順序表（外置、內置、一體式、分離式）
1、基本順序表與元素外置的順序表： 一組數據相同類型的最直觀的的存儲：我們就按照順序靠在一起！ 這就是我們的順序表。，是指使用一組地址連續的存儲單元依次存儲數據元素的線性結構。 自我總結話述： 第一個問題：爲什麼下標是從0開
2018-12-23 18:34:08
原创 數據結構入門學習第一天
1、算法引入 數據結構與算法 ： 我們把整個寫代碼的過程比喻爲打仗！ 代碼 是兵卒還有武器，那麼我們便是將軍，數據結構與算法就是一個我們所謂的兵法還有計謀！ 例子：如果a+b+c = 1000 ， 且
2018-12-16 18:16:51
原创 Linux學習之系統管理命令--以及Crontab的使用
1、系統管理命令 1、uname ：查看是什麼操作系統 uname -r ：查看是什麼內核版本。 2、cat /proc/cpuinfo ：查看系統的cpu信息。 3、cat /proc/meminfo ：
2018-12-12 18:21:43