原创 Spark&HiveSQL中Join操作的謂詞下推？
前言： SparkSQL和HiveSQL的Join操作中也有謂詞下推？今天就通過大神的文章來了解下。同樣，如有冒犯，請聯繫。 正文 上文簡要介紹了Join在大數據領域中的使用背景以及常用的幾種算法－broadcast hash j
2020-04-03 22:42:05
1
原创 SparkSQL之Join原理
文章目錄前言：Join背景介紹Join常見分類以及基本實現機制Hash JoinBroadcast Hash JoinShuffle Hash JoinSort-Merge Join總結 前言： 寫SQL的時候很多時候都有用到jo
2020-04-03 00:26:21
1
原创 Git常用指令及功能總結
文章目錄前言：1、常用的git指令2、常用git功能及操作2.1、下載代碼：2.2、當前分支和master保持一致2.3、修改代碼後提交代碼到指定分支2.4、版本回退（時空穿梭機）2.5、概念工作區和暫存區2.6、添加遠程庫2.7
2020-02-21 03:41:36
原创 導入Anaconda中的第三方庫運行時報錯：ImportError: Missing required dependencies ['pandas']
今天碰到一個大坑，花了大半天才搞明白問題出在哪來。事情的經過是這樣的：博主下午手賤把已將裝好anaconda2給卸載了（同時裝了2和3），然後再次安裝anconda2後，卻發現配置完pycharm的解釋器後，代碼報錯：:Impor
2019-08-13 16:20:12
12
原创 Azkaban簡介及安裝教程
前言： 最近在實際工作中玩到了Azkaban，雖然之前有簡單的接觸，但是真正用到的時候，才能體會到這個工具的實用性有多強。下面就寫個系列文章來記錄下azkaban從簡介及安裝配置再到簡單使用的一個過程。 1、概述 1.1、爲什麼需
2019-08-07 10:13:37
原创 azkaban的操作指南
前言： 最近在實際工作中玩到了Azkaban，雖然之前有簡單的接觸，但是真正用到的時候，才能體會到這個工具的實用性有多強，總結下真個操作過程。在總結整個操作過程之前先簡單描述下工作流調度系統的優勢。 1、工作流調度系統的優勢 一個
2019-08-03 16:34:30
原创 Python第三方庫的安裝及路徑查看總結
文章目錄1、python第三方庫的四種安裝方法2、更換安裝的第三方庫的鏡像源3、如何查看查看python安裝路徑以及pip安裝的包列表及路徑3.1、Linux環境下查看Python路徑3.2、查看使用pip安裝的軟件包3.3、Wi
2019-07-30 09:41:38
1
原创 Mysql面試熱身題集總結
文章目錄前言1、熱身題實踐其他 前言 一直有個想法：把面試需要的知識點全都總結一下，包括數據庫，語言，算法，數據結構等知識，形成一個面試總結筆記，這樣以後面試的時候只看這些文章回顧下就行了。今天就先總結下Mysql的面試熱身題吧，
2019-06-11 22:47:59
原创 淺談互聯網寒冬與經濟形勢
文章目錄前言：示例一：示例二：閒扯總結： 前言： 作爲剛進入職場一年多的小白來說，剛準備“猥瑣發育漲經驗”，卻碰到這股互聯網寒冬，也感到鴨梨山大。也許有人認爲我在販賣焦慮，但是現實真的很嚴峻。接下說下過去一年的經歷和所見所聞吧，記
2019-06-10 18:16:15
原创 Python基礎常見面試題總結
文章目錄基礎知識題看程序寫結果題編程題 以下是總結的一些常見的Python基礎面試題，幫助大家回顧基礎知識，瞭解面試套路。會一直保持更新狀態。 PS：加粗爲需要注意的點。 基礎知識題 1、深拷貝和淺拷貝的區別是什麼？ 深拷貝是將對象本
2019-03-10 03:08:13
原创 Mysql實踐總結
前言： 工作中總會和mysql打交道，這裏總結下一些常用的函數功能及需求實現 。後續會不斷更新。 1、mysql獲取未來、現在、過去的時間：DATE_SUB（）、DATE_ADD() #當前日期 select DATE_SUB(cur
2018-11-26 10:24:23
原创 Pycharm使用技巧總結
1、PyCharm如何自動生成函數註釋 一般在函數def()行下敲三次回車，然後手動添加說明 def xxx(self, x1, x2, x3): """ :param x1:
2018-11-26 10:24:23
原创 Linux執行定時任務（crontab）遇到的坑
文章目錄前言：1、建立定時任務的兩種方式1.1、crontab -e1.2、vi /etc/ crontab2、兩種方法的區別2.1、用戶級2.2、系統級3、解決辦法 前言： 之前第一次要在生產環境部署定時任務，無奈的是，博主對定時任
2018-11-26 10:24:23
3
原创 Linux常用命令總結
文章目錄系統目錄結構命令格式：命令 -選項 參數 如：ls -la /usr1、常用指令2、系統管理命令3、打包壓縮相關命令4、關機/重啓機器5、Linux管道6、Linux軟件包管理7、vim使用8、用戶及用戶組管理9、文件權限管理
2018-11-20 10:52:49
原创 玩Azkaban跳過的坑
文章目錄一號坑：啓動Azkaban報錯：User xml file conf/azkaban-users.xml doesn't exist.二號坑：報錯：failed [email protected]:8443:
2018-11-14 10:44:42