原创 大數據常見端口
轉載自：https://blog.csdn.net/u010476994/article/details/78681079 常見端口彙總： Hadoop： 50070：HDFS WEB UI端口 80
2020-06-28 16:40:38
原创 hive3刪除分區時顯示未找到該分區
Hive3刪除分區時顯示未找到該分區 問題描述：在執行"alter table student_tmp drop partition(p_date_sttc=20191001);"命令時報錯！！ 1.錯誤描述 Error: E
2020-06-28 15:44:54
1
原创 統一hue與oozie時區
1 背景 在使用Hue創建調度任務的過程中，我們會發現Hue的時區與Oozie的調度時間不一致。默認Oozie使用的時區爲UTC，在創建調度作業時還需要考慮在當前的時間減去8個小時才能達到我們的預期。 2 現象描述 使用Hue創建
2020-06-28 15:44:54
原创 中國銀行卡BIN碼
2018年中國銀行卡BIN碼大全 http://www.cardcn.com/gerenwangyin/310.html 序號 賬戶開頭 銀行卡 1 103 農業銀行-金穗借記卡-借記卡 2 18572 昆明
2020-06-12 19:51:21
38
原创 [Hive] 兩種入庫方式
兩種方式 1、load data [local] inpath "{path/file}" into table {db_name.table_name}[partition()]; # hive中執行 2、hadoop fs -
2020-06-11 03:46:19
原创 [轉] hue中生成oozie任務傳參
轉載自https://blog.csdn.net/lmb09122508/article/details/85130053 在hue中，oozie任務分爲4層： 1.action（可以是hive任務，spark任務，she
2020-04-25 20:53:06
原创 Linux終端出現"(base)"
1 背景 由於最近需要在Linux中使用Python3，同時爲了方便管理，故安裝了anaconda3。 2 現象 爲了快速安裝，故安裝過程中一直無腦enter，於是在安裝完成後，發現在Linux終端用戶名多了一個“
2020-03-07 12:51:15
1
原创 pip報錯ReadTimeoutError的解決方法
前言 使用pip安裝模塊時，默認的源是國外網站，訪問起來比較慢，故有時會報錯ReadTimeoutError 方案 可以採用以下兩種方式解決 以安裝newspaper3k爲例，爬蟲實用模塊 1.使用國內鏡像 1）配置文件 在當前用
2019-10-25 22:22:58
原创 Python繪製雷達圖（俗稱六芒星）
背景 《Python數據分析與挖掘實戰》 案例2–航空公司客戶價值分析 在該案例中的雷達圖缺少相應的代碼，查看相關文檔之後，實現的代碼如下。 數據 用於作圖的數據對象名爲data_cluster，數據展示如下： 注：其中（Z
2019-10-25 22:22:58
2
原创 Python（或R）迭代創建對象
前言 在進行數據分析或者其他工作時，有時需要批量創建多個對象，下面提供在Python和R下實現上述目的的方法。 假設你想創建五個對象，對象名分別爲a0,a1,a2,a3,a4。 Python 實現：通過內置函數locals
2019-10-25 22:22:58
2
原创 sys.stdout.flush的作用
目錄前言sys.stdout.write() 和 print()正文1.Windows2.Linux總結後記 前言 sys.stdout.write() 和 print() 官方源碼 """ sys.stdout.write(st
2019-10-25 22:22:57
19
原创 關於Python的畫板、畫布與繪圖區的相關知識
概況 畫板、畫布和繪圖區之間是一個層次關係。 畫板位於最底層，用於放置畫布它只是輔助工具，並不需要我們實際操作； 畫布位於畫板之上，是我們繪圖的基礎； 繪圖區是畫布上用於繪圖的區域，一塊畫布上可以開闢出多個獨立的繪圖區。 Ma
2019-10-25 22:22:57
原创 HiveQL窗口函數
HiveQL窗口函數一、窗口函數語法二、窗口函數類型數據準備１、聚合函數1) sum()2) avg()3) count()4) max()5) min()２、序列函數1) ntile(n)３、排序函數1) row_number(
2019-10-25 22:22:57
原创 基礎篇：json模塊
目錄1.基本轉換1.1 dumps()1.2 loads()2.與流或文件交互2.1 dump()2.2 load()後記python類型和json類型 JSON(JavaScript Object Notation) 是一種輕
2019-10-25 22:22:57
原创 Win10下爲Python安裝Graphviz模塊
Win10下爲Python安裝Graphviz模塊 步驟： 下載並安裝Graphviz 設置環境變量 爲Python加載Graphviz 1. 下載並安裝Graphviz 可以去Graphviz的官網下載： https://g
2019-10-25 22:22:57