原创 Azkaban 3.X Cannot find 'database.properties' 踩坑
前言 今天下載azkaban並編譯，使用solo模式運行。在我解壓後運行start-solo.sh時出發現運行失敗，查看日誌發現如下錯誤 [hadoop@hadoop001 azkaban-solo-server]$ tail b
2020-06-28 19:52:42
6
原创 Cesium調用天地圖服務【親測可用】
廢話不多說直接上代碼 var viewer = new Cesium.Viewer("cesiumContainer", { animation: false, //是否顯示動畫控件 baseLayerPi
2020-06-28 19:52:41
1
原创 Python將excel中的每個sheet拆分保存成單獨csv文件
1.場景 1個Excel文件中包含很多個sheet，需要將每個sheet數據單獨導出成csv，手動轉換實在太麻煩，就寫了個腳本。思路也很簡單，就是遍歷每一個sheet然後用pandas的to_csv()方法完成轉換 2.Code
2020-06-28 19:52:41
2
原创 帶你入門GeoSpark系列之三【空間查詢篇】
系列目錄 帶你入門GeoSpark系列之一【環境篇】 帶你入門GeoSpark系列之二【Spatial RDD篇】 帶你入門GeoSpark系列之三【空間查詢篇】 1.空間範圍查詢( Spatial Range Query) 空間
2020-04-21 11:58:05
3
原创 帶你入門GeoSpark系列之一【環境篇】
系列目錄 帶你入門GeoSpark系列之一【環境篇】 帶你入門GeoSpark系列之二【Spatial RDD篇】 帶你入門GeoSpark系列之三【SQL&空間查詢&索引篇】 前言 由於項目需要處理一些地理空間數據，而原生Spa
2020-02-20 13:10:57
3
原创 帶你入門GeoSpark系列之二【Spatial RDD篇】
系列目錄 帶你入門GeoSpark系列之一【環境篇】 帶你入門GeoSpark系列之二【Spatial RDD篇】 帶你入門GeoSpark系列之三【SQL&空間查詢&索引篇】 1、基本地理數據概念 GeoSpark本質還是對地理
2020-02-20 13:10:57
2
原创 解決spark on yarn每次都上傳$SPARK_HOME/jars的問題
1.前言 每次提交Spark on Yarn作業時， Spark都會把$SPARK_HOME/jars下的jar打包成zip上傳到hdfs分佈式緩存中 這樣在生產上是不合適的，會浪費不必要的網絡資源 2.官方說明 http://
2019-10-25 12:54:59
原创 Windows 下/bin/bash: line 0: fg: no job control一般解決方法
原文鏈接：https://blog.csdn.net/espiermerck/article/details/50717052 hadoop版本2.7.1 在mapred-site.xm
2019-09-04 12:54:12
原创 Intellij IDEA遠程向hadoop集羣提交mapreduce作業
1.準備一份寫好的mapreduce代碼 2.本地添加yarn-site.xml hadoop001改爲你對應的集羣hostname <?xml version="1.0"?> <configuration> <!-- S
2019-09-04 12:54:12
原创 京東雲修改Hostname，Centos7修改Hostname
京東雲默認hostname是JD，在搭建Hadoop環境中各種出錯，網上搜修改方式半天沒有結果，各種嘗試終於成功 直接上代碼！ 使用命令 hostnamectl set-hostname 主機名主機名來修改，修改完畢後重新 SHE
2019-08-28 12:54:19
原创 idea本地配置連接遠程hadoop集羣的一些網絡問題解決彙總
1.Hadoop本地開發，9000端口拒絕訪問 解決 將hosts中的主機名hadoop001指向0.0.0.0而不是127.0.0.1 原理參考博客: https://blog.csdn.net/yjc_1111/article
2019-08-28 12:54:19
原创 HDFS HA failover郵件預警腳本
1.腳本 get_hdfs_ha_state.sh #!/bin/bash NN1_HOSTNAME="" NN2_HOSTNAME="" NN1_SERVICEID="" NN2_SERVICEID="" NN1_SERVIC
2019-08-28 12:54:19
原创 CentOS 通過465端口發送QQ郵件
1.QQ郵箱開啓SMTP並獲取授權碼 進入QQ郵箱，選擇設置-賬戶，開啓如圖兩個SMTP，並獲取授權碼 2.關閉sendmail服務 [root@ruozedata001 ~]# service sendmail stop [r
2019-08-25 12:54:36
原创 HDFS&Yarn HA 集羣部署（三臺機器）
文章目錄1.規劃&環境準備1.1 軟件準備1.2 主機規劃2.安裝前準備2.1 添加hadoop用戶並創建目錄2.1.1 添加hadoop用戶2.2.2 創建目錄2.2.3 配置Hosts使ip與hostname綁定2.2.4 安
2019-08-25 12:54:36
2
原创 shell腳本快速入門
1.HelloWorld 代碼 #!/bin/bash echo "Hello World" #! 是一個約定的標記，它告訴系統這個腳本需要什麼解釋器來執行，即使用哪一種 Shell echo 命令用於向窗口輸出文本 運行 #
2019-08-25 12:54:36