原创 ubuntu中安裝hadoop集羣 頂 原 薦

hadoop是由java 語言編寫的主從結構分佈式計算存儲架構 準備工作: 操作系統: Ubuntu16.04 軟件安裝包:jdk-8u171-linux-x64.tar.gz ; hadoop-2.6.5.tar.gz 配置環

原创 Java中String的replace、replaceAll和replaceFirst函數的用法小結 原

先來一道最近做的題: String a = "Hello"; 則執行a.replace("e","f")後a的內容爲"Hfllo"。 請問上題的答案對嗎?答案見文末。 反正我是做錯了!然後纔有了這篇文章!!引以爲戒! replace、

原创 kubernetes中搭建spark集羣 (一) 頂 原 薦

適用場景:linux系統,已經搭建好kubernetes1.4及以上的集羣,沒有配置CA等認證,已經搭建DNS,其它情景僅作參考。 如果還沒有搭建DNS,請參考kubernetes中部署DNS搭建。 相關的yaml文件已經上傳到

原创 hadoop中運行wordcount 原 薦

上一節我們已經在ubuntu中安裝好了hadoop集羣,這一篇就在搭建好的hadoop中運行一個國際慣例wordcount程序, 一是可以驗證我們hadoop集羣是否真的搭建成功 二是順便熟悉一下hadoop程序的運行流程 1.在本地

原创 kubernetes中部署DNS 頂 原 薦

先吐槽一下,最近研究k8s的dns,看了很多相關博客,發現很多都是一樣的內容,大部分都是轉載或者copy,也不驗證一下就發出來,給我無形中挖了很多坑。再次先譴責一下這些人! 開始正題! 使用場景:ubuntu16.04, kub

原创 在Kubernetes平臺上運行Hadoop的實踐 轉

Hadoop與Kubernetes就好像江湖裏的兩大絕世高手,一個是成名已久的長者,至今仍然名聲遠揚,一個則是初出茅廬的青澀少年,骨骼驚奇,不走尋常路,一出手便驚詫了整個武林。Hadoop與Kubernetes之間有很深的淵源,因爲都出自I

原创 Java線程與多線程 原

1 線程與多線程 1.1 線程是什麼? 線程(Thread)是一個對象(Object)。用來幹什麼?Java 線程(也稱 JVM 線程)是 Java 進程內允許多個同時進行的任務。該進程內併發的任務成爲線程(Thread),一個進程裏至少一

原创 AWS數據庫容災-RDS異號備份 原

AWS數據庫容災 項目要求 A賬號定時將本賬號北京區的RDS數據庫進行快照備份,並將備份的快照分享給B賬號,B帳號收到分享後及時將分享的快照複製到自己的北京區RDS快照組中進行備份。 解決方案 A賬號中: 創建一個名爲timer-

原创 如何將linux下的代碼上傳到github上 原

本文適用情景:linux系統,第一次上傳,遠端沒有對應廠庫。其它情景僅作參考! 1.安裝git 首先,你可以試着輸入 'git',看看系統有沒有安裝Git: $ git The program 'git' is currently no

原创 kubernetes中部署dashboard UI 頂 原

適用場景:linux系統,kubernetes1.4及以上,沒有配置CA等認證。其它情景僅作參考。 dashboard主要用於查看k8s集羣的資源狀態信息!也可以用於監控的集成 配置dashboard需要兩個yaml文件Depl

原创 kubernetes中搭建spark集羣 (二) 頂 原 薦

適用場景:linux系統,已經搭建好kubernetes1.4及以上的集羣,沒有配置CA等認證,已經搭建DNS,其它情景僅作參考。 如果還沒有搭建DNS,請參考kubernetes中部署DNS搭建。 相關的yaml文件已經上傳到

原创 python刪除指定路徑下的空文件夾和空文件 原

問題:想清理電腦裏的某個文件夾下的空文件夾和空文件,由於大多數情況下文件夾涉及到嵌套的問題,但網上的很多代碼都只能刪除最底層的空文件夾,爲此本人對代碼進行了一些改進,實現能刪除嵌套的空文件夾。 適用場景:python3,windows,l

原创 Java的23中設計模式--工廠模式 原

一、設計模式的分類 總體來說設計模式分爲三大類: 創建型模式,共五種:工廠方法模式、抽象工廠模式、單例模式、建造者模式、原型模式。 結構型模式,共七種:適配器模式、裝飾器模式、代理模式、外觀模式、橋接模式、組合模式、享元模式。 行爲型模式,

原创 linux下使用git來pull和push時免輸賬號密碼 原

在linux環境下將github上的代碼pull下來或者將本地代碼push到github上時,每次都需要輸入賬號密碼,很麻煩!有什麼方法能不輸入呢! 1.配置ssh(此處不介紹) 2.增加配置文件 cd到根目錄下,執行git config