原创 Sqoop2 從MySQL導入數據到Hadoop HDFS

前言 Apache Sqoop(TM) is a tool designed for efficiently transferring bulk data between Apache Hadoop and structured

2020-02-21 20:31:20

原创 HDP錯誤彙總

前言 上一篇《HDP 2.5安裝搭建部署》主要寫了一些關於安裝的步驟，但不是每次都能順利的安裝成功了，不可避免總是會報很多錯誤，這裏總結一些錯誤的解決方法。 MySQL mysql數據庫驅動找不到錯誤 以下命令默認以root用戶

2020-02-21 20:31:20

原创 CentOS 7 安裝MySQL 5.7

前言 我個人是比較喜歡Debian，但是由於公司都是用的CentOS的，沒辦法只能熟悉下CentOS了。今天安裝個MySQL數據庫，居然踩了好幾個坑。在此記錄一下。 安裝 環境標題就是，不多說。直接安裝，可以使用官方的rpm包離線

2020-02-21 20:31:20

原创 Java面試總結

前言 在這裏記錄一下個人面試中遇到的一些印象較深的問題(有時候緊張不可能全部記得)，主要是作爲一種經驗積累吧。 數據庫類 作爲後端開發，可以說數據庫是重之又重。提問的比例也相當之大。所以這裏先記錄下這個。 如何快速導入10萬條數

2020-02-21 20:31:20

原创 自定義Maven Hadoop項目骨架

前言 最近在學習Hadoop，每次創建項目都要複製之前項目的pom.xml通用文件，也是比較煩的。正好記得Maven可以創建自己的項目骨架的，也即是Archetype。有了項目骨架，不但pom.xml通用自動生成，還可以生成項目默

2020-02-21 20:31:20

原创 Linux應用篇之autofs

前言 在Linux系統中，mount是用來掛載文件系統的，可以在系統啓動的時候掛載也可以在系統啓動後掛載。對於本地固定設備，如硬盤可以使用mount掛載；而光盤、軟盤、NFS、SMB等文件系統具有動態性，即需要的時候纔有必要掛載。

2020-02-21 20:31:20

原创 CentOS 7 編譯安裝Python2.6.1

編譯安裝步驟很簡單，如下： # wget https://www.python.org/ftp/python/2.6.1/Python-2.6.1.tgz # tar zxvf Python-2.6.1.tgz # cd Pyth

2020-02-21 20:31:20

原创 HDP 2.5集成Sqoop2

前言 HDP 2.5默認只有Sqoop 1，而sqoop 1只有客戶端，沒有服務端，也不能通過Java Api來進行操作，所以需要集成一下Sqoop2，其實這裏我們只需要啓動Sqoop2的Server端即可。 環境 CentOS

2020-02-21 20:31:20

原创 Java應用容器運行優化

前言 最近公司Java應用運行在容器中出現了一個奇怪現象，宿主機內存越大，容器運行起來佔用的內存就越大了。比如在宿主機8G內存的情況，一個應用容器只佔幾百兆大小，但是一旦運行在16G、32G內存的宿主機上，容器內存就飆升到幾個G了。這明顯

2018-08-24 23:07:37

原创 國內k8s集羣部署的幾種方式

前言 總所周知，由於某種原因，通過官方的方式在國內是無法順利部署k8s集羣的，這裏記錄下在國內部署的幾種方式。 部署方式 目前我所瞭解有以下幾種方式： 使用kubeadmin通過離線鏡像的方式，網上教程和鏡像包挺多的 通過廠商集成的方式

2018-08-24 23:07:03

原创 項目線上Bug處理流程

前言 針對線上Release版本出現的Bug問題，我們需要有一套稍微嚴謹的處理流程，否則很容易忙亂掉。 下面是處理流程初稿。 流程處理思維圖

2018-08-24 23:06:59

原创 HDP 2.5集成Hue

簡介 Hue是一個開源的Apache Hadoop UI系統，最早是由Cloudera Desktop演化而來，由Cloudera貢獻給開源社區，它是基於Python Web框架Django實現的。通過使用Hue我們可以在瀏覽器端的Web

2018-08-24 23:06:57

原创 Jenkins基於https的k8s配置

前言 之前寫過一篇《基於K8s的動態Jenkins Slave構建實踐》，當時用的k8s版本較低，最近將k8s版本升級1.10最新的了，並且啓用了https和角色管理。突然就發現之前的jenkins配置有點問題了。 這篇主要就是來記錄一

2018-08-24 23:06:57

原创 CentOS 7.x docker使用overlay2存儲

編輯/etc/docker/daemon.json添加以下內容： { "storage-driver": "overlay2", "storage-opts": [ "overlay2.override_ker

2018-08-24 23:06:48

原创 健康度異步計算方案調研

前言 健康度的計算是耗時的，按照需求每分鐘都需要計算一次所有應用的健康度，當應用多起來的時候就需要提高性能和擴展計算能力了。 提高性能可通過開線程來處理，擴展計算能力無非是集羣部署，每個節點計算一部分。這裏介紹說明一下App360裏面的計

2018-08-24 23:06:48 1