原创 Centos7.0上安裝Docker

  Docker的三大核心概念:鏡像、容器、倉庫 鏡像:類似虛擬機的鏡像、用俗話說就是安裝文件。 容器:類似一個輕量級的沙箱,容器是從鏡像創建應用運行實例, 可以將其啓動、開始、停止、刪除、而這些容器都是相互隔離、互不可見的。 倉庫:類

原创 Linux上安裝 jenkins日記

一、什麼是持續集成? (1)Continuous integration(CI) 持續集成是一種軟件開發實踐,即團隊開發成員經常集成他們的工作,通常每個成員至少集成一次,也就意味着每天可能會發生多次集成。每次集成都通過自動化的構建(包括編

原创 玩轉Kettle8

前提 Kettle是純Java編寫的ETL開源工具,目前Kettle7和Kettle8都需要Java8或者以上才能正常運行。所以開運行Kettle前先檢查Java環境是否正確配置,Java版本是否是8或者以上。 Kettle安裝 1)創

原创 Hive數據庫和表操作命令參考

Hive的數據庫和表操作 一、Hive數據庫操作 1.1 查看數據庫 show databases; 使用like關鍵字模糊匹配 # 顯示包含db_前綴的數據庫名稱 show databases like 'db_*'; 1.2 使用數據

原创 kaldi中文語音識別

目錄 kaldi是什麼 kaldi與中文語音識別 編譯與安裝kaldi用kaldi進行中文語音識別本文記錄了我編譯安裝kaldi和兩種用kaldi進行中文語音識別的過程,包括如何kaldi的簡單介紹、環境的配置、相關模型的訓練、導入,算是

原创 查看linux系統常用的命令

一、linux CPU大小   cat /proc/cpuinfo |grep "model name" && cat /proc/cpuinfo |grep "physical id"     說明:Linux下可以在/proc/cp

原创 用 Java 實現人臉識別功能

引言 人臉識別SDK 人臉識別技術是很複雜的,自己用Java手撕一個識別算法有點不切實際,畢竟實力不允許我這麼囂張,還是藉助三方的SDK吧! 找了一圈發現一個免費的人臉識別SDK: ArcSoft:,地址:https://ai.arcso

原创 Cloudera Manager(簡稱CM)+CDH構建大數據平臺

一、Cloudera Manager介紹     Cloudera Manager(簡稱CM)是Cloudera公司開發的一款大數據集羣安裝部署利器,這款利器具有集羣自動化安裝、中心化管理、集羣監控、報警等功能,使得安裝集羣從幾天的時間縮

原创 基於Kafka+Flink+Redis的電商大屏實時計算案例

一年一度的雙11又要到了,阿里的雙11銷量大屏可以說是一道特殊的風景線。實時大屏(real-time dashboard)正在被越來越多的企業採用,用來及時呈現關鍵的數據指標。並且在實際操作中,肯定也不會僅僅計算一兩個維度。由於Flink

原创 kerberos用戶安全認證指南

原理介紹 kerberos主要是用來做網絡通信時候的身份認證,最主要的特點就是“複雜”。所以在入坑kerberos之前,最好先熟悉一下其原理。這裏推薦一些別人寫的文章內容來進行簡單彙總: 鏈接kerberos認證原理用對話場景來解釋ke

原创 Centos7搭建git服務器

一、 git服務安裝 1.安裝git服務  # yum info git  //查看 yum 源倉庫的 Git 信息 可以看出,截至目前,yum 源倉庫中最新的 Git 版本才 1.8.3.1,而查看最新的 Git 發佈版本,已經 2.9

原创 Cloudera Manager安裝日記

一、Cloudera Manager介紹     Cloudera Manager(簡稱CM)是Cloudera公司開發的一款大數據集羣安裝部署利器,這款利器具有集羣自動化安裝、中心化管理、集羣監控、報警等功能,使得安裝集羣從幾天的時間縮

原创 新手製作--U盤安裝CentOS7.6

今天在自己的一臺筆記本電腦裝一下CentOS7.6,安裝成功,操作日記錄如下: step1.  下載 CentOS 下載CentOS7.6鏡像,我是在啊裏鏡像下載的,附上啊裏鏡像地址:https://mirrors.aliyun.com/

原创 如何製作 RedHat Linux6.7 系統 U盤安裝盤

1、首先打開UltraISO軟件,儘量下載最新版的,小編曾用某個舊版的UltraISO,製作的安裝盤,不能不能識別磁盤,安裝失敗! 2、點擊工具欄中的第二個打開鏡像文件工具,如圖紅色方框標誌按鈕,然後在打開的“打開ISO文件”對話框中找

原创 linux環境下Hadoop+hive的安裝

一、前期工作: 1.修改linux ip      手動修改      也可以命令修改      vim /etc/sysconfig/network-scripts/ifcfg-eth0    2.修改主機名(注意ubuntu版本方式)