原创 docker-03.docker容器管理
1. docker常用命令詳解 1.1 docker info Containers: 3 容器個數 Running: 2 運行的容器個數 Paused: 0 暫停的docker個數 Stopped: 1 停止運行的docker
2020-06-28 11:12:59
1
原创 docker-04.docker鏡像-使用dockerfile構建鏡像
1. 創建docker鏡像 創建Docker鏡像有兩種方式，一種是使用docker commit命令將現已運行的容器打包成鏡像，另一種就是使用Dockerfile來構建鏡像 1.1 使用docker commit創建鏡像 使用
2020-06-28 11:12:59
原创 01.phoenix-入門
Phoenix入門 1.簡介 Phoenix is an open source SQL skin for HBase. You use the standard JDBC APIs instead of the regular
2020-06-28 11:12:59
原创 docker-05.docker倉庫管理
1.1 鏡像倉庫 官方有鏡像倉庫hub.docker.com，這個國內用起來還是比較慢的。也可以使用鏡像倉庫的加速服務來加速，比如 https://registry.docker-cn.com http://hub-mirror.
2020-06-28 11:12:59
原创 Hive中分析型函數的那些騷操作
行列互轉操作 列轉行是一列拆成多行 ｉｄ ｎｕｍｓ １００１ A,B,AC,AB,AE 將上面原表的形式轉換成 ｉｄ ｎｕｍｓ １００１ A １００１ B １００１ AＣ １００１ Ａ
2020-06-28 11:12:59
原创 docker-06.docker網絡
1. docker容器的網絡通信 1.2 docker容器通信的幾種方式 docker給容器定義有四種網絡驅動方式 bridge 網橋方式，這也是默認的容器網絡設置方式。 host 主機同網，這種方式就是說容器用的IP就是宿主機
2020-02-28 10:56:46
原创 docker-02.docker三劍客之一docker-compose
1. docker-compose Compose是用於定義和運行多容器Docker應用程序的工具。通過Compose，您可以使用YAML文件來配置應用程序的服務。然後，使用一個命令，就可以從配置中創建並啓動所有服務。 ex
2020-02-26 23:57:04
原创 雲計算相關概念的介紹
雲計算 雲計算（cloud computing）是分佈式計算的一種，指的是通過網絡“雲”將巨大的數據計算處理程序分解成無數個小程序，然後，通過多部服務器組成的系統進行處理和分析這些小程序得到結果並返回給用戶。雲計算早期，簡單地說
2020-02-23 05:33:40
原创 docker-01.簡介及使用體驗
1.docker簡介 docker是運行在pass平臺的容器引擎，如果不清楚pass指的是什麼，可以先了解一下 雲計算。 1.Linux Container 是一種內核虛擬化技術，可以實現輕量級的虛擬化，也就是隔離進程。 2.
2020-02-23 05:33:40
原创 自定義yarn應用程序
引言 yarn是一款非常優秀的分佈式資源管理和調度框架，我們的應用程序想要分佈式運行，只要使用yarn來管理資源就會非常放心。現如今好多大型計算框架都可以運行在yarn框架上，比如天生運行在yarn上的MapReduce、優秀的
2020-02-23 05:33:40
2
原创 大數據技術sqoop插件使用簡介
一、sqoop是什麼 Sqoop(發音：skup)是一款開源的工具，主要用於在Hadoop(Hive)與傳統的數據庫(mysql、postgresql...)間進行數據的傳遞，可以將一個關係型數據庫（例如 ： MySQL ,Oracle
2018-09-01 21:44:30
2
原创 hadoop運行環境的搭建
材料準備： 裝有Linux操作系統的計算機 本次運行時在虛擬機中運行，在window系統的虛擬機中安裝VMware軟件，在VMware中安裝Linux系統，本次使用的是CentOS6.8發行版本。 Linux版jdk1.8安裝包 L
2018-09-01 21:44:29
原创 使用java代碼來實現動態提交spark任務到集羣
場景執行java代碼的一個方法，這個動作觸發提交spark任務到運行在yarn上的spark 集羣開始Spark任務介紹執行spark讀取Hive中的一個表，這個表是用Hive來管理的HBASE表。統計這個表的總記錄數。具體代碼如下：
2018-09-01 21:44:29
29
原创 scala的運行時反射
1. 運行時反射scala編譯器會將scala代碼編譯成JVM字節碼，編譯過程中會擦除scala特有的一些類型信息，在scala-2.10以前，只能在scala中利用java的反射機制，但是通過java反射機制得到的是隻是擦除後的
2018-09-01 21:44:29
2
原创 MapperReduce入門Wordcount案例
MapperReduce入門Wordcount案例 0.本案例是在本地運行MapperReduce 1.準備材料開發工具Intellij IDEA + 運行hadoop使用的jar包 2.打開IDEA創建一個普通Java工程，導入ja
2018-09-01 20:41:14
1