原创 ssh 設置網絡隧道及setsid 後臺啓動
這樣啓動sshd經常斷掉，需要後臺啓動 先使用expect輸入密碼： [root@test3 ~]# cat hadin_67_channel.sh !/usr/bin/expect -f spawn ssh -N -f -L
2020-02-22 17:19:29
原创 pxe 安裝centos7.2 製作過程（hp x86 server）
本文檔是爲了使用pxe 在hp x86 server上面安裝 centos7.2，hp server 需要uefi pxe安裝方式，本文需要做作efi引導文件。下面是具體步驟： 1、關閉selinux setenforce
2020-02-22 17:19:29
原创 maven+mybatis+mysql 代碼 examples
搞了一個上午：歡迎垂詢: https://github.com/ouyangshourui/webmybatis另外本地啓動一個maridb docker測試：docker run --restart=always --name
2020-02-22 17:19:29
原创 Flink SQL分析流量數據源碼實戰(EventTime)
package product import java.sql.Timestamp import java.util.Properties import Bean.RealTimeTrackerBean import org.apa
2018-12-01 00:05:42
4
原创 Python採集Yarn Queue信息
本文通過python代碼調用Yarn restfull API ，將各隊列的vcore和memory定時採集存儲到TIDB，然後使用Apache Zeppelin JDBC讀取數據，簡單繪製vcore和memory使用率的趨勢
2018-11-22 01:29:04
4
原创 使用Spark Mlib K-Means算法分析網絡攻擊數據
package apache.spark.mlib.rdd.kmeanclustering import org.apache.spark.ml.clustering.KMeans import org.apache.spark.ml
2018-09-04 04:30:43
原创 使用Spark mlib Kmean算法分析網絡數據(Hacker attack)
package apache.spark.mlib.rdd.kmeanclustering import org.apache.spark.ml.clustering.KMeans import org.apache.spark.
2018-09-04 04:30:43
原创 給老闆減刑系列之hadoop 安全缺陷分析之一：kerberos 的缺陷
近一年來從事金融數據安全架構方面工作，對大數據平臺安全重要性有了一些新的思考。最近看了Steve Loughran先生寫的本書《Hadoop and Kerberos: The Madness Beyond the Gate》，寫作風
2018-08-21 00:05:52
原创 CDH5.7.1 Hadoop2.6 HDFS Encryption KMS 實戰之功能測試
CDH KMS 測試 0、用戶說明 [x] keyAdminUser用戶是key admin user [x] hdfs 用 戶是 hdfs super user [x] user_a 、 user_b 是HDFS普通用戶 1、創建k
2018-08-21 00:05:52
2
原创 Spark1.5.2 on Hadoop2.4.0 安裝配置
一、 前言 本文簡單介紹yarn安裝，主要介紹spark1.5.2on yarn模式安裝，僅供參考。 二、 yarn配置 1. yarne.xml yarne.xml需要添加的配置如下
2018-08-21 00:05:52
原创 Cassandra 數據模型設計總結
結合前段時間使用Cassandra使用過程，團隊簡單總結了Cassandra 數據模型設計，請大家斧正。 1、相關概念 Column：Cassandra中的最基本的存儲單元，用於存儲某一行的信息；primary key：決定每行數據的
2018-08-21 00:05:52
原创 HBase region is not online 問題修復
一年多沒有搞HBase了，回想前年和營神一起戰鬥的日子，～～～。今天線上遇到下面一個問題： hbase(main):002:0> get 'mynamespace:user_basic_info','BAC3510A922CF026500
2018-08-21 00:05:41
原创 HDFS encryption 實戰之背景和架構介紹
1、HDFS encryption背景 在全世界，爲零滿足隱私和其他安全需求，很多政府部門、金融部門和管理單位強制要求數據加密。例如 銀行支付行業爲零滿足信息安全必須滿足支付卡行業數據安全標準 Payment Card Industry
2018-08-21 00:05:41
7
原创 hyperledger cli 驗證方法
Cli驗證 register 賬號保存在cat membersrvc/membersrvc.yaml peer network login jim 6avZQLwcUe9b deploy peer chainco
2018-08-21 00:05:40
5
原创 CDH Gateway docker實戰
CDH 生產集羣的Gateway節點需要給用戶提供所有組件(HDFS,YARN,HBase,Impala、Spark)的gateway。在目前的使用情況下遇到的兩個問題： gateway host壓力不斷增加，用戶任務相互影響嚴重； 用
2018-08-21 00:05:40
2