原创 Linux進程突然被殺掉（OOM killer），查看系統日誌
Linux 內核有個機制叫OOM killer(Out Of Memory killer)，該機制會監控那些佔用內存過大，尤其是瞬間佔用內存很快的進程，然後防止內存耗盡而自動把該進程殺掉。內核檢測到系統內存不足、挑選並殺掉某個進程的
2019-04-11 22:26:45
原创 集羣搭建Hadoop 環境爲CentOS7/JDK1.8
在看這一篇之前請先看：https://www.jianshu.com/p/bcb2f77d90e8 單機搭建Hadoop 保證可以熟悉hadoop的單機配置，這樣不至於無腦粘貼xml文件內容導致各種問題。這邊單機部署採用的是hadoo
2019-04-11 22:26:45
原创 通過Shell命令-監視一個進程或端口，掛掉後自動重啓，並自定義日誌
1.問題的產生 主要是因爲某些內存問題，kylin總是自動掛掉。排查後發現因爲多任務執行會佔用很大內存，oom killer可能會因爲內存不足了，把內存佔用大的或者增長快的給自動kill掉。所以這邊做了一些處理，寫了一個自動重啓。 2
2019-04-10 22:17:32
原创 解決運行docker命令要用sudo的問題
Q:首先說一下問題是怎麼出現的？ A:Docker的守護線程綁定的是unix socket，而不是TCP端口，這個套接字默認屬於root，其他用戶可以通過sudo去訪問這個套接字文件。所以docker服務進程都是以root賬戶運行。
2019-04-08 22:14:49
原创 Flume探索筆記
1.flume模型 1.1 Event flume 事件，被定義爲一個具有有效荷載的字節數據流和可選的字符串屬性集。 1.2 Agent flume 代理，是一個進程承載從外部源事件流到下一個目的地的過程。包含source chann
2019-04-08 22:14:49
原创 日誌收集系統Flume筆記(基礎版)
1.Flume是啥？ Flume是一種分佈式，大數據日誌收集系統。可以定製數據源、數據終點、數據傳輸通道，過程中可以簡單的對數據進行一些處理。而且可以搭配消息隊列或者數據倉庫使用，比如kafka、Hive。 2.架構 Flume很簡
2019-04-08 22:14:49
原创 Hive常用命令記錄
1.進入hive客戶端 >hive 2.查看數據庫 >show databases; 3.查看錶 >show tables; 4.對錶進行的查詢操作與sql幾乎相同，需要注意的是儘量不要查看或操作過多數據。 5.創建表 >cre
2019-04-08 22:14:49
原创 Kylin構建Cube的流程與算法
我這一篇參考這個，感謝作者：https://www.cnblogs.com/zlslch/p/7404465.html 1.Kylin中重要的結構Cube 在解釋kylin中的cube結構裏，網絡上比較流行的一個圖，其中的Cube共
2019-04-08 22:14:49
原创 使用IDEA進行遠程調試
假設我們現在想要調試dubbo服務，想通過操作遠程的web，走本地代碼上的斷點調試代碼。 Server 1.打開idea Run/Debug的Configurations 點擊加號，添加一個 Remote Host和Port 自己設
2019-04-08 22:14:49
原创 hive執行表操作指令卡死問題的解決
問題描述 在對hive表執行alert的時候，發現卡住不動了，退出後重進嘗試drop表，依然卡住不動。 找解決方案如下： 1.網上的方案： 先進入mysql，執行 show variables like 'char%' 查看cha
2019-04-08 22:14:49
8
原创 解決由於操作順序問題導致 hbase 一直處於啓動無法關閉的問題
由於一些不規範的操作順序，可能出現Hbase無法關閉的情況，具體表現爲： hbase的bin目錄下執行 hbase-stop.sh 命令，一直 出現點 “。。。” 卡死。不要試圖去手動kill掉進程，否則你會發現當你kill掉一個hb
2019-04-08 22:14:49
2
原创 自學Mybatis系列(2)——Mybatis配置元素
寫在前面：十分感謝《深入淺出Mybatis技術原理與實戰》這本書，大多數地方是書上的話，希望自己能在後面的文章中多寫一些自己的理解。而且最重要的是！每次照書無腦敲的時候，都好羞愧啊（害羞臉）。後面一定注意這些問題。最後要感謝點贊、
2018-09-26 06:38:45
3
原创 Hbase 安裝搭建並部署 還有可能遇到的坑
1.前提條件： JDK1.8 Hadoop 2.7 以上版本部署完畢 2.安裝Hbase 在官網下載安裝包，推薦1.x版本的Hbase，比較穩定，而且可以適配Kylin。目前Kylin不支持2.x的Hbase 下載好拷貝到自己的軟
2018-09-26 06:38:44
2
原创 單機搭建 Hadoop3 環境爲CentOS7/JDK1.8
在一切開始之前給用戶建議設置一下權限，減少後面權限引發的問題 visudo 找到 root ALL=(ALL) ALL 在這一行下添加一條 比如 ： hadoop ALL=(ALL)ALL 保存之後，註銷一下用戶，再登錄回來。 1.
2018-09-26 06:38:44
3
原创 在輕鬆氣氛中淺談——Apache Kylin
我簡書下同步更新此篇文章：https://www.jianshu.com/p/26c18e6a30c3 一.Kylin是什麼？ 我這個人不喜歡貼一大堆難懂的話，所以我不扯淡，直接和大家分享我的理解：Kylin是做大數據查詢的！補充
2018-09-26 06:38:44
3