原创 hbase環境搭建及使用
conf/hbase-env.sh export JAVA_HOME=/data/home/software/jdk1.8.0_202 export HBASE_MANAGES_ZK=false hbase-site.xml <con
2020-07-08 10:12:20
原创 Hadoop+Hive+Sqoop 離線日誌分析 公會女生打招呼數據
需求背景： 我們將女生主動和男生建立聯繫定義爲女生打招呼，app中女生打招呼的方式有兩種：主動發起文字聊天和主動發起音視頻聊天。這些數據的採集通過在應用程序中增加埋點，最終成爲日誌文件保存在服務器上。日誌內容如下： 文字聊天，日誌文件
2020-06-30 04:13:31
原创 hive常用知識點彙總
1. desc extended/formated tablename 描述表結構，如： desc extended im; desc formatted im; 2. bin/hive -e -f -e 不進入hive命令行執行sql
2020-06-25 00:35:59
原创 java WordCount MapReduce實現源碼 使用snappy壓縮
maven做如下配置 groupId:org.apache.hadoop artifactId:hadoop-client version:${hadoop.version} 類申明，繼承configured類，並實現Tool接口 pu
2020-06-16 00:12:06
原创 hive 3.1.2 環境搭建(使用mysql)以及示例運行
hive目前最新版本爲3.1.2，下載地址：https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz hadoop安裝
2020-06-16 00:12:06
1
原创 php中Opcache是什麼？Opcache原理和使用的介紹
本篇文章給大家帶來的內容是關於php中Opcache是什麼？Opcache原理和使用的介紹，有一定的參考價值，有需要的朋友可以參考一下，希望對你有所幫助。 一、個人實踐發現opcache 最近爲了應對雙十一期間高流量的衝擊，小編通過壓
2020-06-16 00:12:06
原创 流刀上線工具 互聯網企業微服務上線神器 規範化流程上線工具
流刀上線工具 gitee地址 ，是一款互聯網企業產品開發上線流程規範化管理自動工具。用於在您團隊內網進行項目的打包上線發佈流程的代理工具。流刀上線工具並不會直接與該客戶端工具所在的服務器進行交互，但要求您團隊的成員能夠有權訪問到上線工具部
2020-06-16 00:11:56
原创 zookeeper cdh版安裝配置 zookeeper集羣搭建
最新版zookeeper下載地址：https://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.6.1/apache-zookeeper-3.6.1-bin.tar.gz 編輯zoo.cfg
2020-06-16 00:11:55
原创 hadoop 3.2.1 hdfs高可用集羣搭建
hdfs集羣搭建，參照這篇文章：hadoop3.2.1集羣搭建 搭建zookeeper集羣，參照這篇文章：zookeeper集羣搭建 在此基礎上，配置hdfs文件系統nameservice的高可用 創建journalnode進程所在的目錄
2020-06-16 00:11:55
原创 hadoop yarn 歷史服務器 jobhistory的啓動
hadoop開始jobhistory服務器運行命令 sbin/mr-jobhistory-daemon.sh start historyserver 相關配置項在文件mapred-site.xml中配置，包括如下 mapreduce.
2020-06-16 00:11:55
原创 hadoop3.2.1集羣搭建
hadoop目前最新版本爲3.2.1，本教程將使用hadoop最新版本搭建大數據集羣，並通過yarn運行wordcount的mapreduce程序 軟件和服務器準備工作 軟件準備 hadoop 3,2,1。 下載地址點擊下載 java8。
2020-05-27 12:38:04
原创 hadoop中secondaryNameNode的作用
namenode從內存中讀取，如果無法從內存中讀取元數據信息的話，會從本地磁盤的以下兩個地方讀取： fsimage 景象文件 edites 編輯日誌文件 secondaryNameNode則定期合併edites到fsimage
2020-05-26 07:27:15
原创 docker搭建zookeeper集羣以及使用java讀寫
搭建zookeeper集羣，docker-compose.yml文件內容如下 version: '3.1' services: zoo1: image: zookeeper restart: always
2020-05-23 23:55:33
2
原创 Win10 子系統 Ubuntu 安裝 Apache2 的 Failed to enable APR_TCP_DEFER_ACCEP 問題
昨天給 Windows10 安裝了 Ubuntu 子系統。體驗了一下，其實和裝虛擬機有類似的地方，不過也有很大的不同。 虛擬機是在軟件裏裝新系統，要是原本機器牛逼的話，愛怎麼裝就怎麼裝，愛裝多少個就裝多少個，無非是系統裏面啓動系統。 不過
2018-12-27 13:03:13
原创 個人對操作系統的啓動原理的理解
於淵的《自己動手寫操作系統》是一本不錯的用代碼記錄，一步步完成一個小型的操作系統的書。下載地址：https://pan.baidu.com/s/1j1MfEFcfU_fFamkjovOMRA，提取碼：bjwv。需要有彙編語言基礎的讀者閱讀
2018-11-13 01:59:51