原创 spark上傳文件和追加文件到hdfs
一、代碼實現 package com.xtd.hdfs import java.io.File import org.apache.hadoop.conf.Configuration import org.apache.hadoop
2020-07-03 08:35:33
1
原创 spark遍歷hdfs目錄下所有文件
1、查看hdfs /home/data/test 目錄下的所有文件 2、使用 org.apache.hadoop.fs.FileSystem 類遍歷hdfs文件 package com.xtd.hdfs import or
2020-07-03 08:35:33
4
原创 大數據集羣之hbase2.1.0高可用安裝配置
一、安裝準備 下載地址：http://archive.apache.org/dist/hbase/ 參考文檔：http://hbase.apache.org/book.html ssh免密登錄：https://blog.csdn.net/
2020-06-30 07:03:26
原创 java讀取文件獲取文件名多線程移動文件
一、需求說明 一個目錄裏邊有 47W個文件，現在需要根據一個文本文件裏邊的文件名稱 在47W個文件中取出24W個有效文件（根據文本文件裏邊的文件名取） 二、設計思路 1、使用 BufferedReader 逐行讀取文本文件，並存入L
2020-06-30 07:03:26
原创 Linux在windows上共享目錄
一、linux安裝samba yum -y install samba 二、備份配置文件 cp /etc/samba/smb.conf /etc/samba/smb.conf.backup 三、添加訪問賬戶 smbpasswd
2020-06-30 07:03:26
原创 大數據集羣之spark2.4.0高可用安裝配置
一、安裝準備 下載地址：https://archive.apache.org/dist/spark/ 官方文檔：http://spark.apache.org/docs/latest/ 二、解壓安裝 解壓縮文件 cd /usr/lo
2020-06-30 07:03:25
原创 大數據集羣搭建之Linux安裝hadoop3.0.0
目錄 一、安裝準備 1、下載地址 2、參考文檔 3、ssh免密配置 4、zookeeper安裝 5、集羣角色分配 二、解壓安裝 三、環境變量配置 四、修改配置文件 1、檢查磁盤空間 2、修改配置文件 五、初始化集羣 1、啓動zookeep
2020-06-30 07:03:25
原创 大數據高可用集羣之zookeeper3.4.5安裝配置
一、安裝準備 下載地址：https://www.apache.org/dyn/closer.cgi/zookeeper/ 官方文檔：https://zookeeper.apache.org/doc/r3.4.5/ 二、解壓安裝 解壓文件
2020-06-30 07:03:25
原创 VMware安裝VMwareTools實現windows目錄共享
一、安裝依賴包 yum -y install perl gcc gcc-c++ make kernel-headers kernel-devel open-vm-tools 二、安裝 VMware Tools 點擊菜單欄 - 虛擬機 -
2020-06-30 07:03:25
5
原创 大數據進階之 shell 腳本開發
目錄 shell腳本賦權 1、帶索引的 for 循環 2、for循環遍歷數組 3、for循環遍歷字符串 4、for循環遍歷參數 5、if、elif、else和if test 6、while循環和break 7、shell 函數 shell
2020-06-16 12:57:59
原创 拒絕手敲，hive創建表只需要輸入表名和字段即可自動建表（shell腳本實現）
問題描述 如果 hive 表有100個字段，一天建20張表，一直敲 Ctrl C Ctrl V ....（20年單身手速也不能對自己這麼狠吧！！） 問題解決 h1“”傳入的第一個參數 $1 和 create table 字符拼接 h
2020-06-16 12:57:59
原创 shell for循環拼接字符串
# 在當前目錄下創建文本文件temp，如果文件存在則清空文件 $(> temp) # for 循環將參數追加到當前目錄的temp文件，逗號分隔，echo -n 不換行 for i in $*;do ((n++)) # 從第四個開始拼
2020-06-16 12:57:59
原创 CDH 6.3.2 安裝（一）
官方文檔：https://docs.cloudera.com/documentation/enterprise/6/6.3/topics/installation_reqts.html notepad++：https://notepad-
2020-06-16 12:57:59
原创 Linux 查看目錄下所有的日期信息（按最新日期排序）
1、查看當前目錄文件 2、查看目錄下文件日期的詳細信息 ls --full-time 3、編寫 shell 腳本 ：monitor.sh #!/bin/bash echo "-----------------" let "tot
2020-06-16 12:57:59
原创 oozie調用shell腳本
job.properties nameNode=hdfs://cdh01:8020 resourceManager=cdh01:8032 queueName=default examplesRoot=examples oozie.
2020-06-16 12:57:59