原创 sqoop每天增量腳本

#!/bin/bash cur_date=`date +%Y-%m-%d` table=pay datebase=ods hive_table=pay dir=bigdata/public/ods if hdfs dfs -test -

原创 centOS 7安裝Ambari2.6.2 HDP2.6.5 大數據集羣搭建

本文基於root用戶操作 一、安裝環境準備 操作系統 centos7.6 三臺服務器以上 主機名IP映射配置 vi /etc/hosts #添加如下地址映射及FQDN(ambari註冊時需要) 192.168.133.XX nl-bd

原创 linux centOS7安裝mysql5.7

下載tar包,這裏使用wget從官網下載 wget https://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-5.7.22-linux-glibc2.12-x86_64.tar.gz  

原创 批量備份mysql數據庫以及將mysql建表語句改爲hive建表語句

#!/bin/bash ############功能說明部分####################################### #腳本功能是按照每天對mysql數據庫中所有表進行備份,備份文件爲:數據庫名-表名.sql #

原创 本地jar包上傳到nexus repository manager(maven私服倉庫)

  最近需要往公司自己搭建的maven上傳jar包,搜了很多,最後成功了,分享一下。 首先,修改自己本地maven的setting.xml配置文件,用戶名和密碼填公司私服倉庫登入的賬號密碼。 <servers> <serv

原创 kylin安裝以及遇見到的一些問題和解決方法

環境: 三臺hadoop集羣,hive,hbase,zookeeper 三臺機器內網互相通信,配置有一個外網ip,使用nginx端口映射 kylin安裝: 安裝部分參考文檔: https://blog.csdn.net/seashouwa