原创 Scala - 小項目 - 奧特曼打小怪獸
一、項目描述 奧特曼 1個 名字 血量 普通 必殺 一次只能打1只 魔法 所有 奧特曼的攻擊 10%必殺 30%魔法 60%普攻 小怪獸 4只 名字 血量
2020-06-13 09:41:49
原创 Tez - 安裝
一、Tez 安裝 1 下載地址 https://mirrors.tuna.tsinghua.edu.cn/apache/tez/0.9.0/ 2 二進制包安裝 2.1 解壓並重命名 [root@hadoop01 ~]# ta
2020-06-13 09:41:49
7
原创 Tez - 安裝、簡介、優化
一、Tez 安裝 1 下載地址 https://mirrors.tuna.tsinghua.edu.cn/apache/tez/0.9.0/ 2 二進制包安裝 2.1 解壓並重命名 [root@hadoop01 ~]# ta
2020-06-13 09:41:49
7
原创 Flume - 安裝
一、安裝 1 解壓縮 [root@hadoop01 ~]# tar -zxvf apache-flume-1.9.0-bin.tar.gz -C /usr/local/ 2 修改名稱 [root@hadoop01 local]#
2020-06-13 09:41:49
原创 Linux - 問題 & 解決
1 MySQL - rpm -ev mysql-libs-5.1.73-8.el6_8.x86_64 問題： error: Failed dependencies: libmysqlclient.so.16()(6
2020-06-13 09:41:49
原创 Shell - 常用命令
l 列出當前行上下各5行，總共10行 q|quit 退出 h 幫助 /for/ 向後搜索字符串for ?for? 向前搜索字符串for
2020-06-13 09:41:49
原创 Hive - 文件存儲、文件壓縮、視圖、日誌、運行方式、JDBC、優化
一、文件存儲格式 File Formats and Compression: RCFile, Avro, ORC, Parquet; Compression, LZO 1.1 textfile 1、textfile是hive默認
2020-06-13 09:41:49
原创 DataX - 安裝
1 將安裝包上傳到服務器 2 將安裝包解壓縮到規劃目錄 [root@hadoop01 ~]# tar -zxvf datax.tar.gz -C /usr/local/ 3 進入datax的bin子目錄，運行datax.py進
2020-06-13 09:41:49
1
原创 Spark SQL 常見問題彙總
1 DataFrame轉RDD，map中獲取時，下標從0開始 例如： solve02DF .rdd .map(x => (x.getInt(0), x.getInt(1), x.getDouble(2)))
2020-05-13 14:12:04
原创 MySQL: Got a packet bigger than 'max_allowed_packet' bytes
Python導入數據到MySQL，提示出現錯誤：Got a packet bigger than ‘max_allowed_packet’ bytes 原因：導入的數據大於MySQL限制的最大包的大小 解決方法：修改ma
2020-05-12 12:16:04
原创 Python3 - 時間戳轉日期
import pymongo import time from bson.int64 import long # 輸入 - 文件 inPath = 'D:/projectData/EcSystem/Amazon/ratings.
2020-04-23 18:06:51
原创 Python3 Json轉字典
1 雙引號字符串 { "reviewerID": "A1XMHK9HN5MW2H", "asin": "B00E2U4EM4", "reviewerName": "Victoria J. Dennison", "he
2020-04-23 18:06:51
原创 Spark Core - 數據加載 - 從HDFS讀取數據
package DataInput import org.apache.spark.{SparkConf, SparkContext} /** * @ Description：Spark Core - 從HDFS讀取數據
2020-04-21 23:25:16
原创 Python Django - MgongoDB2View
創建一個app，從MongoDB中獲取數據，加載到頁面 （1）創建app (venv) C:\Project\PythonProject\EcSystemPython> python manage.py startapp d
2020-04-20 22:01:52