原创 idea快捷鍵Mute Breakpoints和全局搜索
1.Mute Breakpoints讓所有斷點靜音 2.全局安裝文件內容搜索 ctrl+shift+F 全局所有單詞搜索
2020-05-04 20:08:03
原创 excel解決線性規劃求解問題
1.問題原型 2.求解過程 3.參考文章 https://jingyan.baidu.com/album/19020a0a2bc918529c284269.html?picindex=1 https://blog.csdn.n
2020-04-13 18:18:27
原创 mysql導入數據的兩種方式
第一種：將以上數據整理成SQL語句，insert into pet… 第二種：通過加載文件的方式將數據導入到表中 1、創建一個pet.txt的文件（注：每個字段中用tab鍵隔開，字段沒有值得記錄用\N代替） Fluffy
2020-04-06 00:47:17
原创 Redis分佈式緩存
Redis的5種數據類型與常用命令 . redis數據類型的使用場景和特點 string: 可以使用json轉換對象, 存儲 特點: 和 java中 string是類似的, 表示的就是字符串 使用場景: 做緩存 hash:
2020-02-26 05:28:23
原创 數據倉庫分層模型
1.爲什麼分層? 1.空間換時間 2.便於計算 3.邏輯清晰 2.業務數據庫(mysql,mongdb,oracle數據源) ODS（可操作數據層） DW（數據倉庫層） DWD層 （數據明細層） 負責數據的最細粒度的數據 經過了O
2020-02-26 05:28:23
原创 HBase定義 熱點問題
HBase定義 熱點問題 HBASE是一個高可靠性、高性能、面向列、可伸縮的分佈式存儲系統，利用HBASE技術可在廉價PC Server上搭建起大規模結構化存儲集羣。 HBase是一個面向列的數據庫，在表中它由行排序。表模式定義只
2020-02-26 05:28:23
原创 數據庫的ACID和三範式
** 1.數據庫三範式 ** 1NF:原子性,列不可再分 2NF: 第二範式依賴第一範式，所以第二範式必須符合第一，然後第二範式需要確保數據庫表中的每一列都和主鍵相關 3NF: 在第二範式的基礎上更進一層,目標是確保每列都和主鍵列
2020-02-26 05:28:23
原创 求字符串集合中的最長公共前綴(java遞歸和非遞歸實現)
需求:java代碼實現求一個字符串集合中的最長公共前綴 比如一個集合有三個字符串AbcA,AbG,AbcD,求他們最長公共前綴就是Ab *方法一:*非遞歸,時間複雜度爲o(n) package com.demo.test; im
2020-02-26 05:28:13
原创 數據倉庫之拉鍊表
數據倉庫之拉鍊表 一、常用表介紹 1. 全量表 2. 增量表 3. 拉鍊表 4. 流水錶 5. 拉鍊表 VS 流水錶 二. 拉鍊表適用情況及優點 1. 適用情況 2. 優點 三. 拉鍊表舉例（訂單域） 1. 訂單表結構 2. 爲實現訂單
2020-02-26 05:28:12
原创 UDTF函數報錯解決
Error: java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error while proce
2020-02-26 05:28:12
原创 Hive數據傾斜
Hive數據傾斜 數據傾斜是進行大數據計算時最經常遇到的問題之一。當我們在執行HiveQL或者運行MapReduce作業時候，如果遇到一直卡在map100%,reduce99%一般就是遇到了數據傾斜的問題。數據傾斜其實是進行分佈式
2020-02-26 05:28:12
原创 spark數據傾斜問題
1.Spark出現數據傾斜場景: 1.在join的時候,有很多數據的join的值爲空值.那麼這個時候所有空值的數據都會分配到一個task中從而出現數據傾斜 解決方案:過濾空值 2,當分區數設置過小,導致很多key聚集到一個分區從而
2020-02-26 05:28:12
原创 Hive創建表
create database if not EXISTS spark_integrition use spark_integrition create EXTERNAL table student ( name string,
2020-02-26 05:28:12
原创 實用工具/學習網站(分享)
具體鏈接參考 https://blog.csdn.net/m0_37907797/article/details/102781027
2020-02-26 05:28:12