原创 Spark SQL 函數彙總
org.apache.spark.sql.functions是一個Object，提供了約兩百多個函數。 經過import org.apache.spark.sql.functions._ ，也可以用於Dataframe，Datas
2020-06-20 15:17:37
3
原创 Android中GestureDetector類及其用法（轉自網上的筆記）
當用戶觸摸屏幕的時候，會產生許多手勢，例如down，up，scroll，filing等等。 一般情況下，我們知道View類有個View.OnTouc
2020-06-20 08:10:04
2
原创 【Hbase】初識HBase（一些HBase學習筆記）
0X01 HBase從Google的bigtable論文發展而來，遵循着Key/value鍵值對、列存儲模型。 0X02 行健-Rowkey Rowkey，一些地方翻譯爲行健，在HBase中用來唯一標識表中一行記錄，不存在兩行Ro
2020-06-08 03:19:39
1
原创 PyCharm 第三方包安裝
一 說明 在PyCharm中安裝第三方包類的原理是：PyCharm打開後，會構建一個python運行的虛擬環境（VM），安裝第三方包相當於在這個虛擬環境下通過pip程序安裝。一般安裝PyCharm後，都會默認自帶一個pip第三方包
2020-06-08 03:19:39
10
原创 [hive] hive: command not found錯誤解決
**背景：**在shell腳本中簡單定義hive的命令，並且通過crontab定時任務機制去調度，實現定時動態添加hive表分區。 **環境：**hadoop2.5.2+hive0.14(0.13)+zk3.3 問題描述： she
2020-06-08 03:19:39
1
原创 [hadoop] hadoop命令小結
hadoop fs -mkdir /tmp/input 在HDFS上新建文件夾 hadoop fs -put input1.txt /tmp/input 把本地文件input1.txt傳到HDFS的/t
2020-06-08 03:19:29
原创 （轉）Linux各目錄及每個目錄的詳細介紹
原文鏈接：https://blog.csdn.net/u013239236/article/details/48845251 【常見目錄說明】 目錄 /bin 存放二進制可執行文件(ls
2019-10-25 14:38:05
原创 [Maxcompute]表關聯翻倍問題解決
0X00 前提 技術選型：阿里雲Maxcompute 2.0 場景：普通的日常模型開發，原有的模型寬表基礎上通過left outer join獲取新的維度信息。操作：A LEFT OUTER JOIN B ON A.ID=B.CID;
2019-04-25 16:27:08
原创 [hive]外部分區表結構變更後查詢爲空問題解決
0X00 前提 本意是想見想記錄以前遇到過的問題，由此引申出一些思考，關於目前hadoop等大數據生態，或多或少都會存在一些問題，重要是我們認清現實之後，熱愛我們的選擇。 關於技術上的成長，除了下文所說的要保持謙遜外，還在於積累和思考
2019-04-23 15:07:29
原创 [Maxcompute]數據類型
Maxcompute基本數據類型 MaxCompute2.0 支持的基本數據類型如下表，新增類型有：TINYINT、SMALLINT、 INT、 FLOAT、VARCHAR、TIMESTAMP 和 BINARY，MaxCompute
2019-04-20 13:58:14
7
原创 [hadoop]安裝筆記
Preface 平常更多是在工作中使用hadoop、hive等一衆工具，這次嘗試自己安裝。 配置組合：虛擬機+ubuntu14+java1.7+hadoop2.9.1 虛擬機安裝hadoop之前，請將分配給虛擬機的內存數調爲2的n次方
2019-04-10 14:26:51
原创 java調用http工具類示例代碼
java調用http工具類，主要是使用java自帶的java.net.URL來執行調用 import java.io.FileOutputStream; import java.io.IOException; import java.
2019-04-09 07:27:33
原创 (轉）99%的人都理解錯了HTTP中GET與POST的區別
GET和POST是HTTP請求的兩種基本方法，要說它們的區別，接觸過WEB開發的人都能說出一二。 最直觀的區別就是GET把參數包含在URL中，POST通過request body傳遞參數。 你可能自己寫過無數個GET和POST請求，或
2019-04-08 14:27:57
原创 （轉）數據倉庫分層規則
0x01 如何分層 結合Inmon和Kimball的集線器式和總線式的數據倉庫的優點，分層爲ODS【-MID】-DW-DM-OLAP/OLAM/app ODS層是將OLTP數據通過ETL同步到數據倉庫來作爲數據倉庫最基礎的數據來源。
2019-04-07 09:25:30