原创 談笑間學會大數據-Hive中的分桶表
談笑間學會大數據-Hive中的分桶表 你可以不夠優秀，但是不要甘於平凡 Hive中的分桶表 官方文檔 首先我們可以參考下官方文檔，對於創建分桶表的一些描述 https://cwiki.apache.org/confluence
2020-06-29 10:30:41
原创 算法③:構建乘積數組
算法③：構建乘積數組 題目鏈接：https://leetcode-cn.com/problems/gou-jian-cheng-ji-shu-zu-lcof/ 題目要求： 給定一個數組 A[0,1,…,n-1]，請構建
2020-06-16 12:04:20
原创 談笑間學會大數據-Hive命令
Hive命令 目錄 Hive命令 前言 變量和屬性 Hive中“一次使用”命令 執行文件中的SQL 如何在hive cli中執行shell命令或訪問hdfs呢？ hiverc文件 hive cli 小技巧 自動補全命令 查看執行命令歷史
2020-06-16 12:04:19
原创 談笑間學會大數據-Hive函數
談笑間學會大數據-Hive函數 用戶自定義函數（UDF）是一個允許用戶擴展HiveQL的強大的功能。正如我們將看到的，用戶使用Java進行編碼。一旦將用戶自定義函數加入到用戶會話中（交互式的或者通過腳本執行的），它們就將和內
2020-06-16 12:04:19
1
原创 談笑間學會大數據-Hive中的排序
你可以不夠優秀，但是不要甘於平凡。-- 阿尼古 Hive中的四種排序 order by 、 sort by 、 distribute by 、cluster by 首先貼一下官網對於Hive排序的幾種方法的介紹: https:
2020-06-16 12:04:19
原创 談笑間學會大數據-Hive查詢SQL
Hive查詢SQL 目錄 Hive查詢SQL 使用正則表達式來指定列 算術運算符 使用函數 數學函數 聚合函數 表生產函數 其他內置函數列表如下 什麼情況下會避免進行MapReduce 謂詞操作符 關於浮點數比較 Like和Rlike
2020-06-16 12:04:19
原创 談笑間學會大數據-MapReduce作業運行全流程
MapReduce作業運行流程 keywords Yarn、ResourceManager 、 ApplicationManager + Resource Schedule 、Container 一個job運行的整體流程 Yarn
2020-06-16 12:04:19
原创 hadoop格式化namenode後導致datanode無法啓動
hadoop格式化namenode後導致datanode無法啓動 首先貼報錯哈，錯誤不一樣，就不用往下看了。。。 報錯截圖 錯誤分析 Failed to add storage directory [DISK]file:/Users/
2020-06-16 12:04:19
原创 算法題②:不用加減乘除做加法
題扣面試題：面試題65. 不用加減乘除做加法 題目鏈接：https://leetcode-cn.com/problems/bu-yong-jia-jian-cheng-chu-zuo-jia-fa-lcof/ 題目要求：
2020-06-16 12:04:19
3
原创 算法題①:求1+2+…+n
題扣面試題：面試題64. 求1+2+…+n 題目鏈接：https://leetcode-cn.com/problems/qiu-12n-lcof/ 題目要求： 求 1+2+...+n ，要求不能使用乘除法、for、wh
2020-06-16 12:04:19
原创 談笑間學會大數據-Hive索引
談笑間學會大數據-Hive索引 Hive 只有有限的索引功能。Hive中沒有普通關係型數據庫中鍵的概念，但是還是可以對一些字段建立索引來加速某些操作的。一張表的索引數據存儲在另外一張表中。 同時，因爲這是一個相對比較新
2020-06-16 12:04:19
原创 Hive使用正則表達式模糊匹配列報錯
報錯信息：Invalid table alias or column reference ‘name.*’ hive> select * from test_stu_3 > ; OK 張三 張三 12 李四 李四 10 w
2020-06-16 12:04:19
原创 面試題① - java 反射機制
java 反射原理 1、反射機制的概念: 1.1、指在運行狀態中 對於任意一個類,都能夠知道這個類的所有屬性和方法, 對於任意一個對象,都能調用它的任意一個方法. 這種動態獲取信息,以及動態調用對象方法的功能叫java
2020-06-16 12:04:19
原创 談笑間學會大數據-Hive安裝部署及組件架構
Hive安裝部署及組件架構 Hive安裝部署 首先貼出hive官網地址：http://hive.apache.org/ 任何一個框架或者組件學習的時候都需要去參考一下官方文檔，因爲這個是學習這個組件的一種方式，大部分通過看書、看博客來進
2020-06-16 12:04:19
原创 datax 中Transformer的使用
datax中的Transformer的使用 建議看一下datax的源碼哦！其實沒有我們想象的那麼複雜... 官網上也有些示例代碼的。請看地址：https://github.com/alibaba/DataX/t
2020-06-16 12:04:19