原创 大數據時代必備的搜索引擎 ElasticSearch——你學廢了嗎？
大數據時代必備的搜索引擎 ElasticSearch——你學廢了嗎？一、ES相關組件安裝二、Kibana分析平臺安裝三、文檔的基本操作 一、ES相關組件安裝 解壓即可安裝 解壓 elasticsearch-7.6.2-win
2020-06-30 03:25:27
1
原创 招聘崗位上到處都要求熟練的Hive究竟是何方神聖？
目錄簡介數據結構數據類型數據模型 簡介 Hive是基於Hadoop的數據倉庫大數據組件。將易上手的SQL語句轉化成MapReduce作業。 Hive默認不支持事務， 進而導致不支持UPDATE, DELETE這些我
2020-06-23 05:49:17
原创 通過Spark的UDAF看各類大數據組件原理
通過Spark的UDAF看各類大數據組件大數據處理的原理Spark UDAF（用戶自定義聚合函數）一點感想 在IT界，每一項技術的興起往往是因爲這項技術解決了某項痛點。 C語言作爲高級語言興起，很大程度是因爲降低了編程難
2020-06-23 05:49:17
原创 Linux 常用命令彙總（持續更新）
目錄iptables 防火牆ls 瀏覽文件SCPSFTP 安全文件傳輸HDFS Shell命令CP 文件複製WC 統計字數Shell註釋 Linux命令種類繁多，有一些語法複雜冗餘，不容易記住。所以我就在平時兼顧運維時總結一些常用
2020-06-23 05:49:17
原创 java中的時間轉換（二）（SimpleDateFormat）
SimpleDateFormat 創建SimpleDateFormat時即可指定各種時間格式 //Demo SimpleDateFormat sdf = new SimpleDateFormat("yyyyMMdd") Sim
2020-06-23 05:49:17
1
原创 【錯誤處理】Kettle-JNDI模式-密碼錯誤
我們通過配置 jdbc.properties 來使用 JNDI 模式連接數據庫； 這次我們的密碼是 #錯誤原因就是 # student/password=stu#123 因爲Kettle在解析 jdbc.properties 時
2020-06-23 05:49:17
2
原创 【錯誤處理】Spark讀取數據庫 Numberic Overflow
目錄1. 錯誤背景2. 錯誤詳情3. 解決方案4. 不知道如何總結 1. 錯誤背景 前些天，Spark讀取Oracle數據庫時發生這個報錯。Numberic Overflow，一般來說就是拿來裝數字的字段類型裝不下了。比如你用 I
2020-06-23 05:49:16
原创 【錯誤處理】Kettle報錯ConcurrentModificationException
目錄報錯背景解決辦法 報錯背景 Ketttle版本: 5.1 JDK版本: jdk1.7.0_67 在編寫Kettle任務時，如果內容是類似下圖的多任務，總是出現ConcurrentModificationException，有時
2020-06-23 05:49:16
原创 【錯誤處理】【Kettle】ORA-01013 user requested cancel of current operation 用戶取消當前操作
問題背景 在 Kettle 的【表輸入】模塊，編寫了複雜的SQL語句，雖然在數據庫中正常執行，數據量和查詢時間都不大，但就是會出現 ORA-01013 user requested cancel of current opera
2020-06-23 05:49:16
原创 常用的 ps -ef 究竟是什麼意思呢？
在提起常用的Linux命令時，你排查異常進程時，一定使用過 ps -ef，那麼如此常見的 ps 命令具體是什麼意思呢？ ps -ef 字段 含義 UID 進程的所屬用戶 PID 進程ID PPID 父進程
2020-06-23 05:49:16
原创 【計算機網絡】TCP/IP 三次握手四次揮手
這是一篇總結的很棒的博客：https://www.jianshu.com/p/9968b16b607e 自己在與朋友的討論中對“三次握手四次揮手”有了更深的理解； 以下爲推薦博客的少部分內容截圖： 因爲Client客戶端發送FIN釋放報
2020-06-10 09:52:35
原创 Kafka入門——可達鴨都覺得不難？
目錄簡介基礎架構說明基礎專業術語解釋面試題 簡介 相信從事IT行業的你一定有聽過Kafka這門消息隊列技術。個人認爲是隨着行業的不斷成熟，出現了越來越多的系統，系統間的信息傳輸愈發頻繁，這促使了消息隊列技術的誕生。
2020-06-10 09:52:24
原创 【錯誤處理】java.lang.NoSuchMethodError: scala.Predef$.refArrayOps
解決方法 可在maven查詢依賴中，查找Spark對應版本的Scala，重新下載即可。 錯誤詳情 錯誤原因 使用Spark時需要使用對應版本的Scala和Hadoop 在使用maven查詢依賴的時候也能看到：
2020-06-10 09:52:24
原创 大數據面試題整理彙總（持續更新ING）
目錄Hadoop1. 下列哪項通常是集羣的最主要瓶頸2. 請列出正常工作的Hadoop集羣中Hadoop都分別需要啓動哪些進程，它們的作用分別是什麼?3. HDFS讀寫流程Spark1. 對於Spark存在的數據傾斜問題你有什麼好
2020-04-13 18:14:46
原创 【錯誤處理】Shell，Properties在Linux下無法執行
目錄原因解決方法 近期編寫 jdbc.properties 配置文件，上傳至 Linux 後無法執行。檢查覈對無錯誤。 原因 我在Windows 環境下編寫的文件，在Linux下無法執行。是因爲在Windows環境下編寫時，會自動
2020-02-23 04:24:24