原创 重新封裝優化React組件並打包發佈到npm私服
- 背景 在前端開發時，一些常見的組件（如select）往往不能滿足現實開發需求，需要對組件進行重新的封裝和優化 重新封裝優化的組件往往會用在不同的幾個項目，這個時候如果要在另外一個項目中使用這個組件，就只能把組件代碼重新cop
2020-06-20 14:08:44
原创 Flume報錯：java.lang.NumberFormatException: For input string: "0 "
- 背景 Flume啓動時報錯： 由日誌提示可知：配置文件錯誤導致Sink k1失效 查看配置文件 vim spool-hdfs.conf 配置a1.sinks.k1.hdfs.rollCount = 0時，在0後面多加了一
2020-06-20 14:08:44
原创 Flume入門：簡介、安裝以及實踐
- Flume簡介 Apache Flume是一個分佈式、可信任的彈性系統，用於高效收集、匯聚和移動 大規模日誌信息從多種不同的數據源到一個集中的數據存儲中心(HDFS、 HBase) 支持各種接入資源數據的類型以及接出數據類型
2020-06-20 14:08:44
原创 HIVE建表、HBASE建表、HIVE表與HBASE表關聯以及數據導入
- 背景 後端查詢數據庫時，要用到hive表和MySQL表 當前的做法是：先查詢MySQL數據表，得到的結果通過參數的形式傳遞給hive表進行查詢 弊端： 當傳遞的參數太多時，SQL查詢有長度限制，當往關鍵字in中傳遞時，有長度和
2020-02-24 06:55:31
原创 JAVA動態代理實現簡單的AOP框架
- 背景 作業： 使用Java動態代理實現一個簡單的AOP框架 定義兩個註解 @Transaction ，@Log 定義一個接口Aspect，它有兩個接口方法：before(); after(); 實現連個Apec
2019-08-07 05:54:55
原创 PacVim：一個學習vim命令的遊戲
前言 我們都知道Vim是Linux下一種文本編輯器，可以用來看代碼、改代碼。但是Vim是無圖形界面的編輯器，一切操作全靠指令，指令繁多且複雜，對於新手而言，學習起來很費勁。 偶然的機會，發現一款有趣的命令行遊戲
2019-06-11 13:53:41
1
原创 Flume對文件夾進行監控，實時收集新增文件到HDFS
- 背景 由於項目要求，需要實時將指定文件夾中新增的文件上傳到HDFS中，本文中使用flume採集數據並保存到HDFS中，一方面可以減輕本地的存儲壓力，另一方面數據集中保存到HDFS也爲後續數據分析工作打下基礎。 - 實現流程 fl
2019-04-01 05:36:23
原创 HDFS學習筆記
- HDFS簡介 HDFS（Hadoop Distributed File System）是Hadoop項目的核心子項目，是分佈式計算中數據存儲管理的基礎，可以運行於廉價的商用服務器上。它所具有的高容錯、高可靠性、高可擴展性、高獲得
2019-03-13 01:54:59
原创 Mac系統下，Hadoop集羣的搭建
- 環境 主節點操作系統：macOS High Sierra 10.13.3 虛擬機軟件：Parallels Desktop 從節點操作系統：Centos7 Centos7 jdk版本：1.8.0_144 Mac jdk版本：1.8
2019-03-13 01:54:59
原创 Kafka入門：簡介及集羣搭建
- kafka簡介 Kafka是由Apache軟件基金會開發的一個開源流處理平臺，由Scala和Java編寫。Kafka是一種高吞吐量的分佈式發佈訂閱消息系統。每條發佈到kafka的消息是根據Topic進行歸類，每個Topic包含一個
2019-02-27 17:52:21
原创 Linux/Unix shell中2>&1的解釋
- 背景 在Flume實踐學習中，看到了如下操作： flume-ng agent --conf conf --conf-file flume_inc_hdfs.conf --name a1 - Dflume.root.logger=
2019-02-22 01:14:42
原创 Flume學習總結
- Flume簡介 Apache Flume是一個分佈式、可信任的彈性系統，用於高效收集、匯聚和移動 大規模日誌信息從多種不同的數據源到一個集中的數據存儲中心(HDFS、 HBase) 支持各種接入資源數據的類型以及接出數據類型 支
2019-02-20 17:31:27
1
原创 錯誤: 找不到或無法加載主類 org.apache.flume.tools.GetJavaProperty
- 背景 Flume安裝配置完成後，在查看Flume版本時出現下圖錯誤 - 解決方案 在網絡上查到兩種解決方案，特此記錄 第一種： 原因： 1、jdk 衝突 2、安裝了 hbase 就會報着個錯 解決： 1、卸載 openjdk
2019-02-20 17:31:27
原创 推薦系統實戰中LR模型訓練（一）
背景： 在“批量導入數據到Redis” 中已經介紹了將得到的itema item1:score1,item2:score2…批量導入到Redis數據庫中。本文的工作是運用機器學習LR技術，抽取相應的特徵，進行點擊率的估計。 點擊率（C
2019-02-19 06:49:31
原创 推薦系統實戰中LR模型訓練（二）
背景： 上一篇推薦系統實戰中LR模型訓練（一） 中完成了LR模型訓練的代碼部分。本文中將詳細講解數據準備部分，即將文本數據數值化爲稀疏矩陣的形式。 文本數據： 稀疏矩陣： 實現過程： 文本數據格式如下： 用戶ID / 物品ID
2019-02-19 06:49:31
1