原创 scala學習五：scala函數式編程
scala學習五：scala函數式編程 標籤（空格分隔）： scala scala學習五scala函數式編程 一值函數 二匿名函數 三帶函數參數的函數 四閉包 五柯里化函數 六高階函數實例 一，值函數 值函數：將函數
2020-02-21 13:26:42
原创 scala學習三：scala面向對象
scala學習三：scala面向對象 標籤（空格分隔）： scala scala學習三scala面向對象 一面向對象的基本概念 二構造器 三object 四scala中的apply方法 五繼承 一，面向對象的基本概念
2020-02-21 13:26:41
原创 企業大數據平臺二：企業大數據平臺環境準備
企業大數據平臺二：企業大數據平臺環境準備 標籤（空格分隔）： 企業大數據平臺 企業大數據平臺二企業大數據平臺環境準備 一Hadoop髮型版本 二準備工作 一,Hadoop髮型版本 1，apache版本–開源版本 2
2020-02-21 13:26:41
原创 lucene一---基本原理和結構
數據的分類 結構化數據:有固定類型或者有固定長度的數據 例如:數據庫中的數據(mysql,oracle等), 元數據(就是windows中的數據) 結構化數據搜索方法: 數據庫中數據通過sql語句可
2018-08-28 11:59:23
原创 maven二
1,maven的生命週期 2，eclipse配置maven 3，依賴範圍 4，調試maven項目 5，maven整合struts 6,maven的概念模型
2018-08-28 11:59:23
原创 Hive作業優化
1、Join原則將條目少的表/子查詢放在 Join的左邊。 原因是在 Join 操作的 Reduce 階段，位於 Join左邊的表的內容會被加載進內存，將條目少的表放在左邊，可以有效減少發生內存溢出的機率。 當一個小表關聯一個超大表時，容
2018-08-28 11:59:23
1
原创 hive數據壓縮技術001
一、 壓縮方案比較 關於Hadoop HDFS文件的壓縮格式選擇， 我們通過多個真實的Track數據做測試，得出結論如下： 1. 系統的默認壓縮編碼方式 DefaultCodec 無論在壓縮性能上還是壓縮比上，都優於GZIP 壓縮編碼。
2018-08-28 11:59:23
原创 hive-udaf開發實例1
1，pom配置： <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-exec</artifactId> <version>1.1.0-
2018-08-28 11:59:23
原创 oozie修改爲GMT時間
1，修改oozie-site.xml:<property> <name>oozie.processing.timezone</name> <value>GMT+0800</value> </property>
2018-08-28 11:59:22
原创 Solr3---SolrJ的使用
1，什麼是solrJ 2，依賴的包 3，添加文檔 3.1，實現步驟 4，刪除文檔 5，修改文檔 6，查詢文檔 6.1簡單查詢 6.2 複雜查詢 7，總結
2018-08-28 11:59:22
原创 jdbc通過hive server2訪問hive
1，pom配置： <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version
2018-08-28 11:59:22
原创 Solr2---域的類型和分類以及中文分詞
一，域的類型和分類 C:\solrhome\collection2\conf\schema.xml 二，配置中文分詞 1，拷貝IKAnalyzer2012FF_u1.jar到apache-tomcat-7.0.81\webapps
2018-08-28 11:59:22
原创 分佈式模式之Broker模式
問題來源： 創建一個遊戲系統，其將運行在互聯網的環境中。客戶端通過WWW服務或特定的客戶端軟件連接到遊戲服務器，隨着流量的增加，系統不斷的膨脹，最終後臺數據、業務邏輯被分佈式的部署。然而相比中心化的系統，複雜度被無可避免的增大了，該如何
2018-08-28 11:59:22
原创 Solr1---什麼是Solr以及安裝配置
一,solr的介紹 Solr 是Apache下的一個頂級開源項目，採用Java開發，它是基於Lucene的全文搜索服務器。Solr提供了比Lucene更爲豐富的查詢語言，同時實現了可配置、可擴展，並對索引、搜索性能進行了優化。 Solr可
2018-08-28 11:59:22