原创 j設計模式-享元模式-共享內存資源-減少內存消耗

享元模式 分爲內部狀態和外部狀態,在設置外部狀態的時候可以直接在方法中添加外部狀態類。 把對象內部不可變的信息(如類型)稱爲內部狀態,把少量可變的信息(如位置)提取到對象外部,如客戶端來決定可變信息,這種可變信息稱爲外部狀態

原创 Hadoop運行mapre官方程序實例

1、運行grep案例,grep是官方提供的搜索文件中的單詞的出現次數     根據正則表達式來進行搜索          1.1進入share目錄下的hadoop/mapreduce目錄環境,可以看到可以運行         官方實例的j

原创 hive_hbase整合

create external table t_exit_hbase_data( //存儲列的信息 key string, value string) stored by 'org.apache.hadoop.hive.hbase.HBa

原创 什麼是ext2檔案系統

Superblock進行磁盤分割的時候,每個磁盤分割槽就是一個檔案系統 而每個檔案系統開始的位置block就稱爲superblock superblock的作用是存儲像是檔案系統的大小、空的和填滿的區塊 以及他各自的總數和其它諸如此類的信

原创 sqoop筆記

sqoop主要的作用是將hdfs中的數據庫文件導入到mysql中, 必須保證mysql中的變量名稱和源數據庫中的名稱及類型必須一樣 配置sqoop 下載壓縮包,解壓,可以的話可以配置環境變量,不常用的話不需要配置環境變量 需要將jdbc驅

原创 hadoop安裝

Hadoop安裝需要依賴java,因此需要先判定有沒有java文件     1、java -version可以查看當前的java版本         如果有的話     2、將Hadoop文件解壓在~/app/這個目錄中,此目錄爲用戶的a

原创 hbase下的JAVAAPI的使用邏輯

JAVA API操作命令 1、創建table 創建table     1、用連接工廠初始化一個connection     2、設置tableName;     3、創建htable     4、設置HColumnDescriptor,

原创 自定義對象的mysql輸出

1、首先,自定義對象,該對象需要實現序列化功能纔可以在網絡上運行,實現序列化功能需要繼承 java.io.Serializable 這個接口, 這個接口定義了空方法,不需要實現任何功能,表示具有序列化功能的一個空接口 不過需要定義一個序列

原创 MapReducer的分區器的使用partition使用

Mapper     Mapper的每次輸入只執行一次      Reducer     只要key相同的,都會傳入到values進行      Partiton分區器     默認的分區器採用的分區方式爲計算hashcode的值,從而進

原创 MySql數據顯示到echarts上面

環境搭建:     maven:    中央倉庫,可以從遠程下載jar包     log4j用來打印日誌的工具     c3p0連接池的中間件C3P0     commons-dbutils連接數據庫的工具包     jQuery3.2.

原创 MapReducer的分區器的使用partition使用

Mapper     Mapper的每次輸入只執行一次      Reducer     只要key相同的,都會傳入到values進行      Partiton分區器     默認的分區器採用的分區方式爲計算hashcode的值,從而進

原创 Python-PEP8中文規範鏈接

今天受到了大神的啓發,明白了代碼規範的重要性問題。大神強烈給我推薦PEP8規範寫了三個月的python竟然不知道PEP8規範,因此差點作爲笑話。看了幾篇PEP8規範的博客,發現下面這個博客翻譯文檔翻譯的最好,後附鏈接。點擊打開鏈接http

原创 pip install MySQL-python安裝失敗。如何解決

pip install mysqlclientpython3 中還是不支持MySQL-python,因此可以試着安裝mysqlclient來解決這個問題。

原创 R語言-模型協方差檢驗anova-模型擬合時沒有用同樣大小的數據集

筆者在使用R語言進行數據分析的時候,,遇到了這樣的問題,同時對模型使用aic準則進行變量篩選的時候遇到了別的問題這就奇怪了,,,what f....???????????,,,模型建立的時候如果有缺失值的話,往往會出現別的問題,因此我查看

原创 python-reduce-神祕的第三參數

reduce竟然有第三個參數廖雪峯老師的reduce教程裏面有三個參數的那個代碼。from functools import reduce CHAR_TO_FLOAT = { '0': 0, '1': 1, '2'