原创 j設計模式-享元模式-共享內存資源-減少內存消耗
享元模式 分爲內部狀態和外部狀態,在設置外部狀態的時候可以直接在方法中添加外部狀態類。 把對象內部不可變的信息(如類型)稱爲內部狀態,把少量可變的信息(如位置)提取到對象外部,如客戶端來決定可變信息,這種可變信息稱爲外部狀態
原创 Hadoop運行mapre官方程序實例
1、運行grep案例,grep是官方提供的搜索文件中的單詞的出現次數 根據正則表達式來進行搜索 1.1進入share目錄下的hadoop/mapreduce目錄環境,可以看到可以運行 官方實例的j
原创 hive_hbase整合
create external table t_exit_hbase_data( //存儲列的信息 key string, value string) stored by 'org.apache.hadoop.hive.hbase.HBa
原创 什麼是ext2檔案系統
Superblock進行磁盤分割的時候,每個磁盤分割槽就是一個檔案系統 而每個檔案系統開始的位置block就稱爲superblock superblock的作用是存儲像是檔案系統的大小、空的和填滿的區塊 以及他各自的總數和其它諸如此類的信
原创 sqoop筆記
sqoop主要的作用是將hdfs中的數據庫文件導入到mysql中, 必須保證mysql中的變量名稱和源數據庫中的名稱及類型必須一樣 配置sqoop 下載壓縮包,解壓,可以的話可以配置環境變量,不常用的話不需要配置環境變量 需要將jdbc驅
原创 hadoop安裝
Hadoop安裝需要依賴java,因此需要先判定有沒有java文件 1、java -version可以查看當前的java版本 如果有的話 2、將Hadoop文件解壓在~/app/這個目錄中,此目錄爲用戶的a
原创 hbase下的JAVAAPI的使用邏輯
JAVA API操作命令 1、創建table 創建table 1、用連接工廠初始化一個connection 2、設置tableName; 3、創建htable 4、設置HColumnDescriptor,
原创 自定義對象的mysql輸出
1、首先,自定義對象,該對象需要實現序列化功能纔可以在網絡上運行,實現序列化功能需要繼承 java.io.Serializable 這個接口, 這個接口定義了空方法,不需要實現任何功能,表示具有序列化功能的一個空接口 不過需要定義一個序列
原创 MapReducer的分區器的使用partition使用
Mapper Mapper的每次輸入只執行一次 Reducer 只要key相同的,都會傳入到values進行 Partiton分區器 默認的分區器採用的分區方式爲計算hashcode的值,從而進
原创 MySql數據顯示到echarts上面
環境搭建: maven: 中央倉庫,可以從遠程下載jar包 log4j用來打印日誌的工具 c3p0連接池的中間件C3P0 commons-dbutils連接數據庫的工具包 jQuery3.2.
原创 MapReducer的分區器的使用partition使用
Mapper Mapper的每次輸入只執行一次 Reducer 只要key相同的,都會傳入到values進行 Partiton分區器 默認的分區器採用的分區方式爲計算hashcode的值,從而進
原创 Python-PEP8中文規範鏈接
今天受到了大神的啓發,明白了代碼規範的重要性問題。大神強烈給我推薦PEP8規範寫了三個月的python竟然不知道PEP8規範,因此差點作爲笑話。看了幾篇PEP8規範的博客,發現下面這個博客翻譯文檔翻譯的最好,後附鏈接。點擊打開鏈接http
原创 pip install MySQL-python安裝失敗。如何解決
pip install mysqlclientpython3 中還是不支持MySQL-python,因此可以試着安裝mysqlclient來解決這個問題。
原创 R語言-模型協方差檢驗anova-模型擬合時沒有用同樣大小的數據集
筆者在使用R語言進行數據分析的時候,,遇到了這樣的問題,同時對模型使用aic準則進行變量篩選的時候遇到了別的問題這就奇怪了,,,what f....???????????,,,模型建立的時候如果有缺失值的話,往往會出現別的問題,因此我查看
原创 python-reduce-神祕的第三參數
reduce竟然有第三個參數廖雪峯老師的reduce教程裏面有三個參數的那個代碼。from functools import reduce CHAR_TO_FLOAT = { '0': 0, '1': 1, '2'