原创 Installing single node Hadoop 2.2.0 on Ubuntu
artic from:http://bigdatahandler.com/2013/11/02/installing-single-node-hadoop-2-2-0-on-ubuntu/ Please find the comple
2020-06-22 20:23:49
2
原创 Hadoop ecosystem HDFS and HDFS2
1. HDFS的思想來源GFS(Google File System),是一個塊結構的文件系統,用於處理海量數據處理,並且允許讀取和數據本地處理. 2. HDFS允許數據讀寫附加刪除但是不允許數據更新操作. 3. HDFS把數據分成若干塊
2020-06-22 20:23:49
原创 分佈式安全--YARN & HDFS2 安裝和配置Kerberos
設置hadoopsecurity core-site.xml <property> <name>hadoop.security.authentication</name> <value>kerber
2020-06-22 20:23:49
原创 Problem accessing /nn_browsedfscontent.jsp
When run (a single node hadoop) hadoop : http://127.0.0.1:50070, it show a error in browser: HTTP ERROR 500 Problem
2020-06-22 20:23:47
原创 Django: DefaultStorageFinder doesnt have a valid location
Django配置STATICFILES_FINDERS使用'django.contrib.staticfiles.finders.DefaultStorageFinder'時報錯 ImproperlyConfigured: The s
2020-06-03 23:27:20
原创 MIUI11線刷包精簡
本文針對python3更新, 並解決上次博客中的一些問題. 參考MIUI9線刷包精簡: https://blog.csdn.net/zhuyu4839/article/details/77979255 1. md5文件更新直接使用: fl
2020-05-23 12:36:44
5
原创 hadoop2.2.0 單節點安裝
以下兩個軟件是在Linux下必須安裝的：ssh rsync 安裝步驟： 1）將下載的Hadoop安裝包放到指定的目錄，比如放到您當前用戶的home目錄。執行以下命令解壓安裝包： tar xzf hadoop-2.2.0.tar.g
2020-02-20 19:42:01
原创 hadoop HDFS雜記
1. HDFS使用ChecksumFileSystem或它的子類實例時,文件交換使用crc校驗碼; 2.HDFS支持壓縮格式:deflate gzip bzip2 lzo snappy格式: java 訪問: public static
2020-02-20 19:42:01
原创 hadoop hdfs2 Basic Filesystem Operations
一) 使用File shell方式,主要包括hadoop fs [command]和hdfs dfs [command]操作,具體的示例hadoop的referenece 二) 使用java api操作: 目前hadoop提供的文件操作的
2020-02-20 19:42:01
原创 Linux 安裝Broadcom Linux hybrid 無線網卡驅
安裝Broadcom Linux hybrid 無線網卡驅動總結 系統：centos6.6 驅動：hybrid-portsrc_x86_32-v5_100_82_112.tar.gz 1.下載驅動Broadcom無線網卡驅動http:
2020-02-20 19:42:01
原创 yarn & hadoop2.2 與 HBase with zookeeper環境集成
前面的是對hadoop整個系統的大致認識,今天就爲學習hadoop搭建環境. 首先介紹爲什麼要使用這樣的集成環境: 從這張圖中的變化和前面對各個模塊的介紹能瞭解,首先學習透徹,就必須把把所有模塊都應用到,哪怕那些不常用的;但其他模塊去哪
2020-02-20 19:42:01
原创 Hadoop Yarn 框架 Demo 變化
場景介紹：Weblogic 應用服務器日誌分析 瞭解了 hadoop 新的 Yarn 框架的架構和思路後，我們用一個 Demo 示例來檢驗新 Yarn 框架下 Map-Reduce 程序的開發部署。 我們考慮如下應用場景：用戶的生產
2020-02-20 19:42:01
1
原创 hadoop's ecosystem
一. Hadoop早期生態系統的模塊: 1. HDFS --> Hadoop Distribted File System: Hadoop的文件系統,是一個能在多個cluster()上面對海量數據操作,並且數據只需寫一次. 2. MapR
2020-02-20 19:42:01
原创 解決could not find /usr/bin/../share/httrack/html
安裝httrack後運行webhttrack報錯:could not find /usr/bin/../share/httrack/html 解決方案: cd /usr/share/doc/ ln -s httrack-{version}
2020-02-20 19:42:01
原创 linux CentOS6 安裝kchmviewer 6問題的解決方法
kchmviewer rpm下載地址:http://www.ulduzsoft.com/linux/kchmviewer/getting-kchmviewer/ ---->Download the latest version from
2020-02-20 19:42:01