原创 appfuse中遇到的一些問題
今天第一次使用appfuse框架創建ssh繼承架構，遇到了一系列的問題，下面簡單總結一下 1.在控制檯上進入到項目目錄下執行mvn appfuse:copy-templates命令，本應該在src/test/resources/appfu
2018-09-03 17:54:29
原创 hbase的常用操作
package com.wangl.hadoop.hbase; import java.util.ArrayList; import java.util.List; import org.apache.hadoop.conf.Conf
2018-09-03 17:54:29
原创 zookeeper的分佈式鎖的實現
分佈式鎖能夠在一組進程之間提供互斥機制，使得在任何時刻都只有一個進程可以持有鎖，分佈式鎖可以用在大型分佈式系統中實現領導者選舉，在任何時間點，持有鎖的那個進程就是系統的領導者 分佈式鎖的思路：首先需要指定一個groupZnode作爲鎖，通
2018-09-03 17:54:29
原创 javaweb三大框架知識點總結
一、Struts2的總結 1、Struts 2的工作流程，從請求說起 （1）客戶端瀏覽器發出HTTP請求。 （2）根據web.xml配置，該請求被FilterDispatcher接收。 （3）根據struts.xml配置，找到需要
2018-09-03 17:54:28
原创 hive的分區和分桶
1、Hive 分區表 在Hive Select查詢中一般會掃描整個表內容，會消耗很多時間做沒必要的工作。有時候只需要掃描表中關心的一部分數據，因此建表時引入了partition概念。分區表指的是在創建表時指定的partition的分區空間
2018-09-03 17:54:28
2
原创 hadoop2.x的集羣搭建
Hadoop集羣安裝 1.配置服務器 1個主節點：master(192.168.15.128)，2個（從）子節點，slaver1(192.168.15.129)，slaver2(192.168.15.130) 配置主節點名(192.168
2018-09-03 17:54:28
原创 hadoop核心知識點總結
1、 安裝hadoop需要配置的hadoop中的配置文件有哪些? hadoop-env.shyarn-env.shcore-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xmlsl
2018-09-03 17:54:28
原创 HA機制下hadoop2.x的配置
hadoop2.0已經發布了穩定版本了，增加了很多特性，比如HDFS HA、YARN等。hadoop-2.4.1又增加了YARN HA 注意：apache提供的hadoop-2.4.1的安裝包是在32位操作系統編譯的，因爲hadoop依賴
2018-09-03 17:54:28
1
原创 mapreduce機制及mapreduce任務的分析
由於經典的MapReducer(MapReduce1)的jobtracker負責作業的調度、任務進度監視、追蹤、重啓過慢的任務和進行任務登記，對於CPU的消耗非常大，而且jobtracker是與namenode在同一節點上，namen
2018-09-03 17:54:23
3
原创 hanoi漢諾塔問題
Hanoi塔問題是個古典的數學問題，如果能夠想清楚這個問題，那我相信你的邏輯思維已經很不錯了，問題是這樣的： 古代有一個梵塔，塔內三個座A,B,C，A上有64個盤子，從小到大，從上而下依次排列，有人想把這64個盤子從A移動到C，每次只能移
2018-09-03 17:54:23