原创 mysql密碼忘記,該怎麼辦

如果忘記了 MySQL 的 root 密碼,可以用以下方法重新設置:LINUX: (ubuntu從源中安裝mysql-server 和 mysql-

原创 Nginx 反向代理、負載均衡、頁面緩存、URL重寫及讀寫分離詳解

大綱 一、前言 二、環境準備 三、安裝與配置Nginx 四、Nginx之反向代理 五、Nginx之負載均衡 六、Nginx之頁面緩存 七、Nginx之URL重寫 八、Nginx之讀寫分離 注,操作系統爲 CentOS 6.4 x86

原创 spark on yarn的那些事 ---第一篇

spark on yarn後一個spark application資源使用情況如何? 在不考慮動態分配spark資源的情況下: 一個spark application程序資源主要分爲兩部分:driver + executor,下面分別以c

原创 HBase(0.96以上版本)過濾器Filter詳解及實例代碼

目錄: 引言 -- 參數基礎 1. 結構(Structural)過濾器--FilterList 2.列值過濾器--SingleColumnValueFilter         2.1.第一種構造函數情況 -- 比較的關鍵字是字符數

原创 hbase數據備份或者容災方案

HBase的數據備份或者容災方案有這幾種:Distcp,CopyTable,Export/Import,Snapshot,Replication,以下分別介紹(以下描述的內容均是基於0.94.20版本)。

原创 關於hbase的一些調優問題

1、HMaster           HMaster的任務前面已經說過了,兩個大方向:一、管理Hbase Table的 DDL操作 二、region的分配工作,任務不是很艱鉅,但是如果採用默認自動split region的方式,    

原创 如何利用maven向本地倉庫導入官網沒有的jar包

對於經常使用maven管理項目的人來說,經常會遇到官網找不到我們需要的jar包鏈接的情況。 面對這種情況,我們需要將需要的jar包下載下來,然後導入到本地倉庫中。命令如下: mvn install:install-file  -Dgrou

原创 VMWare虛擬機下爲Ubuntu 12.04.1配置靜態IP(NAT方式)

背景 在虛擬機下運行操作系統,尤其是Linux系統已經是非常常見的做法。有時你想在虛擬機下搭建一個(模擬)服務器來供主機訪問,比如搭建一個telnet/ssh。此時你會發現,每次啓動虛擬機,VMWare爲虛擬機系統分配一個動態IP,這樣每

原创 Flume NG 簡介及配置實戰

1、Flume 的一些核心概念:1.1 數據流模型1.2 高可靠性1.3 可恢復性2、Flume 整體架構介紹2.1 Exec source2.2 Spooling Directory Source3、常用架構、功能配置示例3.1 先來

原创 kafka

問題導讀: 1.zookeeper在kafka的作用是什麼? 2.kafka中幾乎不允許對消息進行“隨機讀寫”的原因是什麼? 3.kafka集羣consumer和producer狀態信息是如何保存的? 4.partitions設計的目的的

原创 Linux下通過源碼編譯安裝程序(configure/make/make install的作用 )

一、程序的組成部分 Linux下程序大都是由以下幾部分組成: 二進制文件:也就是可以運行的程序文件 庫文件:就是通常我們見到的lib目錄下的文件 配置文件:這個不必多說,都知道 幫助文檔:通常是我們在Linux下用man命令查看的命令的文

原创 關於ubuntu中利用crontab設置定時任務的問題

今天在ubuntu中利用crontab設置定時執行腳本的過程中,發現設置沒有出錯,單獨運行腳本也沒有問題,但是總是定時運行失敗。查閱很多文件之後發現:因爲crontab可能有時候沒有辦法執行用戶家目錄下面的兩個文件,分別是.bashrc和

原创 Hadoop2.x集羣動態添加刪除數據節點

如果Hadoop集羣已經在運行了,這時可能需要動態的添加新的數據節點到Hadoop系統中去,或者將某個數據節點下線,由於業務的需要,集羣是不能重啓的,那麼具體的DataNode添加、刪除步驟是什麼樣的呢? 下面以DataNode的上

原创 zookeeper啓動失敗,zkServer.sh status 出錯

運行zookeeperd後顯示啓動成功: JMX enabled by default Using config: /data/programfiles/zookeeper-3.4.5/bin/../co

原创 hadoop1.x和hadoop2.x的對比

1.能否總結出MapReduce設計思路?2.hadoop1遇到了什麼問題?3.hadoop2做了什麼改進,具體哪些變化? 對 hadoop1 和 hadoop  2  做了一個解釋 圖片不錯 拿來看看Hadoop 1.0從上圖中可以清楚