原创 /etc/fstab文件內容
/etc/fstab文件內容 前言，用CentOS開機前面會看到進入系統後顯示/etc/fstab，覺得很有意思，就上網上搜搜。 一： /etc/fstab是什麼？ /etc/fstab是用來存放文件系統的靜態信息的文件，
2020-06-17 16:11:46
原创 OLTP和OLAP的區別
OLTP和OLAP的區別 聯機事務處理OLTP（on-line transaction processing）主要是執行基本的、日常的事務處理，比如數據庫記錄的增、刪、改、查。比如在銀行存取一筆款，就是一個事務交易。 OLTP的特點
2020-02-23 10:50:46
原创 MapReduce:詳解Shuffle(copy,sort,merge)過程
MapReduce:詳解Shuffle(copy,sort,merge)過程 Shuffle過程是MapReduce的核心，也被稱爲奇蹟發生的地方。要想理解MapReduce， Shuffle是必須要了解的。我看過很多相關的資
2020-02-23 10:50:46
3
原创 hdfs簡介
hdfs簡介 Hadoop是一個能夠對大量數據進行分佈式處理的軟件框架，實現了Google的MapReduce編程模型和框架，能夠把應用程序分割成許多的 小的工作單元，並把這些單元放到任何集羣節點上執行。在MapReduce中，一個準備提
2020-02-23 10:50:46
原创 Linux下面新增硬盤
Linux下面新增硬盤 1 把硬盤接上 2 重啓系統，如果系統不能識別還要設置一下bios 3 用fdisk查看 fdisk -l，可以看到多了一塊硬盤，並且告訴我們沒有分區信息 4 用fdisk 進行分區，如 fdis
2020-02-23 10:50:46
原创 Linux添加/刪除用戶和用戶組
Linux添加/刪除用戶和用戶組 本文總結了Linux添加或者刪除用戶和用戶組時常用的一些命令和參數。 1、建用戶： adduser phpq //新建phpq用戶 passwd
2020-02-23 10:50:46
原创 Linux下製作raid1
Linux下製作raid1 raid1是linux服務器最常用的一種硬盤冗餘備份的方案，它能在硬盤損壞的情況下保證硬盤數據內的安全。需要至少兩塊硬盤，最好是完全相同的兩塊硬盤，所創建的若磁盤中有誰損壞，則備用盤自動替補
2020-02-23 10:50:46
原创 CentOS 6.3下配置LVM（邏輯卷管理）
CentOS 6.3下配置LVM（邏輯卷管理） 一、簡介 LVM是邏輯盤卷管理（Logical Volume Manager）的簡稱，它是Linux環境下對磁盤分區進行管理的一種機制，LVM是建立在硬盤和分區之上的一個邏輯層，來
2020-02-23 10:50:46
原创 dd命令使用詳解
dd命令使用詳解 1.命令簡介 dd 的主要選項： 指定數字的地方若以下列字符結尾乘以相應的數字: b=512, c=1, k=1024, w=2, xm=number m if=file #輸入文件名，缺省爲標準輸入。 of=
2020-02-23 10:50:46
原创 Linux 之Cut命令詳解
Linux 之Cut命令詳解 cut是一個選取命令，就是將一段數據經過分析，取出我們想要的。一般來說，選取信息通常是針對“行”來進行分析的，並不是整篇信息分析的。 （1）其語法格式爲：cut [-bn] [file]
2020-02-23 10:50:46
原创 chkconfig命令詳解
chkconfig(check config)命令詳解 功能說明：chkconfig命令主要用來更新（啓動或停止）和查詢系統服務的運行級信息。謹記chkconfig不是立即自動禁止或激活一個服務，它只是簡單的改變了符號連接
2020-02-23 10:50:46
原创 Hadoop Rack Aware 機架感知
Hadoop Rack Aware 機架感知 副本的存放是HDFS可靠性和性能的關鍵。優化的副本存放策略是HDFS區分於其他大部分分佈式文件系統的重要特性。這種特性需要做大量的調優，並需要經驗的積累。HDFS採用一種稱爲機架感知
2020-02-23 10:50:46
原创 CentOS 6.0 啓動時出現fstab錯誤時的修復
CentOS 6.0 啓動時出現fstab錯誤時的修復 CentOS啓動時，出現了fstab 中 /dev/loop1 設備的讀取失敗，結果，呵呵，系統進入了recovery 模式，輸入root密碼之後，想修改fstab,
2020-02-23 10:50:46
原创 hbase 索引記錄
hbase 索引記錄 根本目的是實時的查詢速度 從兩方面來看： 一、HBase自身的原理，機制。 二、索引的原理機制。 一、HBase： reference: HBase技術介紹｜淘寶技術博客
2020-02-23 10:50:46
原创 MapReduce 中的兩表 join 幾種方案簡介
MapReduce 中的兩表 join 幾種方案簡介 1. 概述 在傳統數據庫（如：MYSQL）中，JOIN操作是非常常見且非常耗時的。而在HADOOP中進行JOIN操作，同樣常見且耗時，由於Hadoop的獨特設計思想，當進
2020-02-23 10:50:46