原创 Hadoop學習筆記（1）：概念和整體架構
hadoop簡介和歷史 Hadoop架構體系 Master和Slave節點 數據分析面臨的問題和Hadoop思想 由於工作原因，必須學習和深入一下Hadoop，特此記錄筆記。 什麼是hadoop? Apache Hadoop是一
2019-02-22 17:08:05
原创 使用tar+pigz+ssh實現大數據的高效傳輸
使用tar+pigz+ssh實現大數據的高效傳輸 以前我們跨主機拷貝大數據的時候，比如要拷貝超過100GB的mysql原始數據，我們通常的做法如下：在源端打包壓縮爲tar.gz文件採用scp或者rsync等方式拷貝到目標主機在目標主機解壓
2018-09-11 04:03:11
4
原创 vim 編輯器
vi編輯器是所有Unix及Linux系統下標準的編輯器，他就相當於windows系統中的記事本一樣，它的強大不遜色於任何最新的文本編輯器。他是我們使用Linux系統不能缺少的工具。由於對Unix及linux系統的任何版本，vi編輯器是完全相
2018-09-11 04:02:54
6
原创 四層和七層負載均衡的區別
四層和七層負載均衡的區別 一、簡單理解四層和七層負載均衡① 所謂四層就是基於IP+端口的負載均衡；七層就是基於URL等應用層信息的負載均衡；同理，還有基於MAC地址的二層負載均衡和基於IP地址的三層負載均衡。 換句換說，二層負載均衡會通
2018-09-11 04:02:54
原创 Centos下MySQL忘記密碼修改方法
前幾天剛在虛擬主機上裝了個MySQL5.7，隨手配置了個密碼，今天直接就忘記（尷尬臉 》 。《 ），於是就想着把這個修改密碼的方式貼出來，以備有道友忘記密碼時備用。 先將MySQL關閉：service mysqld stop 將M
2018-09-11 04:02:54
原创 Xshell5下利用sftp上傳下載傳輸文件
sftp是Secure File TransferProtocol的縮寫，安全文件傳送協議。可以爲傳輸文件提供一種安全的加密方法。sftp與 ftp有着幾乎一樣的語法和功能。SFTP爲 SSH的一部分，是一種傳輸檔案至Blogger伺服器的
2018-09-11 04:02:53
23
原创 HTTP協議解析
HTTP協議解析http即超文本傳輸協議，是一種詳細規定了瀏覽器和萬維網服務器之間相互通信的規則。他是萬維網交換嘻嘻的基礎，他允許將HTML文檔從web服務器傳到web瀏覽器。發送一個HTTP請求很簡單，只需要在搜索引擎上輸入url。HTT
2018-09-11 04:02:52
原创 TCP協議中的三次握手和四次揮手(圖解)
TCP協議中的三次握手和四次揮手(圖解)http://blog.csdn.net/whuslei/article/details/6667471/建立TCP需要三次握手才能建立，而斷開連接則需要四次握手。整個過程如下圖所示：先來看看如何建立
2018-09-11 04:02:52
原创 負載均衡器部署方式和工作原理
概述負載均衡（Load Balance）由於目前現有網絡的各個核心部分隨着業務量的提高，訪問量和數據流量的快速增長，其處理能力和計算強度也相應地增大，使得單一的服務器設備根本無法承擔。在此情況下，如果扔掉現有設備去做大量的硬件升級，這樣將造
2018-09-11 04:02:52
原创 iptables 詳解
一：前言 防火牆，其實說白了講，就是用於實現Linux下訪問控制的功能的，它分爲硬件的或者軟件的防火牆兩種。無論是在哪個網絡中，防火牆工作的地方一定是在網絡的邊緣。而我們的任務就是需要去定義到底防火牆如何工作，這就是防火牆的策
2018-09-11 04:02:52
原创 大型Web系統架構
動態應用，是相對於網站靜態內容而言，是指以c/c++、php、Java、perl、.net等服務器端語言開發的網絡應用軟件，比如論壇、網絡相冊、交友、BLOG等常見應用。動態應用系統通常與數據庫系統、緩存系統、分佈式存儲系統等密不可分。大型
2018-09-11 04:02:52
2
原创 使用pidstat查看進程資源使用情況
使用pidstat查看進程資源使用情況簡介pidstat主要用於監控全部或指定進程佔用系統資源的情況，如CPU，內存、設備IO、任務切換、線程等。pidstat首次運行時顯示自系統啓動開始的各項統計信息，之後運行pidstat將顯示自上次運
2018-09-11 04:02:52
原创 20個關於Postfix的面試題
問題1：什麼是 Postfix，它的默認端口是多少？答：Postfix 是一個開源的 MTA（郵件傳送代理，英文名：Mail Transfer Agent）,用於轉發 email。相信很多人知道 Sendmail，而 Postfix 是它的
2018-09-11 04:02:52
原创 windows 系統下利用SecureCRT、xshell 生成ssh登陸linux的公鑰
方法一 使用SecureCRT 工具 1、打開我們的SecureCRT客戶端，點擊tool-->create public key.. 2、密鑰類型我們選擇非對稱類型的RSA，按照提示下一步。 3、通行短語設置，在連接上服務器的時候需
2018-09-11 04:02:52
原创 vim中 set 用法設置
vi set用法from google search一、常用收集如下：(vi set)set autoindent 在插入模式下，對每行按與上行同樣的標準進行縮進，與shiftwidth選項結合使用set list 把製表符顯示
2018-09-11 04:02:52