原创 計算機系統組成與基本工作原理

計算機系統知識 關鍵詞:計算機的組成、基本工作原理、體系結構、存儲系統、計算機安全、可靠性與系統性能評測。 重點: (1)計算機的組成:計算機的發展以及硬件、軟件組成。 (2)計算機基本工作原理:數制,漢字編碼和CPU結構工作流程 (3)

原创 Hive 創建數據庫報錯

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:Got excep

原创 數據庫設計原理

2016.12.6 十九.數據庫設計原理 數據庫設計要解決的兩個問題: (1)如何把數據組織到一組相關的表中? (2)在每個表中應該放什麼樣的數據元素? 18.1 規範化 規範化的目標: (1)消除冗餘數據。 (2)消除插入、刪除和更新異

原创 存儲系統三

4.存儲系統三,虛擬存儲器,磁盤陣列技術 (1)虛擬存儲器 虛擬存儲器又稱爲虛擬存儲系統,由主存儲器和輔助存儲器共同組成。它把輔助存儲器作爲主存儲器的擴充,對應用程序員來說,好像微機系統有一個容量很大的主存。 計算機在運行程

原创 存儲系統二

4.存儲系統二,相聯存儲器,高速緩存cache (1)相聯存儲器 關聯存儲器(associative memory)也稱爲按內容訪問存儲器(content addressed memory)或簡稱爲TLB(Translatio

原创 RPM與yum軟件管理

rpm -qa 列出系統安裝了的rpm包 rpm -qa | grep httpd 查看httpd 是否安裝好 安裝 : rpm -ivh 包名 卸載:rpm -e 包名 查看文件屬於那個包:rpm -qf /et

原创 hadoop datanode啓動不起來解決辦法

當多次對namenode進行格式化不成功,並且啓動不了datanode。logs裏記錄如下: 當我們執行文件系統格式化時,會在namenode數據文件夾(即配置文件中dfs.name.dir在本地系統的路徑)中保存一

原创 計算機體系結構

2.計算機體系結構 經典計算機體系結構概念的實質是計算機系統中軟硬件界面的確定,其界面之上的是軟件的功能,界面之下的是硬件和固件的功能。  廣義(現代)的計算機體系結的構概念,它除了包括經典的計算機體系結構的概念範疇(指令集結

原创 Hadoop安裝與搭建

1首先檢查系統裏是否自帶JDK 2.刪除原jdk,安裝JDK並配置環境 3.安裝hadoop與HDFS 4.配置YARN

原创 存儲系統一

3.存儲系統,主存與磁盤存儲器 計算機的主存儲器不能同時滿足存取速度快、存儲容量大和成本低的要求,在計算機中必須有速度由慢到快、容量由大到小的多級層次存儲器,以最優的控制調度算法和合理的成本,構成具有性能可接受的存儲系統。存儲系統

原创 初識Hadoop(會飛的大象)

SQL on Hadoop 1)Hive 2)Prestore 3)Impala 基於內存 4)Phoneix(基於HBase) 5)Spark SQL 1.Hadoop是什麼? 從Hadoop權威指南可以看

原创 修改hostname

Linux操作系統的hostname是一個kernel變量,可以通過hostname命令來查看本機的hostname。也可以直接cat /proc/sys/kernel/hostname查看。   #hostname   #cat

原创 VMware虛擬機內部錯誤以及NAT聯網問題

今天,打開Vmware虛擬機出現內部錯誤,如下: 其解決辦法:在宿主系統的計算機管理中找到服務和應用程序,將Vmvare相關服務啓動並改爲自動: 當虛擬機不能聯網時檢查虛擬機設置 已連接和啓動時連接一定要勾選上,

原创 關閉Hadoop時no namenode to stop異常

今天遇到了在關閉hadoop集羣的時候,總會跳出說no XXnode to stop,但是使用jps命令任然可以看見進程還在運行的問題。 通過查看hadoop安裝目錄下的sbin下的腳本文件:hadoop-daemon.sh查到,

原创 R語言三種聚類

一、距離和相似係數二、層次聚類法三、動態聚類 kmeans四、DBSCAN 一、距離和相似係數 r語言中使用dist(x, method = "euclidean",diag = FALSE, upper = FALS