原创 HashMap

Map集合-------------1、Map與Collection不同2、Map集合存儲於取出元素的方式3、Map集合的特點4、Map集合中常用類Map與Collection1、Map與Collection在集合框架中屬並列存在2、Map

原创 Maven搭建本地倉庫

 大數據交流羣:494721467Maven搭建本地倉庫:1、下載所需軟件: Nexus-2 .9.0.warJDK1 1.6apache-tomcat-9.0.0.M1.tar.gz 2、安裝tomcat :tar -xzvf tar -

原创 hadoop零散筆記

查找有沒有這個軟件通過管道查詢:sudo apt-cache search ssh | grep ssh安裝的話:sudo apt-get install xxxxx安裝ssh後要生成一個文件即執行:ssh-keygen -t rsa -P

原创 java集合

集合類的應用:集合類是一些特殊的類,專門用來存放其他類對象的“容器”。主要是完成一些數據庫和數據結構的功能。Collection:1、java集合中的Collection的接口有兩個子接口--list和set,我們一般要用到的操作有:boo

原创 學習筆記-hadoop的安全模式和目錄快照

安全模式1、namenode啓動時,合併p_w_picpath和edit成新的p_w_picpath,併產生新的edit log  2、整個智能safe模式下,客戶端只能讀取3、查看nameode是否位於安全模式 hdfs dfsadmin

原创 hive的指令操作及內外臨時表的創建

2、數據庫: OLTP //online transaction process ,在線事務處理3、drop databases  if exists  mybase //刪除數據庫4、show tables //顯示錶5、create  

原创 hadoop

Avro1、數據序列化工具,由於hadoop的創始人Doug Cutting主持開發2、用於支持大批量數據交換的應用。支持二進制序列化方式,可以便捷,快速地處理大量數據3、動態語言友好。Avor提供的機制使動態語言可以方便地處理Avro4、

原创 HDFS的容錯和文件的讀寫

大數據交流羣QQ:494721467HDFS容錯:如何使文件體統能夠容忍節點故障,並且不丟失任何的數據也就是HDFS的容錯機制1、心跳機制:namenode 和datanode是維護心跳的檢測。可能網絡故障,導致namenode接收不到da

原创 hive的mysql配置筆記

配置hive使用mysql數據庫------------------------ 1.下載並加壓hive.tar.gz 2.配置環境變量 HIVE_HOME=... PATH=..:$HIVE_HOME/bin:$HIVE_HOME/con

原创 hbase完全分佈式搭建筆記

搭建完全分佈式hbase集羣------------------------- 1.配置master主機上的文件 [conf/hbase-site.xml] <configuration> <property> <name>hbase.ro

原创 zk集羣搭建

zk集羣搭建---------------------- 1.myid文件 a.[${zk_home_data}/myid] 1 //1~255 b.[zoo.cfg] tickTime=2000 dataDir=/disk1/zooke

原创 HADOOP的HA搭建

進入到執行:/soft/hadoop-2.7.1/etc/hadoop_cluster$ gedit hdfs-site.xml[配置部分][hdfs-site.xml]1.配置名稱服務:dfs.nameservices名稱服務的邏輯名。<

原创 筆記

hadoop從裸機到完全分佈的安裝(ctrl + alt是讓鼠標出來)1、vmware安裝省略2、ubuntu安裝省略3、安裝好ubuntu後修改root用戶的密碼。即執行sudo passwd輸入新的密碼4、建文件夾即mkdir ,修改它

原创 storm

大數據技術交流羣 :494721467 安裝storm-------------------1.準備jdk + zookeeper2.storm安裝下載apache-storm-1.0.1.tar.gz + apache-storm-1.0

原创 hadoop上安裝maven

大數據交流羣: 494721467安裝maven: 1、介紹:apache項目管理軟件,解決項目依賴關係 pom.xml(project object model) 2、下載apache-maven-3.3.9.tar.gz(apache)