原创 solr安裝及詳解
###說明： 1. solr已內置jetty服務，默認端口8983，可以很方便的在web端操作,不用安裝tomcat。 2. 安裝完成後，建議使用谷歌瀏覽器訪問，有的瀏覽器可能會報錯。 3. 開放zk要用到的端口或關閉防火牆 4
2020-06-21 04:59:08
原创 ES合併操作小結
一：mget批量處理 1、批量查詢的好處 就是一條一條的查詢，比如說要查詢100條數據，那麼就要發送100次網絡請求，這個開銷還是很大的 如果進行批量查詢的話，查詢100條數據，就只要發送1次網絡請求，網絡請求的性能開銷縮減100倍 2
2020-06-21 04:59:08
原创 安裝CDH的超詳細步驟
一、準備工作 1、下載安裝包，規劃三臺機器 Cloudera Manager 5.9http://archive-primary.cloudera.com/cm5/cm/5/cloudera-manager-el6-cm5.9.0_x8
2020-06-21 04:59:08
原创 elasticsearch5.2.0和Kibana安裝詳解及問題
一、es集羣的規劃準備： 1、修改/etc/hosts文件 192.168.233.131 node1 192.168.233.132 node2
2020-06-21 04:59:08
原创 Elasticsearch 與kibana簡單語法
1、集羣狀態 get /_cat/health?v （?v顯示錶頭） epoch timestamp cluster status node.total node.data shards pri relo init u
2020-06-21 04:59:08
原创 VNC連接linux桌面
一、鏡像掛載配置yum源 [root@node6 ~]# cat /etc/yum.repos.d/CentOS-Base.repo [CentOS-Base] name=CentOS-Base baseurl=file
2020-02-23 03:32:11
原创 solr的軟硬提交
最近又被soft commit 和 hard commit搞得有點迷糊，其實都怪自己沒有早點看源代碼。問題出自這段代碼，這也是我一開始接觸solr時，查到的代碼sample(事實證明問題都出在這裏，引以爲戒，有問題真的不要不求甚解) if
2020-02-23 03:32:11
原创 zookeeper啓動時報錯排除
1.執行zkServer.sh start 後顯示： JMX enabled by default Using config:/home/Hadoop/app/zookeeper-3.4.5/bin/../conf/zoo.cf
2020-02-23 03:32:11
原创 zookeeper的日常運維
儘管zookeeper在編程上有很多的阱陷，API也非常的難用，但zookeeper服務本身可以說是很牢靠的了，所以在網上貌似關於運維的文章比較少。 但省心並不代表不會出麻煩，下面總結下zookeeper運維相關的東東。 重要的參考資料
2020-02-23 03:32:11
2
原创 zookeeper的配置項詳解
ooKeepeer的功能特性是通過ZooKeeper配置文件來進行控制管理（默認zoo.cfg配置文件）的。詳細介紹ZooKeeper配置文件中每一
2020-02-23 03:32:11
原创 hive on spark的安裝實現
Hive on Spark安裝，hive是基於Hadoop的數據倉庫，hdfs爲hive存儲空間，mapreduce爲hive的sql計算引擎。但是由於mapreduce很多計算過程都要經過硬盤讀寫等劣勢，和spark等計算引擎
2020-02-23 03:32:11
原创 HDFS小文件的合併優化
HDFS小文件的合併優化 我們都知道，HDFS設計是用來存儲海量數據的，特別適合存儲TB、PB量級別的數據。但是隨着時間的推移，HDFS上可能會存在大量的小文件，這裏說的小文件指的是文件大小遠遠小於一個HDFS塊（128MB）的大
2020-02-23 03:32:11
原创 solr優化
海量數據的索引，第一個要解決的是數據存儲的問題，solr提供數據存儲平臺有兩種，第一個是本地磁盤，另一個是HDFS，我們可以通過solrhome的配置來實現。在本次實踐中，我們選擇的是本地磁盤，因爲採用的solrcloud部署模式，本
2020-02-23 03:32:11
原创 安裝oralce11g詳細步驟
安裝oralce11g詳細步驟 一、安裝環境準備 安裝環境爲centos6.5，在官網下載的linux.x64_11gR2_database_1of2.zip、linux.x64_11gR2_database_2of
2020-02-23 03:32:11
原创 mapreduce的timeout參數設置
1. 如果碰到異常“Task attempt failed to report status for xxx seconds. Killing!”，最可能是碰到死循環了。 2. 如果沒有死循環：控制超時的屬性是：mapred.task.t
2020-02-23 03:32:11