原创 hadoop2.6.1 完全分佈/僞分佈部署
先寫完全分佈式，在寫僞分佈 ： hadoop2.6.1 完全分佈模式 三臺虛擬機進行完全分佈式部署： master：ip 192.168.0.162 hostname lin162 slaves： ip 192.1
2020-06-19 20:00:37
原创 docker【1】docker簡介（入門知識）
docker入門指南 一、Docker能做什麼 Docker可以解決虛擬機能夠解決的問題，同時也能夠解決虛擬機由於資源要求過高而無法解決的問題。 Docker能處理的事情包括： 隔離應用依賴 創建應用鏡像並
2020-06-19 18:57:51
原创 flume-ng簡單介紹
flume 官網：http://flume.apache.org/FlumeUserGuide.html 先把flume做一個簡單的比喻幫助理解： 有一個池子，它一頭進水，另一頭出水，進水口可以配置各種管子，出水口也可以配置各種
2020-06-19 18:57:50
原创 Quartz與Spring的整合-Quartz中的job如何自動注入spring容器託管的對象
Quartz與Spring的整合-Quartz中的job如何自動注入spring容器託管的對象 我們要達到這樣的效果 public class CancelUnpaidOrderTask implements Job {
2020-02-22 07:37:53
原创 mahout itemCF 簡單使用
一、itemCF 測試 mahout版本 0.10.0 mahout 提供了很多的算法，其中比較常用的算是itemCF了這裏記錄一下itemcf的使用方法 1、數據準備，這裏是使用自己採集的一些行爲數據 ，數據不多，但是可以測
2020-02-22 07:37:53
原创 flume-ng 實際應用例子，flume採集log4j日誌
上一篇文章中已經簡單介紹過flume點擊打開鏈接，這裏就爲大家共享一下flume的實際應用： 簡單測試項目： 1、新建java項目結構如下： WriteLog代碼如下： import java.util.Date
2020-02-22 07:37:53
原创 hbase 單機、僞分佈、完全分佈部署
hbase1.1.2安裝文檔（配套hadoop2.6.1） hbase 下載地址：http://hbase.apache.org/ 下載後解壓到自己所需的目錄：我的目錄是/home/lin/hadoop/hbase-1.1.2
2020-02-22 07:37:53
原创 sqoop 根據時間增量導入
sqoop 根據時間增量導入 sqoop 的基本功能 大家應該都知道，實現關係型數據庫和非關係型數據庫的數據轉換； 官網 http://archive.cloudera.com/cdh/3/sqoop/SqoopUserGuide.h
2020-02-22 07:37:53
原创 mahout kmeans 例子
一、mahout 簡單例子測試 mahout 安裝配置可以參考：mahout安裝配置 1、kmeans 聚類算法測試數據來源： 地址：http://archive.ics.uci.edu/ml/databases/
2020-02-22 07:37:53
原创 虛擬機時間問題引起的hadoop集羣時間問題
之前沒有關注過虛擬機的時間問題，但是用了hadoop集羣后，發現分析的數據與實際數據不符。才發現虛擬機用的是newYork 時區的時間，比正常時間慢了12個小時；所以必須修改虛擬機時間； 然後用了很多修改時間的命令，修改時區等，最後
2020-02-22 07:37:53
原创 Hive 1.2.1安裝部署
Hive安裝 (hadoop2.6.0 hive 1.2.1) 官網地址：http://hive.apache.org/downloads.html 三種模式 內嵌模式：元數據保持在內嵌的derby模式，只允許一個會話連接
2020-02-22 07:37:53
原创 [推薦算法]基於JACCARD推薦（0,1推薦）
基於JACCARD推薦（0,1推薦） 1、什麼是jaccard？ 傑卡德相似係數(Jaccard similarity coefficient)，也稱傑卡德指數(Jaccard Index)，是用來衡量兩個集合相似度的一
2020-02-22 07:37:53
原创 hive 使用oralce 存儲元數據報錯a table may contain only one column of type LONG
hive 使用oracle 作爲元數據存儲的時候，創建表會遇到此錯誤： FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLT
2020-02-22 07:37:53
原创 sqoop1.4.6安裝
sqoop1.4.6 安裝配置 下載地址：http://sqoop.apache.org 文檔地址：http://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html (1
2020-02-22 07:37:53
原创 hadoop 2.6.1 出現ssh無法解析主機名等錯誤提示的解決辦法
lin@LL162:~/Hadoop/hadoop-2.6.1$ sbin/start-all.sh This script is Deprecated. Instead use start-dfs.sh and start-yar
2020-02-22 07:37:53