原创 寫給新人數據挖掘基礎知識介紹
對企業來，堆積如山的數據無異於一個巨大的寶庫。但是如何利用新一代的計算技術和工具來開採數據庫中蘊藏的寶藏呢？ 在市場需求和技術基礎這兩個因素都具備的環境下，數據挖掘技術的概念和技術就應運而生了。 基本概念 數據挖掘(Data Mi
2018-09-03 02:23:41
原创 大數據正式提升爲國家戰略--促進大數據發展行動綱要
自6月國務院出臺《運用大數據加強對市場主體服務和監管的若干意見》、8月19日國務院常務會議審覈通過了《關於促進大數據發展的行動綱要》。9月5日，國務院正式印發《促進大數據發展行動綱要》，這一行動綱要出臺，意味着大數據發展正式成
2018-09-03 02:23:41
原创 Spring Boot初級教程
Spring Boot初級教程 一. Spring Boot安裝 環境要求：Java 8，Maven 3.2或Gradle 1.12 1.Maven方式 <?xml version="1.0" encoding="UTF-8"?> <pr
2018-09-03 02:23:41
3
原创 Flume前述（三）--多 agent 匯聚寫入 HDFS
客戶機配置 Flume Client # clientAgent clientAgent.channels = c1 clientAgent.sources = s1 clientAgen
2018-09-03 02:23:39
原创 項目總結：以網絡安全爲例的大數據可視化設計
大數據可視化是個熱門話題，在信息安全領域，也由於很多企業希望將大數據轉化爲信息可視化呈現的各種形式，以便獲得更深的洞察力、更好的決策力以及更強的自動化處理能力，數據可視化已經成爲網絡安全技術的一個重要趨勢。 一、什麼是網絡安全可視化
2018-09-03 02:23:39
原创 Yarn MapReduce內存分配
以horntonworks給出推薦配置爲藍本，給出一種常見的Hadoop集羣上各組件的內存分配方案。方案最右側一欄是一個8G VM的分配方案，方案預留1-2G的內存給操作系統，分配4G給Yarn/MapReduce，當然也包括了HIVE，
2018-09-03 02:23:38
原创 Flume前述
一、Flume簡介 概述 Flume是一個分佈式、可靠、和高可用的海量日誌收集系統，支持在系統中定製各類數據發送方，用於收集數據；同時，Flume提供對數據進行簡單處理，並寫到各種數據接受方（可定製）的能力。 系統要求 1、Java環
2018-09-03 02:23:38
原创 Flume前述（二）--功能配置
三、功能配置示例 單節點Flume設置 # example.conf: A single-node Flume configuration # Name the components on this agent a1.so
2018-09-03 02:23:38
原创 常見的七種Hadoop和Spark項目案例
有一句古老的格言是這樣說的，如果你向某人提供你的全部支持和金融支持去做一些不同的和創新的事情，他們最終卻會做別人正在做的事情。如比較火爆的Hadoop、Spark和Storm，每個人都認爲他們正在做一些與這些新的大數據技術相關的事情，但它
2018-09-03 02:23:38
原创 大數據到底如何在企業中發揮價值
一、企業大數據如何起步：從小數據到大數據 目前國內外關於大數據的談論很多，大多是談運營級別的，或者說從服務端、服務方提得較多一些。筆者要跟大家交流的問題是作爲各類企業尤其是客戶方的企業來說，大數據跟他們有什麼關係，或者說作爲企業方怎樣去參
2018-09-03 02:23:37