原创 [大數據] 搜索日誌數據採集系統 flume+hbase+kafka架構 (數據搜狗實驗室)

1 採集規劃 說明: D1 日誌所在服務器1 —bigdata02.com D2 日誌所在服務器2 —bigdata03.com A flume2 — bigdata02.com 日誌收集 C flume3 — bigdat

原创 [java 學習基礎] 散列表和平衡二叉樹

title: 散列表和平衡二叉樹 tags: java 數據結構 categories: 實用技能 date: 2020-01-31 15:57:38 description:散列表和數的區別 散列表和平衡二叉樹 散列表

原创 常用css列表

常用css列表 color 設置文字的顏色,如: color:red; font-size 設置文字的大小,如:font-size:12px; font-family 設置文字的字體,如:font-family:‘微軟雅黑

原创 [譯 ] 雲計算Cloud Computing 12章 大數據、數據流、和移動雲計算 -序

序 處理器,存儲,軟件和網絡技術的進步使我們能夠存儲和處理海量數據,將這項技術用於人類科學,利益,娛樂,惡意方案,或一些我們可以做的事。 人們可以談論“數據的民主化”,因爲科學家和決策者,記者和醫療保健提供者,藝術家和工程師,新手和領

原创 [大數據]Scala 速學手冊3

Scala 速學手冊3 高階函數 1 概念 Scala混合了面向對象和函數式的特性,我們通常將可以做爲參數傳遞到方法中的表達式叫做函數。在函數式編程語言中,函數是“頭等公民”,高階函數包含:作爲值的函數、匿名函數、閉包、柯里化等等。

原创 用Scala寫Java線程池

import java.util.concurrent.{Callable, Executors, Future} /** * Created by 57871 on 2018/10/31. */ object ja

原创 [大數據]Scala 利用java 線程池實現FIFO調度器

Scala 利用java 線程池實現FIFO調度器 1 設計想法 三個提交事件 繼承任務事件 分別是 提交事件(TaskSubmited) 任務成功事件(TaskSucceeded) 任務失敗事件(TaskFailed) 事件管理

原创 [大數據]Scala 利用Akka 實現RPC框架

Scala 利用Akka 實現RPC框架 1 介紹 項目介紹:目前大多數的分佈式架構底層通信都是通過RPC實現的,RPC框架非常多,比如前我們學過的Hadoop項目的RPC通信框架,但是Hadoop在設計之初就是爲了運行長達數小時的

原创 IntelliJ Idea 常用快捷鍵列表

IntelliJ Idea 常用快捷鍵列表 Ctrl+Alt+t 選擇代碼塊 try catch Alt+回車 導入包,自動修正 Ctrl+N 查找類 Ctrl+Shift+N 查找文件 Ctrl+Alt+L 格式化代碼 Ctr

原创 [大數據]Scala 速學手冊2

Scala 速學手冊2 1 類、對象、繼承、特質 1.1 類 1 類的定義 //在Scala中,類並不用聲明爲public。 //Scala源文件中可以包含多個類,所有這些類都具有公有可見性。 class Person { //用

原创 [大數據] Scala 速學手冊1

Scala 基礎介紹 1 Scala 1.1 什麼是Scala Scala是一種多範式的編程語言,其設計的初衷是要集成面向對象編程和函數式編程的各種特性。Scala運行於Java平臺(Java虛擬機),併兼容現有的Java程序。 1.

原创 java基礎知識之GC

java基礎知識之GC 1 GC算法 標記清除 標記整理 複製算法 標記清除: 特點 標記出所有需要回收的對象,在標記完成後統一回收所有被標記的對象 在標記完成後統一回收所有被標記的對象 缺點: 效率低,標記和清除兩

原创 基礎知識之jvm內存空間

Java基礎知識之jvm內存空間 1 JVM內存空間有哪些分區? 堆 方法區 JAVA虛擬機棧 程序計數器 本地方法棧 堆空間(HEAP):是創建對象的實例和數組都存放的內存空間,是隨着虛擬機的啓動而創建的,它是線程共享的

原创 [大數據] hadoop HA 配置

前提:已經通過上一篇的環境配置好了zookeeper環境 1 集羣規劃 bigdata01.com bigdata02.com bigdata02.com namenode namenode datanode datan

原创 [大數據] 搜索日誌數據採集 flume+hbase+kafka (數據來源搜狗實驗室)

1 採集規劃 說明: D1 日誌所在服務器1 —bigdata02.com D2 日誌所在服務器2 —bigdata03.com A flume2 — bigdata02.com 日誌收集 C flume3 — bigdata03