原创 Hive的安裝和基礎編程
轉載自廈門大學林子雨開設的《大數據技術原理與應用》一、安裝hive1. 下載並解壓hive源程序Hive下載地址注意，上面的dblab:dblab是用戶組和用戶名，如果你當前使用用戶名hadoop登錄了Linux系統，則把dblab替換成
2020-06-20 10:42:52
原创 RDD-Dependency講解
概要 上一篇我們介紹了代表RDD組成的(Dependency、Partition、Partitioner)之一的Partition，這篇接着介紹Dependency。Partition記錄的是數據split的邏輯，Dependency記錄
2020-06-20 10:42:51
原创 Docker安裝及配置開發環境
Docker 先搞清楚下面三點： 一、爲什麼使用Docker 二、使用Docker的正確姿勢 三、Docker帶來了哪些好處 一、爲什麼使用Docker Docker一詞意爲碼頭工人，而Docker的功能也與集裝箱類似。通常一
2020-06-20 10:42:51
原创 如何完成一次 IO - Linux I/O詳解
如何完成一次 IO 哪個男孩不想來一場異步非阻塞的甜蜜戀愛？ 21 點，你打開微信，開心地對女孩說：“晚上好”。女孩說：“我在洗澡”。 你抱着手機等待晚點聊，此刻，你是阻塞的，也是同步的。爲什麼？ 寫在前面 談起 IO, Ja
2020-06-20 09:37:25
3
原创 基於TCP和Socket的Linux環境下簡易聊天工具設計
主要實現一個Linux下的局域網聊天工具的設計。 該設計主要分爲兩部分，客戶端部分和服務器端部分。 運行服務器端程序可以和任意一個運行了的客戶端程序的進行通信，通信內容能夠通過終端顯示出來。兩個部分都使用C語言，利用vim編
2020-06-20 09:37:25
原创 從MapReduce到Hive
1.計算框架 Hadoop 是一個計算框架，目前大型數據計算框架常用的大致有五種： 僅批處理框架：Apache hadoop. 僅流處理框架：Apache Storm、Apache Samza. 混合框架：Apache Spar
2020-06-20 09:37:25
原创 Spring事務與JDK/CGLIB動態代理
近日面試問及AOP和動態代理，再之後的事務方面有所生疏。 面試面了四個多小時，雖然涼了，但感謝面試官對我的錯誤給予了講解，nice。（竟然沒涼。。。） 首先Spring事務在開發過程中是通過@Transactional註解來
2020-06-20 09:37:25
原创 動態(靜態)代理實例解析
1.代理模式 代理(Proxy)是一種設計模式,提供了對目標對象另外的訪問方式;即通過代理對象訪問目標對象. 這樣做可在目標對象實現的基礎上,增強額外的功能操作,即擴展目標對象的功能. 這裏使用到的一個思想:不要隨意去修改別人已
2020-06-20 09:37:25
原创 如何完成一次快速的查詢 - 從MySQL到HBASE
哪個男孩不想完成一次快速的查詢？ 1. MySQL 查詢慢是什麼體驗？ 謝邀，利益相關。 大多數互聯網應用場景都是讀多寫少，業務邏輯更多分佈在寫上。對讀的要求大概就是要快。那麼都有什麼原因會導致我們完成一次出色的慢查詢呢？ 1.1
2020-04-21 22:27:21
原创 Spark RDD基本介紹
rdd RDD（Resilient Distributed Dataset）叫做分佈式數據集，Spark中最基本的數據抽象，它代表一個不可變、可分區、裏面的元素可並行計算的集合. rdd是spark的靈魂，中文翻譯彈性分佈式數據
2020-02-22 12:07:24
原创 Swagger 自定義Model、Enum（SpringFox源碼分析）
Springfox源碼分析-自定義Model、Enum 先說一說Springfox和Swagger的關係 Swagger 是一種規範。 springfox-swagger 是基於 Spring 生態系統的該規範的實現。 spri
2020-02-22 12:07:24
原创 Spark的安裝和介紹
安裝 安裝scala 解壓，配置環境變量 export SCALA_HOME=/usr/local/scala-2.10.6 export PATH=$SCALA_HOME/bin:$PATH source /etc/p
2020-02-22 12:07:24
原创 Hadoop的安裝和入門使用
Hadoop的安裝方式有三種，分別是單機模式，僞分佈式模式，分佈式模式。 以下轉載至廈大林子雨老師所著圖書，當初學習hadoop入門環境搭建部分幫助很多，在此作爲推薦。如有侵權請告知刪除。 單機模式：單機模式：Hadoop 默認
2020-02-22 12:07:24
原创 RDD-Partion簡述
Spark RDD主要由Dependency、Partition、Partitioner組成 Partition是其中之一。一份待處理的原始數據會被按照相應的邏輯(例如jdbc和hdfs的split邏輯)切分成n份，每份數據對應到
2020-02-22 12:07:24
原创 [劍指Offer] - Java完整題解
寫在前面 本文題目順序爲牛客網劍指 Offer 通過率降序，也算是一種從易到難。 牛客網劍指Offer 詳細題解 劍指Offer 具體題解發布在個人網站，更新ing (更新至40題) 1. 二維數組中的查找 2. 替換空格
2020-02-22 12:07:24