原创 Hive基礎筆記(架構、運行過程、元數據、數據類型)
接着上次的hive安裝配置https://www.jianshu.com/p/2f284bd01344，這次記錄別的。 那Hive到底能幹啥？？ 基於Hadoop的數據倉庫，可以把結構化的數據文件映射爲一張表，然後提供類SQL的查
2020-06-28 19:46:10
原创 Spark RDD筆記
從這裏學習的，講的真好~ https://www.bilibili.com/video/av62992342/?p=41 JAVA IO ： 裝飾者設計模式 Spark的RDD也是類似的 RDD是將數據處理的邏輯進行了封裝
2020-06-28 19:46:10
原创 Spark算子記錄、實例
從這裏學習的，講的真好~ https://www.bilibili.com/video/av62992342/?p=41 單數據 MAP 1.作用 返回一個新RDD，該RDD由每個輸入元素經過func函數轉換後組成。 2.需求
2020-06-28 19:46:09
原创 Hive 的DDL和DML
本文是跟着這個學習的 https://www.bilibili.com/video/av65556024?p=1 DDL 1.庫 建庫： > create database if not exists 庫名; 還有一個方式
2020-06-28 19:46:07
原创 解決 /etc/sudoers is world writable
linux系統中，etc文件夾下的sudoers文件是我們常用sudo指令的配置文件。我們可能會通過修改sudoers去修改指令。 但是如果修改不當則會出現以下情況： sudo:sudo /etc/sudoers is world
2020-05-30 15:47:35
3
原创 HTTPS加密解密那些方案記錄
衆所周知： Http1.0主要是無狀態無連接，瀏覽器每次請求都要與服務器創建TCP連接，就要三次握手四次揮手，處理完就斷開。所謂無狀態就是服務器不跟蹤客戶端也不記錄請求。 http1.1 連接方式從1.0的close變成了kee
2019-10-25 23:18:04
原创 當提到JVM類加載的時候，我們是在談什麼？
當我們提到JVM的時候，前提是我們知道啥是JVM，談這事的基礎，至少知道它是java 虛擬機。此時至少要知道什麼是虛擬機，如果聽說過VM ware的話，需要知道這個VM是Virtual Machine的簡稱，這樣就知道了JVM 是
2019-09-16 22:05:26
原创 [自用向]粗略複習——線程基礎(基礎的不得了)
取材於網絡，忘記哪些帖子惹，挺多的。主要是我自己防止自己忘記記錄的。 1.線程 是大家比較熟悉的概念，線程和進程都有五個階段：創建、就緒、運行、阻塞、終止。多線程即一個程序有多個順序流在執行。 實現的方法 有三種：Thread
2019-09-16 22:05:26
原创 Zookeeper集羣搭建筆記
研究kafka的過程中，需要搭建zookeeper集羣，過程比較簡單，記錄一下： 依然是三個虛擬機Centos7環境 192.168.20.3 Master 192.168.20.4 Slave1 192.168.20.5 Slave
2019-05-08 19:31:35
原创 Kafka集羣搭建筆記
緊接着上一篇Zk集羣搭建：https://blog.csdn.net/w635614017/article/details/89960255 這邊直接搭建起來Kafka集羣，環境路徑啥的都寫上一篇了，可以去查看。 kafka官網：ht
2019-05-08 19:31:35
原创 Maven項目中Scala項目打包後不存在的解決辦法
Scala文件在package之後沒有出現在target裏，進入jar包看一下，發現只有java的編譯文件，卻沒有scala編譯文件，這裏要修改一下pom.xml，增加插件。 <!-- scala編譯插件 -->
2019-04-17 22:14:17
2
原创 用大數據報異常： Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
用Spark或者Hbase可能會報這個錯誤，這個不影響流程，但是很煩，所以探究原因是HADOOP_HOME_DIR值爲nul了，也就是環境變量的問題，這個問題普遍出現在windows調試的過程中。 解決這個問題： 可以下載： hado
2019-04-17 22:14:17
原创 Spring-AMQP使用和簡單實例
之前寫過按照官方文檔學習使用RabbitMQ，瞭解了大概之後，我們可以開始嘗試在項目裏使用它。 1.前提準備 RabbitMQ，可以搭建在linux環境和windows環境。安裝比較簡單，這邊先不贅述了。以後補上。 我們要引入jar包
2019-04-15 22:30:10
原创 Hive搭建指南 環境CentOS7
這裏Hadoop的版本用的是 2.7.5 hive版本選擇的是 2.3.4 請看好與hadoop版本搭配的hive，官方目前繼續提供2.x和3.x的支持。 機器依然是hadoop的： 192.168.20.3 Master 192.
2019-04-12 22:39:02
原创 交互式shell和非交互式shell、登錄shell和非登錄shell的區別
在解讀shell之前要把bash理解一下，把它看成一種多層的模式。要清楚shell並不是某一個時間裏只能存在一個的。打個比方就是，比如我們進入一個房子，看到門，打開門進去就是進入了一個環境，但是在這裏我們又發現一扇門，當我們打開這扇門
2019-04-11 22:26:45