原创 基於IntelliJ Idea的Scala開發環境搭建一使用Git管理代碼
前面幾篇文章講了基於IntelliJ Idea的Scala開發環境搭建以及幾個Demo，如果想要了解相關內容，請參考我的Hadoop/spark欄目下的相關文章，本文主要介紹IntelliJ Idea的Git代碼管理配置，主要步驟
2020-07-01 08:24:33
原创 基於IntelliJ Idea的Scala開發demo一Spark-SQL操作Postgresql開發
本文主要是spark-sql與PostgreSQL的交互實現demo，具體步驟如下： 導入相關PostgreSQL的依賴驅動包 編寫spark-sql操作PostgreSQL的代碼 打包運行 導入相關PostgreSQL的依賴
2020-07-01 08:24:32
原创 設計模式—簡單工廠模式詳解
簡單工廠模式是屬於創建型模式，又叫做靜態工廠方法（Static Factory Method）模式，但不屬於23種GOF設計模式之一。簡單工廠模式是由一個工廠對象決定創建出哪一種產品類的實例。簡單工廠模式是工廠模式家族中最簡單實用
2020-07-01 08:24:32
原创 設計模式—解釋器模式詳解《二》
解釋器模式是類的行爲模式，給定一個語言之後，解釋器模式可以定義出其文法的一種表示，並同時提供一個解釋器，客戶端可以使用這個解釋器來解釋這個語言中的句子。爲了加深對於解釋器模式的理解，大家可以先看我的第一篇設計模式—解釋器模式詳解《
2020-07-01 08:24:31
原创 測試架構師修煉之道—祕書九段
前言 在讀《測試架構師修煉之道》的第二章的時候，對於我一直在思考的問題給出一些觀點，我受益匪淺。之前的困惑是：工作兩年的測試工程師和工作三年的測試工程師有什麼區別？工作三年和工作四年的呢？ 然後本書的第二章給出了 “祕書九段” 的
2020-07-01 08:24:31
1
原创 基於spark的Scala編程—循環處理DataFrame方法
本文主要介紹spark的Scala編程中的循環處理DataFrame的方法，本文主要是在寫數據自動化測試的一個demo，大體的思路就是配置好了測試用例，現在需要批量執行測試用例。 目前主要有如下三個方法： For/While循環
2020-07-01 08:24:31
1
原创 高績效團隊-VUCA時代的五個管理策略《一》—全書回顧
最近一年，我一直在跟年輕一代打交道，主要是95後。我發現他們身上有一些特點，或者說我發現這個時代有一些特點，但是我不明白是什麼特點。上次被公司派去聽關於中高層人員培養外訓，聽到一位老師推薦了關於VUCA時代的一本書《高績效團隊-V
2020-07-01 08:24:31
原创 基於IntelliJ Idea的Scala開發環境搭建一遠程上傳以及遠程集羣調試
具體步驟如下： 配置遠程的Deployment 配置本地上傳目錄以及遠程目標目錄 配置排除上傳哪些文件 配置遠程Deployment 打開IntelliJ Idea的該項目的“Preferences”，選擇添加SFTP遠程方式
2020-07-01 08:24:30
原创 設計模式—工廠方法模式詳解
前言 前一篇介紹了《設計模式—簡單工廠模式詳解》，可以知道簡單工廠模式有一些弊端： 工廠類集中了所有實例（產品）的創建邏輯，一旦這個工廠不能正常工作，整個系統都會受到影響； 違背“開放 - 關閉原則”，一旦添加新產品就不得不修改
2020-07-01 08:24:30
原创 設計模式—代理模式與裝飾器模式區別
前言 從菜鳥設計模式教程上摘下來一段解釋代理模式與裝飾器模式、適配器模式的區別： 和適配器模式的區別：適配器模式主要改變所考慮對象的接口，而代理模式不能改變所代理類的接口； 和裝飾器模式的區別：裝飾器模式爲了增強功能，而代理模式
2020-07-01 08:24:29
原创 設計模式—策略模式詳解
前言 在策略模式（Strategy Pattern）中，一個類的行爲或其算法可以在運行時更改。這種類型的設計模式屬於行爲型模式。在策略模式中，我們創建表示各種策略的對象和一個行爲隨着策略對象改變而改變的 context 對象。策略
2020-07-01 08:24:29
原创 基於spark的流式數據處理—SparkStreaming開發demo—RDD流
概述 在調試Spark Streaming應用程序的時候，我們可以使用如下方法創建基於RDD隊列的DStream： streamingContext.queueStream(queueOfRDD) 本文demo場景是：每隔1秒創
2020-07-01 08:24:29
原创 高績效團隊-VUCA時代的五個管理策略《二》—代際管理
接着上一篇對於《高績效團隊》的全程回顧，這篇文章主要想論述一下書中的一個管理策略：代際管理。 千禧一代的崛起 在VUCA時代，人員管理也會有非常大的不確定性，是時候接受這樣一個事實了：我們是不一樣的。最優秀的經理人一定要學會適應各
2020-07-01 08:24:29
原创 基於spark的流式數據處理—spark streaming
本文主要介紹一下spark streaming，從以下三個方面來介紹： Spark Streaming設計 Spark Streaming與Storm的對比 從“Hadoop+Storm”架構轉向Spark架構 Spark S
2020-07-01 08:24:29
原创 高績效團隊-VUCA時代的五個管理策略《三》—創新管理
書中關於創新這一塊，主要想表達的是：給予團隊成員安全感，讓員工安心地暢所欲言。 其實經過一年的管理實踐，我也發現其實員工都是想暢所欲言地發表自己的看法，但是如果員工提出的建議或者問題2-3沒有得到重視之後，就不會再暢所欲言了，就會
2020-07-01 08:24:29