原创 Linux shell 整理之 基本概念篇（二）
文章目錄shell三種登錄模式1. 登錄shell模式2. 交互式shell模式３. 非交互式shell模式後臺進程 (daemon)普通命令轉換爲後臺進程的方式子shell (非後臺)(child shell 也叫 subshe
2020-06-19 13:03:19
2
原创 spark pom文件 胖廋包結合
這裏寫自定義目錄標題背景pom.xml 以供參考 背景 平時會有同僚（尤其是新手），一直很疑惑，本地開發的spark應用都運行得好好的，一旦編譯文件之後就通不過，可能會有出現各種坑，其中就是使用sdt方式很容易導致項目使用的sca
2020-06-19 13:03:18
原创 Linux shell 整理之 語法結構篇（五）
文章目錄背景條件分支語句if條件分支if then 最基本的語句if then elseif then elif then elsecasetest處理特殊條件使用[]來代替test函數高級判斷複合判斷(( expression
2020-06-19 13:03:15
原创 spark streaming2.4.0 任務啓動源碼剖析
文章目錄官方案例StreamingContextDStreamGraphDStream調度篇輸入流的注入與開啓輸出流的注入流動？ 官方案例 首先以官方啓動入手 object SparkStreamingTest { def
2020-06-19 13:03:15
原创 spark sql 高階函數介紹
文章目錄背景transformtransform 嵌套執行（nest）existsaggregate 聚合 背景 An Introduction to Higher Order Functions in Spark SQL Nes
2020-06-19 13:03:15
1
原创 Linux shell 整理之 複合命令行篇（四）
文章目錄開篇前置命令和後置命令異常（非零狀態碼）狀態碼輸入輸出重定向符a) 輸出重定向 與 內聯輸出重定向的區別b) **++輸入重定向++** 與 **++內聯輸入重定向++**擴展 標準輸入（0），標準輸出（1），標準錯誤（2
2020-06-19 13:03:15
原创 spark2.4.0 sql dataframe向上補齊操作(含udaf操作)
文章目錄方案一方案二方案三使用 udaf創建自定義用戶聚合函數，用來註冊到sparksession中思考 方案一 使用窗口函數以及index實現 具體操作放大圖查看 方案二 使用窗口函數的特性以及spark2.4.0 新的
2020-06-19 13:03:15
原创 Linux shell 整理之 基本概念篇（一）
文章目錄虛擬內存管理軟件程序管理（應用程序）硬件設備管理設備的分類通信過程文件管理系統 參考文章系列 Linux shell 整理之 基本概念篇（一） Linux shell 整理之 基本概念篇（二） Linux shell 整理
2020-06-19 13:03:15
原创 spark-submit 到底做了什麼
文章目錄本文的目的是提升linux shell腳本的功力，以及熟悉spark-submit提交的具體流程spark-sumbit*第一段背景知識綜合案例解讀第二段背景知識解讀第三段背景知識解讀總結語 本文的目的是提升linux s
2020-06-19 13:03:15
1
原创 git抽離與瘦身場景-抽離子項目以及刪除git中無用的大文件
目錄 1. 抽離場景---從大項目中抽離一個獨立文件夾作爲新的子項目 0. 查看git大小 1. 查看有哪些大文件（top 10） 2.在總項目之外任一地方創建一個空項目，並通過本地項目進行動態拉取項目 3.查看新項目目錄大小 2.瘦身
2020-06-19 13:03:15
原创 gitlab shared runner 實戰篇
文章目錄假設用戶在本機中有完善的docker執行環境以及k8s環境gitlab CI/CD 自動構建步驟概念 1 runner的執行環境1. gitlab 運行命令 查看gitlab配置2. gitlabrunner 執行一個可
2020-06-19 13:03:15
原创 Linux shell 整理之 用戶權限篇（三）
文章目錄用戶管理useradd 發生了什麼如果useradd某個設置經常被改動孿生兄弟adduser1使用命令方式創建用戶2使用重定向符定號創建用戶userdelusermod批量修改密碼用戶組GID值UMASK 水印修改文件類型
2020-06-19 13:03:15
原创 nodejs(javascript)執行python腳本
現在有需求對python腳本進行本地化執行,我就自己寫了個包,供大家使用,可以互相學習 jsexecpy 的github地址 目標 項目的目標是讓nodejs可以正常並無縫使用 python腳本 同時支持回調函數的傳遞 通過異步
2020-06-09 08:35:26
7
原创 DFA如何識別一個被3整除的數字串的正則表達式
需要具備的只是 編譯原理 前第三章（詞法分析，大概花個17個課時就可以了，讀者要是感興趣的話，可以多多深入瞭解）東南大學 廖力老師的編譯原理很不錯，推薦讀者自己看看,（考前同學可以看看） 基本概念講解 即如下知識 正規集，在
2020-04-22 13:41:07
原创 livy 原理啓動階段以及用戶交互階段流程分析
文章目錄背景啓動階段livyServer [livy-server模塊]webserver小服務分類interactiveSessionServletbatchSessionServlet其他servlet用戶交互階段 背景 由於
2020-02-20 21:12:53