原创 Spark RDD 編程指南(官方文檔中文版+補充)

Spark RDD 編程指南(官方文檔中文版+補充) 文章目錄Spark RDD 編程指南(官方文檔中文版+補充)1.總覽2. 與spark 連接3. 彈性分佈式數據集(RDD)3.1 RDD操作3.2 將函數傳遞給Spark3.

原创 idea 使用maven的archetype模板來創建Spark 項目

文章目錄版本一、創建Scala 工程1. 創建maven 項目2. 選擇模板3. 填寫工程相關信息4. 修改scala 版本號5. 刪除測試依賴6. 刪除多餘行7. 刪除測試代碼二、添加Spark 相關jar 包1. 下載spar

原创 DataX 數據全量,增量同步方案

關於DataX 增量更新實現 注:參考來源文章 增量更新總體思路:從目標數據庫讀取一個最大值的記錄,可以是DataTime 或者 RowVersion 類型,然後根據這個最大值對源數據庫要同步的表進行過濾,然後再進行同步即可。 由

原创 iOS 項目自動化打包實踐

iOS 項目自動化打包實踐 1.準備工作 1.1 安裝fir.cli 具體安裝步驟見github. 1.2 Xcode 證書配置 Xcode 根據不同的模式配置不同的證書,默認有Release,Debug,可自行添加,添加方法見圖。

原创 iOS app各種圖片尺寸(Icon,Launchimg,應用市場)

啓動圖尺寸(與應用市場圖片尺寸相同) 320*480 640*960 640*1136 750*1334 2208*1242 2.Icon尺寸 圖片命名 尺寸 [email protected] 87*87

原创 iOS 代碼規範

iOS 代碼規範 1.聲明及使用多參數方法時,注意使用空格,各個參數換行對齊。 -(instancetype)initWithFrame:(CGRect)frame titleArray:(NSArra

原创 Authentication plugin 'caching_sha2_password' cannot be loaded

1.在用mysql 8.0 版本時連接數據庫遇到問題,提示如下 Authentication plugin 'caching_sha2_password' cannot be loaded: dlopen(/usr/local/mysql

原创 Flume實戰(1)—single agent flow的實現

1.理論基礎 # 列出agent的 sources, sinks and channels <Agent>.sources = <Source> <Agent>.sinks = <Sink> <Agent>.channels = <C

原创 使用maven的模板archetype 來創建scala項目

文檔參考:https://docs.scala-lang.org/tutorials/scala-with-maven.html new project—>maven—>create from archetype—>add archety

原创 歡迎使用CSDN-markdown編輯器

部署Hexo博客新家小記 最近項目不忙,於是花了點時間部署了Hexo,雖然不難,但是還是遇到點小問題,特此寫下這篇博客,希望能幫到有需要的同學。 hexo 安裝步驟: npm install hexo-cli -g hex

原创 Flume 基礎知識

1. Flume 簡介 Flume 是一個分佈式的海量日誌採集,聚合,轉移工具。 大數據常用數據處理框架 graph LR 實時流數據採集--> flume,kafka 實時流數據處理--> spark,storm 實時數據查詢處理-

原创 如何在Xcode6中新建pch文件

關於pch文件 Xcode6之前,新建工程都會自帶pch文件,但到了6時代,pch悄然從工程中消失了,在[stackOverflow](http://stackoverflow.com)上有關於它的一些討論。 somebo

原创 關於UITableView 刷新遇到的坑:"Invalid update"

總結一下今天遇到的坑,開發做了這麼久以爲對UITableview的運用已經足夠熟練,不想今天當測試把這個問題丟給我的時候,我還是花費了很長時間才把這個問題解決,爲此寫下這篇文章,希望能幫助以後遇到同樣問題的朋友。 1.表的刷新 - (vo

原创 Objective-C 編碼規範(一)

Objective-C 編碼規範(一) 目錄 1 留白和格式 1.1 空格 VS 製表符 1.2 花括號 1.3 列數 1.4 方法的聲明和定義 1.5 方法調用 1.6 協議名 1.7 塊(閉包) 1.8 枚舉類型 1.9 Case語

原创 Objective-C編碼規範(二)

Objective-C 編碼規範(二 命名) 目錄 2 命名 2.1 文件名 2.2 Objective-C++ 2.3 類名 2.4 類別名 2.5 Objective-C方法名 2.6 變量名 2.7 通知名 2.8 協議名 對