原创 Paint濾鏡效果實現

文章目錄一、LightingColorFilter濾鏡(顏色+顏色創建的濾鏡效果)二、PorterDuffColorFilter濾鏡(顏色+圖片)三、ColorMatrixColorFilter濾鏡(顏色數組、顏色矩陣)四、常見濾

原创 Flutter之Dart入門

文章目錄一、準備1.下載Dart插件:2.重啓IDEA後,配置Dart SDK3.運行二、Dart變量三、基本數據類型3.1Number3.2String3.3 Boolean3.4 List3.5 Set3.6 Map四、函數4

原创 Spark讀取Hive中的數據加載爲DataFrame

首先要告訴SparkSql,Hive在哪。然後讀取Hive中的數據,必須開啓enableHiveSupport。 val spark = SparkSession.builder() .appName("hive")

原创 Flutter Widget

文章目錄一、Widget分類二、widget的狀態三、根widget四、Basics4.1 模板和主題4.2 Text文本4.3 圖片4.4 凸起按鈕4.5 其他widget4.5.1 Row4.5.2 container 一、W

原创 方法與函數

文章目錄1.Scala方法定義2.遞歸方法3.參數有默認值的方法4.可變參數5.匿名函數6.嵌套方法7.偏應用函數8.高階函數8.1函數的參數是函數8.2函數的返回是函數8.3函數的參數和返回都是函數9.柯里化函數 1.Scala

原创 Paint畫筆

文章目錄一、概念二、常用API三、渲染器3.1 LinearGradient線性渲染3.2 環形渲染RadialGradient3.3 掃描渲染SweepGradient3.4 位圖渲染BitmapShader3.5 組合渲染Co

原创 Spark-Scala算子

一、Transformations算子 1.map-一對一 特點就是一對一,進來一個,出去一個 lines.map(one=>{ one+"#" }).foreach(println) 2.flatMap-一

原创 Spark累加器

i+=1在Excutor端執行,var i = 0和println(i)在Driver端執行。collect算子雖然能夠回收結果,但是並不代表它啥都能回收。所以打印出來的依舊是Driver端定義的i。 錯誤代碼: //打印出來的總

原创 鏈表

文章目錄前言一、鏈表1.1 單鏈表1.2 循環鏈表1.3 雙向鏈表二、基於鏈表實現LRU緩存淘汰算法三、挑戰鏈表的技巧3.1 理解指針或引用3.2 注意內存泄漏和指針丟失3.3 利用哨兵簡化3.4 邊界條件3.5 畫圖輔助四、常見

原创 MAC安裝MySQL

文章目錄一、安裝MySql Community Server二、安裝Navicat 一、安裝MySql Community Server 首先要安裝MySql Community Server,具體的下載、安裝可以參考以下鏈接:

原创 SparkStreaming和Storm的區別

SparkStreaming是流式處理框架,是Spark API的擴展,支持可擴展、高吞吐量、容錯的實時數據流處理,實時數據的來源可以是:Kafka(Kafka和SparkStreaming是黃金組合), Flume, Twitt

原创 Spark讀取json格式文件

一、普通json格式 val session = SparkSession.builder().appName("sql").master("local").getOrCreate() val df = session.read.

原创 數據算法——Spark的TopN實現

1.scala實現: /** * TOPN:維持一個定長數組,先塞滿,然後把剩下的逐個對應數組中的元素, * 有大的就把小的彈出去,大的加進來,並移動位置來重新排序 */ object TopN { def mai

原创 Spark 開窗函數

row_number() 開窗函數是按照某個字段分組,然後取另一字段的前幾個的值,相當於 分組取topN 如果SQL語句裏面使用到了開窗函數,那麼這個SQL語句必須使用HiveContext來執行,HiveContext默認情況下