原创 scala項目maven的編譯打包
如果直接運行mvn clean package ，會杯具的發現 [ERROR] /Users/jimmy/Work/IdeaProjects/Default/MyScala/src/main/java/yjmyzz/HelloWorld.
2020-06-19 02:58:08
1
原创 Spark SQL Dataset 常用API 二
Transformation Untyped API 前面一篇寫了SELECT這個API的一些主要用法，本文打算通過一個SQL示例來展開講述下Dataset其他常用的Untyped API，比如filter(類似於where),join,
2020-06-19 02:58:07
原创 Spark SQL Dataset 常用API 一
Transformation Untyped API 首先囉嗦一句，Spark SQL Dataset中主要分爲Transformation和Action兩種API(這個特性沿用了Spark RDD的特性，其中的Transformatio
2020-06-19 02:58:07
原创 MAVEN 阿里鏡像 倉庫配置
阿里maven鏡像配置 setting.xml <mirrors> <mirror> <id>alimaven</id> <name>aliyun maven</name> <url>http
2020-06-19 01:37:37
原创 flink首次使用
下載安裝包，並解壓，不做任何配置，爲local模式 執行example中的wordcount.jar 記得輸入參數和輸出參數 記得在flink目錄下面輸入命令，不然會報錯，找不到配置文件 Exception in thread "mai
2020-06-19 01:37:37
原创 gradle項目中如何支持java與scala混合使用?
一、目錄結構 基本上跟maven一樣，tips:這一堆目錄結構不用死記，後面會講如何用gradle命令快速生成 二、build.gradle配置 1 group 'yjmyzz' 2 version '1.0-SNAPSHO
2020-06-18 23:58:53
原创 springboot 中 mysql 的配置，application.yml文件
spring: datasource: username: root password: 123456 url: jdbc:mysql://localhost:3306/jdbc?serverTimezone
2020-06-18 23:58:53
原创 BigDecimal使用時遇到的問題
最近查看rebate數據時，發現一個bug，主要現象是，當扣款支付寶的賬號款項時，返回的是數字的金額爲元，而數據庫把金額存儲爲分，這中間要做元與分的轉化，這個轉化規則很簡單，就是*100的，所以一開始代碼很簡單，如下。 Fl
2020-06-07 18:42:15
1
原创 spark dataframe 保留小數位數
import org.spache.spark.sql.functions._ import spark.implicits._ val df = sc.parallelize(Array(1.2,1.233453,2.4532344
2019-12-03 06:37:53
原创 配置gradle使用maven本地倉庫
maven配置 gradle 只需配置圖1 的環境變量就好了 項目使用gradle配置文件 添加下面的配置項 repositories { mavenLocal() mavenCentral() }
2019-12-03 06:37:53
原创 scala 代碼作爲腳本在服務器運行
scala代碼也可以作爲腳本運行，只要你設置好代碼文件的shell前導詞（preamble），並將代碼文件設置爲可執行。如下： #!/usr/bin/env scala println("這是scala腳本") 設置代碼文件爲可執行，即
2019-09-16 04:12:32
原创 Spark編程之獲取項目名稱
this.getClass().getSimpleName().filter(!_.equals('$')) 點贊。。。。。謝謝
2018-09-30 03:38:41
3
原创 kafka刪除topic
最近工作中經常遇到要手動或者服務器內存不足 自動關掉spark-streaming讀取kafka數據的情況 ，本身只有一個節點，宕掉後會導致kafka當前topic異常，讀取與寫入都獲取不到head，所以要刪除topic來解決該問題，實際
2018-09-13 06:45:52
原创 Java添加水印（圖片水印，文字水印）
第一種是添加文字水印： import java.awt.*; import java.awt.image.*; import java.io.*; import javax.swing.*; import com.sun.image.c
2018-09-06 00:12:05
原创 Spring Security 無法登陸，報錯：There is no PasswordEncoder mapped for the id “null”
編寫好繼承了WebSecurityConfigurerAdapter類的WebSecurityConfig類後，我們需要在configure(AuthenticationManagerBuilder auth) 方法中定義認證用於信息獲取
2018-08-31 10:05:12
3