原创 關於定時任務一個批次起止時間的算法設計與實現
適用場景：業務中不乏會添加各種各樣的定時任務。添加了一個定時任務後，該定時任務可能是每天執行、每週執行或者是每月執行。無論是每天、每週、每月，本質都是在某一刻去操作某一個時間段的數據。那麼現在想查看該任務在本批次想要操作的數據，就得計算出
2020-06-24 23:06:59
原创 SpringBoot前後端分離跨域導致的Sessionid不一致問題解決辦法
背景：最近項目進行重構，微服務架構，項目分成多個模塊，在用戶同步的時候發生了跨域操作。將門戶模塊的用戶信息加密後，通過ajax請求發送給其他模塊，例如meta模塊，meta模塊拿到加密的用戶信息後進行解析，然後將用戶信息保存到sessio
2020-06-24 23:06:59
原创 WARN scheduler.TaskSchedulerImpl: Initial job has not accepted any resources
提交Spark任務時，報錯： scala> sc.textFile("hdfs://master.hadoop:9000/spark/a.txt").flatMap(_.split(" ")).map((_,1)).reduceByKe
2020-06-01 10:53:43
9
原创 如何運行一個uve.js項目
目錄 第一步首先安裝node.js 第二步安裝vue-cli腳手架構建工具 第三步運行項目 第一步首先安裝node.js 在官網下載node.js（.msi）安裝包版本 安裝的時候可一路next即可完成安裝。在安裝的時候可能會出現2
2020-06-01 10:53:43
原创 時隔一年後的面經總結
這是一條時隔一年後的面試涼經。當時的目標廠家是字節跳動，目標崗位大數據工程師。在此記錄我印象最深刻的一個問題。 由於在大三期間有過實習經歷，寫過爬蟲，並且將這一點寫在了我的求職簡歷中。所以面試官就我在爬蟲系統中是如何處理URL的重複問
2020-02-26 04:33:41
原创 maven多環境配置文件
1、首先在項目中添加多環境配置文件，並設置將目錄設置爲資源文件夾： 2、首先在pom文件中添加一下配置： <profiles> <profile> <!-- 山東聯通測試環境 -->
2020-02-26 04:33:41
原创 Ajax跨域請求，針對SpringBoot
轉：https://segmentfault.com/a/1190000012469713?utm_source=tag-newest 使用springboot進行前後端分離的時候出現跨域請求。 在HTML頁面發起ajax請求的時候出現了
2020-02-26 04:33:41
原创 時隔一年後的面經總結之線程池
面試廠家360，技術面三面。問題：你用過哪些線程池？請介紹一下。 我最常用的線程池是new ThreadPoolExecutor(int corePoolSize, int maximumPoolSize, long keepAliv
2020-02-26 04:33:41
原创 Redis常用命令
windows 開啓Redis服務：redis-server.exe redis.windows.conf 開啓Redis客戶端：redis-cli.exe -h 127.0.0.1 -p 6379 linux 開啓Redis服務
2019-07-30 10:19:07
原创 Docker入門筆記
步入社會的第一個項目部署的時候就用到了docker，之前從未接觸過docker，從零開始學習。嫌看視頻慢，本着理論與實戰相結合的遵旨，看着Docker中文文檔直接上手使用。 1、Docker概述 Docker是一款針對程序開發人員和系統
2019-07-30 10:19:07
原创 sqoop將mysql數據導入hdfs和hive學習筆記
#安裝好以後將mysql驅動mysql-connector-java-5.1.21-bin.jar放到sqoop安裝目錄的lib下面 一、將mysql數據導入hdfs，命令如下： [root@master bin]# /apps/s
2019-03-07 15:06:01
原创 maven構建SSM項目pom.xml文件依賴
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaL
2019-01-17 14:40:06
原创 spark-submit提交jar包到spark集羣上
一、首先將寫好的程序打包成jar包。在IDEA下使用maven導出jar包，如下： 在pom.xml中添加以下插件 <plugin> <groupId>org.apache.mav
2018-09-19 01:39:04
原创 JdbcRDD在多個分區情況下是如何讀取數據的
package nuc.sw.test import java.sql.{Connection, DriverManager} import org.apache.spark.rdd.JdbcRDD import org.apach
2018-09-17 23:36:56