原创 JupyterNotebook調試spark
下載 spark 下載 hadoop 下載 winutils.exe 放在 hadoop_home/bin 配置環境變量 將spark /jars 下的 py4j-0.10.7.jar 解壓到python環境Lib\site-
2020-06-27 06:32:16
原创 控制智能體學習21點遊戲最佳策略
MC常量控制 最優策略 灰色:要牌 綠色:停牌 MC常量控制 有可用王牌 狀態動作價值函數 MC常量控制 無可用王牌 狀態動作價值函數
2020-06-19 21:31:44
原创 LSTM相關資料
先附上維基百科介紹 長短期記憶（英語：Long Short-Term Memory，LSTM）是一種時間循環神經網絡（RNN）[1]，論文首次發表於1997年。由於獨特的設計結構，LSTM適合於處理和預測時間序列中間隔和延遲非
2020-06-16 03:07:23
原创 時間序列預測ARIMR（Spark scala,Python）
概要 平穩性 迴歸模型 自迴歸模型 滑動平均模型 自迴歸移動平均結合模型 差分法 差分移動平均自迴歸模型 ARIMA計算步驟 1.概要 ARIMA模型由Box與Jenkins於上世紀七十年代提出，是一種著名的時間序列預測方法
2020-06-16 03:07:23
原创 SparkStream實時分析統計展示共享單車使用人數
實驗結果展示 數據集 hour.csv instant,dteday,season,yr,mnth,hr,holiday,weekday,workingday,weathersit,temp,atemp,hum,win
2020-06-16 03:07:23
原创 關聯規則-FPGrowph
文章目錄概要關鍵概念算法步驟頻繁項集計算步驟參考博客 概要 FP的全稱是Frequent Pattern，在算法中使用了一種稱爲頻繁模式樹（Frequent Pattern Tree）的數據結構。FP-tree是一種特殊的前綴樹，
2020-06-16 03:07:23
原创 Spring Data Mongodb事務
mongo4.2支持分片集羣事務 MongoTransactionManager Springboot 開啓MongoDB事務 @EnableTransactionManagement public class S
2020-06-16 03:07:23
原创 Scala 操作Kafka
Spark支持Kafka 網上這塊資料比較多，不再贅述 1.spark-streaming-kafka-0-8_2.11-2.1.0.jar 2.kafka 的jar 包 3.jar存放路徑 spark/jars/kafka
2020-06-16 03:07:23
原创 正則化的線性迴歸 嶺迴歸、Lasso迴歸
文章目錄概述嶺迴歸效果Lasso迴歸效果線性迴歸效果 概述 正則化的線性迴歸 嶺迴歸就是正則化的線性迴歸，線性迴歸容易出現過擬合，正則化是防止過擬合的常用方法。換句話說是修正後的最小二乘法。 線性迴歸的誤差函數 f(w)=12
2020-06-16 03:07:23
原创 沒有理所應當，感恩
突然想寫點什麼 - 感謝那些生活中的感動 在難得的國慶長假期間，和兩三好友報團去藏區龍頭灘來了場高原徒步。稀薄的空氣彷彿一下子激活了我的肺，呼吸從來沒有如此密集，或許出於死亡的恐懼，所見山峯無不威嚴、廟宇無不神祕。淳樸的村民在清晨
2020-06-16 03:07:23
原创 RoBERTa
RoBERTa模型是在RoBERTa中提出的：一種經過嚴格優化的BERT預訓練方法， 由Yinhan Liu，Myle Ott，Naman Goyal，Dujingfei，Mandar Joshi，Danqi Chen，Omer
2020-04-27 00:36:31
原创 huggingface tokenizers
專注 NLP 的初創團隊抱抱臉（hugging face）發佈幫助自然語言處理過程中，更快的詞語切分（tokenization）工具：Tokenizers —— 只要 20 秒就能編碼 1GB 文本。 功能多樣：適用於 BP
2020-04-22 14:06:02
原创 目標檢測到實例分割 R-CNN 、Fast-CNN、Mask R-CNN
R-CNN Fast R-CNN 和R-CNN不同的是一個圖片只執行一次神經網絡，在卷積後的特徵圖上，選取識別框提取roi特徵進行分類 Mask R-CNN 在Fast R-CNN的基礎上新增了像素級別的提取功能
2020-03-22 16:12:29