原创 PySpark-Recipes : I/O操作（txt, json, hdfs, csv...）
from pyspark.sql import SparkSession spark = SparkSession.builder.appName('IO').getOrCreate() read txt textFile :
2020-06-23 22:03:14
1
原创 3.Python data types
Python data types # Create a long integer # 在Python 3裏，只有一種整數類型 int，表示爲長整型，沒有 python2 中的 Long # Create a String
2020-06-23 19:37:01
原创 線性代數 : 矩陣消元
矩陣消元 方程組消元法求解 Ax=b,xTA=bA\pmb x = b, \pmb x^T A = bAxxx=b,xxxTA=b 矩陣消元 置換矩陣 矩陣的逆 消元法解方程組 {x+2y+z=23x+8y+z=124y+z=
2020-06-23 19:37:00
原创 OpenCV : 仿射變換
幾何變換 : 仿射變換 仿射變換 [x~y~]=[a11a12a21a22][xy]+[a13a14]\left[\begin{matrix}\tilde{x} \\ \tilde{y}\end{matrix}\right] =
2020-06-23 19:37:00
原创 PySpark : Structured Streaming
Spark Structured Streaming main difference between streaming and batch data details on the Structured Stream
2020-06-23 19:36:59
原创 PyTricks : Python is Cool
Python is cool 學習了 1. Lambda, map, filter, reduce lambda是python中構造匿名函數的關鍵字 def square_fn(x): return x * x squa
2020-06-23 19:36:53
原创 信號處理與小波 : 聲音的數字形式
聲音的數字形式 數字聲音 聲壓和分貝 頻率聲音變化的速度 聲音(wave)的讀寫播放 反向播放聲音 播放純音:sin(t),cos(t)....sin(t), cos(t)....sin(t),cos(t).... 方波 合併聲
2020-06-23 19:36:53
原创 PySpark-Recipes : Paired RDD的基本操作和PageRank
Paired RDD (k:v) from pyspark.sql import SparkSession import pyspark.sql.functions as F from pyspark.sql.types imp
2020-06-23 19:36:53
原创 DRL實戰 : N-Armed Bandits問題
多臂強盜(n臺老虎機)問題 在構建AlphaGo之前，先嚐試一個簡單的問題熱熱身，nnn 臺老虎機（多臂強盜問題),把對 nnn 臺老虎機操作看作是 nnn 個不同的動作,即：每個動作 aaa 對應一臺特定的老虎機．在每次遊戲 k
2020-06-23 19:36:53
原创 PySpark-Recipes : handle Streaming Data
Optimizing PySpark and PySpark Streaming PageRank Algorithm KNN (cartesian, broadcast) Streaming Page-Rank Algori
2020-06-23 19:36:53
原创 線性代數 : 矩陣乘法和矩陣的逆
矩陣乘法和求矩陣的逆 常規方法:行向量*列向量 矩陣*列向量 行向量*矩陣 列向量*行向量 分塊矩陣乘法 求矩陣的逆 列*行 A=[121321011],B=[123321211],AB=CA = \left[\begin{m
2020-06-23 19:36:53
原创 Armadillo:踩坑指南(ubuntu-16.04+clion)
Armadillo 本來是要安裝mlpack的但是他有一個依賴Armadillo. 這個庫，不建議在ubuntu 16.04上sudo apt-get install,apt-get一時爽,找不到.so的時候急的直撓頭。 建議手動
2020-06-23 19:36:53
原创 裝飾器的四個用法
裝飾器的用法和用例 參數檢查裝飾器 緩存裝飾器 代理裝飾器 上下文裝飾器 參數檢查（檢查被裝飾函數的輸入輸出參數類型） XML-RPC：輕量級的遠程過程調用協議，該協議提供了擴展，可以用來發現服務器的API，Python的x
2020-06-23 19:36:53
原创 推薦方法-1:UserCF&ItemCF
Summary of recommended methods(1) 1.Metrics RMSE MAE Coverage Diversity Recall Precision 1.1 RMSE(均根方誤差) RMSE=∑u,
2020-06-23 19:36:48
原创 PySpark-Recipes : RDD對象的基本操作
RDD對象的基本操作 from pyspark.sql import SparkSession spark = SparkSession.builder.appName('learn_RDD').getOrCreate() #
2020-06-23 19:36:46