原创 spark MLlib 之向量

import org.apache.spark.mllib.linalg.{Vector, Vectors}/** * Created by roo

2020-02-25 00:13:53

原创 spark的組件

Spark的組件介紹 1.Spark Core(任務調度，內存管理) Spark Core 實現了Spark 的基本功能，包括任務調度，內存管理，錯誤恢復，和存儲系統交互等模塊。Spark Core 包括了彈性分佈式數據集RDD的API定

2020-02-25 00:13:53

原创 快學scala之數組操作

object Array_opt { def main(args: Array[String]) { // init an array val array = new Array[String](3) va

2018-08-29 02:39:13

原创 快學scala之List操作

object list_opt { def main(args: Array[String]) { // init list val list1 = List("a", "b", "c") val list2

2018-08-29 02:39:13 2

原创 scala版本的wordCount

object word_count { def main(args: Array[String]) { /* scala版wordCount */ val arr = Array(2, 3, 5,

2018-08-29 02:39:13

原创 marchine learning 斯皮爾曼排名相關係數

斯皮爾曼排名相關係數 /**斯皮爾曼排名相關係數 * Created by Administrator on 2017/4/9. */ public class SpearmanRankCorrelation { /*

2018-08-29 02:39:12

原创 快學scala之Array、List、tuple模式匹配

object operate_match { def main(args: Array[String]) { // map match val map = Map("scala" -> "spark", "java

2018-08-29 02:39:12 1

原创 marchine learning 之 ManhattanDistance

/**曼哈頓街區距離 */ public class ManhattanDistance { public double manhattanDistance(Instance a,Instance b){ if

2018-08-29 02:39:12

原创 marchine learning 之交叉驗證

評價指標 public class PerformanceMeasure { /** * 1、 FN：False Negative,被判定爲負樣本，但事實上是正樣本。 * 2、 FP：False Posit

2018-08-29 02:39:12 4

原创 spark學習-SQL

spark SQL基本操作 import org.apache.log4j.{Level, Logger} import org.apache.spark.sql.SparkSession import org.apache.spark.

2018-08-29 02:39:12 2

原创 Java學習-將Vector轉化爲數組

將vector集合轉化爲二維數組 public static void main(String[] args) { //將集合添加到數組中 Vector vector = new Vector();

2018-08-29 02:39:12

原创 marchine learning 之 皮爾遜相關係數

/**皮爾遜相關係數 * ρ =(∑xy - ∑x∑y/n)/(∑x^2 - (∑x)^2/n)(∑y^2-(∑y)^2/n)^0.5 */ public class PersonCorrelationCoefficient {

2018-08-29 02:39:12

原创 weka 交叉驗證

調用weka實現交叉驗證，並搭載圖形界面 import weka.classifiers.Classifier; import weka.classifiers.Evaluation; import weka.classifiers.ba

2018-08-29 02:39:12 3

原创 marchine learning 之 correlation

機器學習中相關係數計算 code ^_^ /** * correlation = (xi-∑xi/n)(yi-∑yi/n)/Math.sqrt( (xi-∑xi/n)^2 * (yi-∑yi/n)^2) *

2018-08-29 02:39:12 1

原创 jfree chart-時序圖

import org.jfree.chart.ChartFactory; import org.jfree.chart.ChartUtilities; import org.jfree.chart.JFreeChart; import o

2018-08-29 02:39:02 3