原创 mySQL之增刪改查與JAVA示例
最近使用到了MySQL數據庫，學習了相關的SQL語句，在此做個備份，謹防遺忘。 初始化操作 ①\c 退出本語句，輸錯了直接退出 ②set names gbk 設置字符集 ③mysql -h localhost -u user
2020-06-29 12:12:19
原创 Apache Spark MLlib學習筆記（三）MLlib統計指標之關聯/抽樣/彙總
決策樹利用樹形結構進行分類和迴歸，構建樹的指標有多種，其中一種就是方差。在介紹決策樹類算法前，首先介紹一下Spark MLlib中基本的統計。Spark官方提供了summary statistics、correlations、st
2020-06-29 12:12:19
4
原创 Apache Spark MLlib學習筆記（四）Intellij上部署Spark源碼
源碼分析是一件工作量很大的工作，尤其是spark這樣的大工程，因此一定要使用IDE才能較好的理順各個類的關係。看別人經驗，都推薦使用intelliJ編輯器。在此也要介紹一下ubuntu系統下spark在intelliJ上的部署。
2020-06-29 12:12:18
3
原创 使用Weka進行數據挖掘（Weka教程五）Weka數據預處理之Filter使用
加載完畢數據集後，還是不能直接進行數據挖掘模型的訓練和學習，必須要進行數據預處理，數據預處理一般指的是以下四個方面：數據清理，數據集成，數據變換，數據歸約等。 什麼是數據預處理 ①數據清理 數據清理例程通過填寫缺失的
2020-06-29 12:12:18
81
原创 JAVA和Scala寫文件類FileWriter/FileOutputStream/BufferedWriter
今天進行spark MLlib測試，修改了decisiontree的源碼，準備將運行過程中的時間等參數都寫入文件，以便後面對數據進行分析和可視化處理，在這過程中需要使用Scala對文件進行讀寫操作。就記錄下了相關過程。對文件相關知
2020-06-29 12:12:18
原创 JAVA Swing圖形化編程（一）文件選擇器JFileChooser
這兩天做一個圖形化軟件需要選擇文件並進行文件讀取，因此需要使用到JAVA Spring中的文件選擇框。查閱相關資料發現FileChooser是一個不錯的選擇，在此記錄一下使用過程和心得。 拿到一種新的java類，最先做的就是查看
2020-06-29 12:12:18
原创 IntelliJ 下Spark應用程序開發流程
今天使用了intellij開發了spark應用程序，特此記錄一下流程。 1、配置相關環境 安裝好JDK、Scala、intellij、spark 等相關軟件並配置好環境，具體方法 之前的博客裏都有。 2、下載spark-asse
2020-02-25 15:06:57
原创 Apache Spark MLlib學習筆記（六）MLlib決策樹類算法源碼解析 2
上篇說道建立分類決策樹模型調用了trainClassifier方法，這章分析trainClassifier方法相關內容 按照以下路徑打開源碼文件： /home/yangqiao/codes/spark/mllib/src/ma
2020-02-25 15:06:57
原创 Apache Spark MLlib學習筆記（七）MLlib決策樹類算法源碼解析 3
上篇已經分析到Spark MLlib庫的決策樹最終實現使用了random forrest的run方法，這篇將對run方法進行詳細的剖析和解釋。 上篇提到input先被轉換成Metadata處理，因此首先看一下buildMetad
2020-02-25 15:06:57
原创 Apache Spark MLlib學習筆記（五）MLlib決策樹類算法源碼解析 1
從這章開始分析spark MLlib的decision tree的源碼實現。 首先看下官方給的java使用決策樹的例子，路徑是/home/yangqiao/codes/spark/examples/src/main/java/o
2020-02-25 15:06:57
原创 使用Weka進行數據挖掘（Weka教程四）Weka數據Instance之Attribute
本篇博客講解下Weka中數據的屬性Attribute。 什麼是Attribute？ attribute指的是Weka中數據的屬性，一般就是表明數據集信息，數據每一列的性質等。之前講過的Weka數據格式ARFF其實頭信息包含的就
2020-02-25 15:06:57
6
原创 使用Weka進行數據挖掘（Weka教程三）Weka數據之Instances和Instance
上篇博客主要講解了Weka靜態數據文件格式ARFF，本博客講解以下Weka運行時數據的存儲對象Instances和Instance。 Instances簡介 Instances對象實例化後，就存儲了所有數據，同時也附帶了很多數
2020-02-25 15:06:57
13
原创 JAVA Swing 圖形化編程（二）文本輸入框JTextField/JTextArea
Java Swing提供了兩種常用的文本輸入方式，分別是文本框(JTextField)與文本區(JTextArea)，這兩種方法有相似點也有不同點，在此具體分析，做個筆記。 一、JTextField 常用的構造方法有： JText
2020-02-25 15:06:57
原创 使用Weka進行數據挖掘（Weka教程一）Weka初識之在你的代碼中使用Weka
轉眼使用Weka已經大半年了，自己在學習過程中走了很多彎路，使用過程中我最大的感覺就是國內沒有對Weka一個完善的整理和相關的學習論壇。爲了避免其他人走我走過的彎路，相關的從本篇開始，我將持續更新使用Weka進行數據挖掘的相關知識
2020-02-25 15:06:57
14
原创 JavaScript瀏覽器訪問/上傳本地文件
這兩天着手進行數據的可視化問題，需要使用javascript進行本地文件的操作，但是使用瀏覽器訪問本地文件一直不太方便。爲了在瀏覽器中能夠實現諸如拖拽並上傳本地文件這樣的功能，我們就不得不求助於特定瀏覽器所提供的各種技術了。比如對
2020-02-25 15:06:57