原创 機器學習實戰--最簡單算法--KNN算法（k-近鄰算法）
參考書籍--《機器學習實戰》 k-近鄰算法（一下簡稱knn算法）是機器學習中最簡單的算法，通過計算待預測分類點到已知類別點之間的距離，通過距離的遠近來分類帶預測分類點，越近表示這兩種點的類別越近。 優點：精度高，對異常值不敏感 缺點：計算
2020-06-18 22:28:56
原创 機器學習--物以類聚（k-means算法）
k-means算法是無監督學習算法，沒有標籤值，通過自身分析自身的數據，自己進行分類。 此次實現參考了其他博客的實現。 k-means中k的意思表示的是分類數目。 數據集下載地址：鏈接：http://pan.baidu.com/s/1cf
2020-06-18 22:28:45
原创 python+opencv 車牌識別實現
識別思路： 1、通過攝像頭採集圖片 2、對圖片進行去噪、對比度加強處理等操作 3、車牌位置的定位，採集到車牌信息 4、對車牌字母進行分割 5、通過卷積神經網絡訓練出來的模型，對採集車牌的各個字母進行識別 6、對結果進行組合，最後得到車牌
2020-02-20 18:09:55
原创 機器學習--KNN算法帶你光棍節脫單
KNN算法上一篇已經進行過介紹，現在主要進行實際操作，通過對實際數據進行分析，來對沒有見過面的美女帥哥進行要不要進行約會作出判斷。 以下有一系列採集整理好的數據，第一列表示每年乘坐飛機飛行的里程數（高富帥，白富美比較偏向坐飛機，我們這種屌
2020-02-20 18:09:54
原创 機器學習十大算法--迴歸算法（批量梯度下降）
機器學習算法分爲有監督學習和無監督學習，迴歸算法屬於監督學習一類。本人小白一個，想學習機器學習，以後有新的學習結果，希望都可以寫在博客上面，以此來監督自己的學習，如有不對的地方，還希望大家多多諒解，指出錯誤。 迴歸算法主要是對已給的數據通
2020-02-20 18:09:54
原创 Hadoop——Namenode HA搭建問題記錄
記錄一、 在搭建Namenode HA後，需要先啓動journalnode，然後進行namenode format，在啓動第二臺namenode時需要先向元數據拉取到第二臺namenode中，使用 hdfs haadmin -bootst
2019-03-11 14:19:00
原创 Hadoop——MapReduce過程
MapReduce由Mapper和Reucer組成，Mapper負責處理每行數據，Reducer處理相同Key的一組數據。 MapReduce運行是由Driver中的job通過submit()進行作業提交，submit()包含與集羣建
2019-03-10 03:02:29
原创 Linux Shell腳本while read Line中調用SSH時出現只執行一次的問題
今天在寫zookeeper羣起腳本時，將主機名先寫好在一個文本中，然後在羣起腳本中循環讀取主機名，然後使用ssh遠程執行命令，發現只執行一次就退出了，但是把ssh遠程命令註銷之後可以完整的將while循環執行完畢。 參考：http://b
2019-03-10 03:02:29
原创 Hadoop——使用java對HDFS文件進行增刪改查
1、導入相關jar包。 將Hadoop目錄下的share中的jar包導入到Eclipse 2、創建配置信息對象並通過FileSysem.get()回覆文件系統對象 Configuration conf = new Configurati
2019-03-10 03:02:28
原创 Hadoop——機架感知
Hadoop中副本在不同節點之間的複製需要消耗資源，爲了充分發揮Hadoop的性能，Hadoop需要配置機架感知，這可以讓Hadoop通過網絡拓撲圖計算不同節點之間的距離，因此來減少數據傳輸消耗的資源。 通過Hadoop官網我們知道，不配
2019-02-24 03:24:16
原创 Hadoop——namenode&secondary namenode
學習記錄 namenode：主要是管理hdfs集羣中的datanode，負責數據塊的存儲地址位置等，例如：Client上傳文件時，namenode他會將該文件塊在集羣上將要存放的位置告知Client，然後Client得到地址信息後，將數據
2019-02-24 03:24:16
原创 Hadoop設置Checkpoint點條件
secondary namenode在合併namenode上的fsimage和edits的動作是達到某種條件時纔會進行的，一般爲到某個時間點或者操作次數達到某個特定的值時會進行checkpoint 在配置checkpoint條件時，需
2019-02-24 03:24:16
1
原创 Hadoop——使用secondary namenode數據恢復namenode
secondary namenode會定期將fsimage和edits從namenode上拉取進行合併，且在在secondary nemenode上有副本，當namenode節點損壞後，我們可以通過這些副本來還原一定程度上的namenod
2019-02-24 03:24:16
1
原创 Shell編程--記錄
1、變量定義 普通變量定義 變量名=內容 注意：變量名一般大寫，等號左右不能有空格 只讀變量定義 readonly 變量名=內容 只讀變量只能賦值一次，等號左右不能有空格 2、撤銷變量 unset 變量名 注意：撤
2019-02-22 01:21:22