原创 spark dataframe 新增一列遞增索引列

spark dataframe 新增一列遞增索引列 import org.apache.spark.sql.expressions.Window import org.apache.spark.sql.functions.row

原创 CNN的重點整理

1.常用的非線性激活函數: sigmoid、tanh、relu等等,前兩者sigmoid/tanh比較常見於全鏈接層,後者relu常見於卷積層。這裏先簡要介紹下最基礎的sigmoid函數(btw,在本博客中SVM那篇文章開頭有提過)

原创 BP原理與實現

上一次我們講了M-P模型,它實際上就是對單個神經元的一種建模,還不足以模擬人腦神經系統的功能。由這些人工神經元構建出來的網絡,才能夠具有學習、聯想、記憶和模式識別的能力。BP網絡就是一種簡單的人工神經網絡。 本文具體來介紹一下

原创 深度學習與卷積神經網絡(直觀理解)

好吧,讀了男神哥哥們的博客,自己寫不來更好的。 附上鍊接:     凌風探梅的卷積神經網絡(CNN)新手指南 http://blog.csdn.net/real_myth/article/details/52273930;   深度學習筆

原创 基礎分類算法小結(一)

學習了一些基礎分類算法的Python實現,對比之前只看書的方法,這一次看程序幫助理解更深,防止忘記,屢一下思路。 1.樸素貝葉斯(Naivebayes) (1)原理:對於給出的待分類項,求解在此項出現的條件下各個類別出現的概率,哪個最大

原创 初識Python面向對象,父類與子類(繼承),例子詳解

簡明Python中的列子,自己理解註釋了一下:供參考 class schoolmember:#父類     def __init__(self,name,age):#對象建立時馬上對此對象初始化         self.name=na

原创 scrapy時尚網站onylady圖片分類爬蟲

*本文在Windows+pycharm(Python3.5)+scrapy環境下完成爬蟲工作。 一. scrapy原理及本文爬取思路簡介: 1.scrapy經典原理圖講解: Scrapy是一個用 Python 寫的 Crawle

原创 圖像的像素,灰度與表示(CNN前奏)

近來實習,方覺課堂上學的太少,完全不夠用,雖然我是個乖乖女,嗚嗚~~~~(>_<)~~~~ 系列文章希望記錄CNN時尚圖片分類識別全過程,持續更新中(偷笑),如有共同學習的可以發郵件加友交流[email protected]。 第一篇

原创 python面向對象編程之組合與繼承

轉載自:https://www.cnblogs.com/renpingsheng/p/7132407.html 類與類之間有兩種關係:繼承和組合。多用組合少用繼承較好。 先來看兩個例子: 先定義兩個類,一個老師類,老師類有名字,

原创 【目標檢測】RCNN算法詳解

Girshick, Ross, et al. “Rich feature hierarchies for accurate object detection and semantic segmentation.” Proceedi

原创 R-CNN、FastR-CNN、Faster R-CNN論文筆記

在介紹Faster R-CNN之前,先來介紹一些前驗知識,爲Faster R-CNN做鋪墊。 一、基於Region Proposal(候選區域)的深度學習目標檢測算法 Region Proposal(候選區域),就是預先找出圖中目標可能出

原创 【Caffe】Blobs數據結構的Python表示

注:本文轉載自http://blog.csdn.net/jinxueliu31/article/details/52066709 Caffe主要處理兩種形式的數據流: 1. 圖像和標籤在網絡上的傳輸,隨着網絡的傳輸,它們轉化更高層次

原创 caffe solver.prototxt部分關鍵參數設置

假設整體訓練樣本60000個,驗證樣本40000個 1. 訓練樣本有關的參數: batch_size:600 所以,需要迭代60000/600=100次才能完成一次遍歷訓練,即一個epoch。 因此,test_interv

原创 機器學習工具之交叉驗證數據集自動劃分train_test_split

機器學習工具之交叉驗證數據集自動劃分 1. 使用方式: from sklearn.model_selection import train_test_split x_train,x_test,y_train,y_test=train_t

原创 關於caffe2

1.前言:結合網絡新聞與賈楊青教授摘錄些caffe2的功能特點。 Caffe是由伯克利人工智能研究實驗室開發的深度學習框架,Caffe2是Caffe框架的升級版,將擁有更大的組織計算靈活性。***專注於移動端的開發與優化.***它用途廣泛