原创 在Jupyter Notebook上配置遠程GPU服務器

在深度學習的過程中,我們肯定會遇到一個問題,那就是神經網絡太深導致參數過多,自己電腦的CPU帶不動,即使帶的動也需要非常多的時間,效率很低。 近期我所在的實驗室爲了解決這個問題,在阿里雲租了幾臺GPU服務器專門來給我們跑代碼做實驗

原创 從多項式函數擬合實驗出發淺談“模型選擇、欠擬合和過擬合”問題

在本筆記中,我們將從簡單易懂的多項式函數擬合實驗出發,談一談如今做機器學習繞不開的三個重要概念:模型選擇、欠擬合和過擬合,並且進一步挖掘如何選擇模型、如何避免欠擬合和過擬合問題。本筆記主要從下面五個方面展開: 文章目錄1 模型選

原创 MNIST手寫數字識別之MLP實現

在本筆記中,我們將以多層感知機(multilayer perceptron,MLP)爲例,介紹多層神經網絡的相關概念,並將其運用到最基礎的MNIST數據集分類任務中,同時展示相關代碼。本筆記主要從下面四個方面展開: 文章目錄1

原创 快速高效訓練ResNet

文章目錄1、模型複雜度與泛化能力的關係2、DAWNBench3、Some Tricks4、實驗效果5、展望 1、模型複雜度與泛化能力的關係 例如對於VGG而言,有11,13,16,19四種深度的模型對應着四種不同的模型複雜度,當然

原创 深度學習必會模型:ResNet模型原理及PyTorch代碼

文章目錄1. 爲什麼要引入ResNet?2. 什麼是ResNet?3. 如何搭建ResNet? 1. 爲什麼要引入ResNet? 對於卷積神經網絡,深度是一個很重要的因素。深度卷積網絡自然的整合了低中高不同層次的特徵,特徵的層

原创 深度學習必會模型:VGG模型原理及PyTorch代碼

文章目錄1、爲什麼要引入卷積神經網絡?1.1 三個觀察1.2 卷積層和池化層1.2.1 卷積層1.2.2 池化層2、VGG模型原理2.1 提出VGG的動機2.2 VGG模型及其參數的數量3、核心代碼 1、爲什麼要引入卷積神經網絡