用DCGAN與VAE合成腦MR影像

原創 hellopipu 2020-07-01 22:29

本文做了兩個小實驗，分別利用兩個經典的生成模型（DCGAN與VAE）來合成腦影像；使用pytorch，全部代碼見github；實驗設備，NVIDIA 1080Ti；

訓練數據

腦影像使用Brats18 公開數據集的T2模態；提取axial面的240X240大小2d 切片，resize成128X128大小；保存爲.npy文件。

數據集示例

在這裏插入圖片描述

VAE

網絡結構

在這裏插入圖片描述

損失函數

第一項重建誤差，第二項KL loss；
在這裏插入圖片描述

重參數技巧

直接根據編碼器生成的均值與方差進行採樣，該採樣過程是不可導的，如左圖所示；用右圖的重參數技巧得到採樣點的過程可導
在這裏插入圖片描述

合成結果

隨機輸入：
在這裏插入圖片描述
插值結果：
在這裏插入圖片描述
訓練時遇到一個問題，VAE輸出的圖像全相同，且KL loss很快收斂到0。發現問題在於重建loss與KL loss的權重分配上，nn.BCELoss默認是計算每個像素上的平均誤差；而KL是計算一幅圖像上的誤差；故而對重建loss 乘上了圖像的像素數，問題得到了解決

DCGAN

網絡結構

在這裏插入圖片描述

損失函數

在這裏插入圖片描述

合成結果

隨機輸入：
在這裏插入圖片描述
插值結果：
在這裏插入圖片描述

發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

【閱讀筆記】Semantic Hierarchy Emerges in Deep Generative Representations for Scene Synthesis

論文名稱：Semantic Hierarchy Emerges in Deep Generative Representations for Scene Synthesis 論文作者：Ceyuan Yang, Yujun She

PandaDreamer 2020-07-08 04:35:03

deblurGAN-v2 去模糊深度學習算法。

https://blog.csdn.net/weixin_42784951/article/details/100168882 論文：https://arxiv.org/pdf/1908.03826.pdf 代碼：https://gith

jack_201316888 2020-07-07 21:27:04

生成對抗式網絡 GAN及其衍生CGAN、DCGAN、WGAN、LSGAN、BEGAN等原理介紹、應用介紹及簡單Tensorflow實現

生成式對抗網絡（GAN，Generative Adversarial Networks）是一種深度學習模型，是近年來複雜分佈上無監督學習最具前景的方法之一。學界大牛Yann Lecun 曾說，令他最激動的深度學習進展就是生成式對抗

StrongerTang 2020-07-06 20:49:20

GAN生成對抗網絡：數學原理

文章目錄1. 極大似然估計2. 相對熵，KL散度3. KL散度與交叉熵的關係4. JS散度5. GAN 框架判別器的損失函數生成器的損失函數 1. 極大似然估計 GAN用到了極大似然估計（MLE），因此我們對MLE作簡單介紹。 M

随风秀舞 2020-07-05 13:35:38

Improved Training of Wasserstein GANs 開源代碼與論文描述的算法不一致

Improved Training of Wasserstein GANs 中算法描述： 紅色框內的僞代碼： 是生成器生成的數據，是隨機樣本，是真實樣本。 但是代碼中表達的意思：，如代碼中的綠色框部分所示：  

开心就哈哈 2020-07-05 01:32:55

生成性對抗網絡技術實現

生成性對抗網絡技術實現 Generative Adversarial Networks 以某種形式，使用深度神經網絡學習從數據點到標籤的映射。這種學習被稱爲區別性學習，因爲希望能夠區分貓和狗的照片。量詞和迴歸詞都是區別學習的例子。

wujianming_110117 2020-07-04 18:50:02

深度卷積生成對抗網絡

深度卷積生成對抗網絡 Deep Convolutional Generative Adversarial Networks GANs如何工作的基本思想。可以從一些簡單的，易於抽樣的分佈，如均勻分佈或正態分佈中提取樣本，並將其轉換成

wujianming_110117 2020-07-04 18:50:02

Modality to Modality Translation: An Adversarial Representation Learning閱讀筆記

Modality to Modality Translation: An Adversarial Representation Learning and Graph Fusion Network for Multimodal Fu

有问题先搜报错~ 2020-07-04 18:28:18

GAN網絡中的Normalization彙總

引用1 xi^=1σi(xi−μi)yi=γxi^+βμi=1mΣk∈Sixkσi=1mΣxk∈Si(xk−μi)2+ϵ \hat{x_i} = \frac{1}{\sigma_i}(x_i-\mu_i) \\ {y_i} =

xinxiang7 2020-07-04 03:13:56

keras 2.3.0 做上採樣 UpSampling2D的時候的維度出錯問題解決辦法

簡單的說，你是不是遇到了這樣的問題，上一層的數據是【None，200,14,14】 你希望上採樣到28x28 H = UpSampling2D(size=(2, 2))(H) 你以爲能得到【None，200,28,28】 結果卻成了【No

燕儿哥python 2020-07-03 18:32:49

圖像數據增強讀書筆記

A Survey on Image Data Augmentation for deep learning Ref: 1. A survey on Image Data Augmentation for Deep Learning

秃然变强了 2020-07-02 22:29:42

[論文閱讀]深度學習使得在熒光顯微下跨模態超分辨率成爲可能

Deep Learning enables cross-modality super-resolution in fluorescence microscopy 論文地址:https://www.nature.com/articles/s

BonjourDurant 2020-07-02 00:25:19

[ECCV2018] [MUNIT] Multimodal Unsupervised Image-to-Image Translation

貢獻：爲 one-to-one 的unpaired image translation 的生成圖像提供多樣性 提出假設：1、圖像可以分解爲style code 與 content code；2、不同領域的圖像，共享一個conten

hellopipu 2020-07-01 22:29:44

CV_basic idea of GAN

在GAN出現之前… 假設真實的data服從P_data，並且現在擁有屬於這個分佈的一些樣本，但是這個P_data我們是無從得知的，但是我們希望可以得到一個嶄新的同樣屬於這個分佈的data。所以我們就對這個分佈建立模型，其對應着分佈P_G，

ZerinHwang03 2020-07-01 12:53:14

計算Entropic Regularization[Wilson]時總是出現Warning: numerical errors at iteration 0的可能原因

在使用下面的文章和第三方庫 Marco Cuturi, Sinkhorn Distances: Lightspeed Computation of Optimal Transport, NIPS 2013 https://pythono

R.X. NLOS 2020-07-01 09:48:50