原创 【Pytorch】--- tensor正常向量與one-hot獨熱編碼向量之間的相互轉換

在多分類任務中,通常將目標轉換成獨熱編碼來進行訓練,本文將介紹 torch向量 →\rightarrow→ one-hot向量 使用 scatter_() 來轉換: 如使用獨熱進行編碼: label = torch.LongT

原创 【Knowing When to Look:Adaptive Attention via A Visual Sentinel for Image Captioning】--- 論文筆記

論文名稱:Knowing When to Look: Adaptive Attention via A Visual Sentinel for Image Captioning 論文作者:Jiasen Lu, Caiming Xi

原创 【概率分佈】--- 離散與連續概率分佈

一. 隨機變量 離散隨機變量 連續性隨機變量 概率分佈 離散分佈 伯努利分佈 二項分佈 幾何分佈 泊松分佈 連續分佈 均勻分佈 正態分佈 卡方分佈 指數分佈 F分佈 概率分佈描述了隨機變量取值的規律,

原创 【Dual-Path Convolutional Image-Text Embedding】--- image-text embedding類閱讀筆記

論文名稱:Dual-Path Convolutional Image-Text Embedding 論文作者:Zhedong Zheng, Liang Zheng, Michael Garrett, Yi Yang, Yi-Don

原创 【Linux】--- 跑深度模型時查看系統狀態的常用指令

查看CPU狀態 運行結果 結果解析 查看GPU狀態 運行結果 結果分析 查看內存 運行結果 結果分析 查看磁盤信息 運行結果 結果分析 查看文件(夾)大小 運行結果 結果分析 在多人跑模型的時候

原创 【Self-critical n-step Training for Image Caption】--- 閱讀筆記

論文名稱:Self-critical n-step Training for Image Captioning 論文作者:Junlong Gao, Shiqi Wang, Shanshe Wang, Siwei Ma, Wen Gao

原创 【Pytorch】--- Pytorch學習之超全面的資源列表(Github裏stars超過6000+)

轉載自bharathgs的Github:https://github.com/bharathgs/Awesome-pytorch-list 感謝作者的彙總! Awesome-Pytorch-list Contents Pytor

原创 【對象檢測】--- RoI常用方法

前言 RoI執行的步驟 RoI Pooling Why RoI Pooling 優點 缺點 過程量 例子 RoI Align Why RoI Align RoI Align流程 RoI Align優勢

原创 【Tmux】--- 代替終端的複用神器

前言 使用 會話 新建會話 斷開當前會話(後臺運行) 進入之前斷開的會話 徹底關閉會話 查看所有的會話 快捷鍵 系統指令 窗口(window)指令 面板(pane)指令 參考 前言 Tmux實際上是由三大組

原创 【梯度爆炸處理】--- Grad Clip

1. 背景 有時在訓練過程中,會出現“梯度爆炸”這一現象,而Grad CLip就是解決這一現象的方法。 梯度爆炸 所謂梯度爆炸,是指在神經網絡的訓練過程中,由於誤差梯度在更新的過程中不斷累積,在某一時刻突然變成非常大的梯度,導致訓練的

原创 【Reinforcement Learning】--- 初窺強化學習

一. 前言 通常將強化學習簡稱RL 強化學習用於對特定的評估方法進行特定的模型改進以期望在該評估方法下可以表現得更加完美 二. 概念: 通過不斷地嘗試和犯錯來確定哪些功能會帶來最大的reward 是在嘗試的過程種學習如何在特點的

原创 【Pytorch】--- 數據的讀取和操作(Dataset, DataLoader)

前言 Pytorch 中比較重要的是對數據的處理,其中,進行數據讀取的一般有三個類: Dataset DataLoader 其中,這是一個封裝的關係:“Dataset被封裝進DataLoader Dataset Dataset位於

原创 【python】--- 參數args和kwargs作用

def test(a, *args, **kwargs): def test(a, *args, **kwargs): print(args) print(kwargs) print(a) print(

原创 【Scheduled sampling】--- 解決訓練和預測產生的矛盾

1. 前言 Curriculum learning Curriculum learning,課程學習,一種新的decode方法,用於模仿人類學習特點: 人在課程學習時從簡單開始入門,之後再學習複雜的 機器中也分爲容易學習的樣本和不容

原创 【pack_padded_sequence與pad_packed_sequence】--- RNN處理不定長的序列

使用sort_sequence(input, lengths) 爲了使得在同一個batch裏的各seq按照seq_length進行從長到短排列 目的是進行pad填充,使得可以處理不定長的seq pad填充: 使用最長的