原创 dropout實現過程
1、dropout可以用來防止過擬合 pytorch中實現如下： m = nn.Dropout(p=0.2) input = torch.randn(2, 5) print() output = m(input) print(in
2020-03-25 19:37:58
原创 pytorch中SGD代碼解讀
調用方法： torch.optim.SGD(params, lr=<required parameter>, momentum=0, dampening=0, weight_decay=0, nesterov=False) mo
2020-03-25 19:37:58
原创 uwsgi及nginx部署
端口對應：32771（宿主機的指向9800的端口）-9800（容器端口、nginx監聽端口）-9801（uwsgi端口） 調用方式： 在宿主機，curl 宿主機ip:9800/hello 在容器內，curl localhost:9
2020-03-18 18:53:45
原创 nlp中的基本網絡
nlp中的文本，基本都可以表示爲[ batch, seq, embed_dim] 的形式 CNN 一般使用一維卷積，因爲一維卷積變換的是最後一個維度，所以變換文本形狀爲 [batch, embed_dim, seq]。 # 一
2020-03-12 00:15:54
原创 Attention中softmax的作用
在bert模型中的attention構造中 Q：[batch, 12, seq, dk] K：[batch, 12, seq, dk] softmax中的梯度消失 x=(a,a,2a,4a)x=(a, a, 2
2020-03-10 00:51:26
原创 pytorch中Schedule與warmup_steps的用法
lr_scheduler相關 lr_scheduler = WarmupLinearSchedule(optimizer, warmup_steps=args.warmup_steps, t_total=num_train_o
2020-02-28 03:35:09
1
原创 torch.nn.utils.rnn.pad_sequence用法
torch.nn.utils.rnn.pad_sequence(label_tokens, batch_first=True, padding_value=-1) label_tokens: list矩陣，shape=[batc
2020-02-25 21:06:11