原创 pytorch1.3 Quantization

pytorch提供了三種量化的方法 1.訓練後動態量化。這種模式使用的場景是：模型的執行時間是由內存加載參數的時間決定（不是矩陣運算時間決定），這種模式適合的模型是LSTM和Transformer之類的小批量的模型。調用方法torch.q

2020-06-23 09:16:25 5

原创 torch_scatter.scatter_add、Tensor.scatter_add_ 、Tensor.scatter_、Tensor.scatter_add 、Tensor.scatter

 torch_scatter.scatter_add 官方文檔：torch_scatter.scatter_add(src, index, dim=-1, out=None, dim_size=None, fill_value=0) Su

2020-06-23 09:16:25 16

原创 torch中reshape()和view()

二者功能類似，都是爲了改變tensor的shape。 不同點在於view()只是改變shape，數據還是原來的數據；並且view()只能處理連續的內存，因此前面經常跟一個contiguous()； 而reshape()則沒那麼可控，他的執

2020-06-23 09:16:14 35

原创 深度可分卷積（MobileNet中的depthwise separable convolutions）

MobileNet        做圖像算法最經常用的模型是restNet系列，但是訓練好的模型太大。拿restNet50來說，訓練好的模型有280M，參數7千萬，運行起來非常慢。     MobileNet是一個基於depthwise

2020-06-23 09:16:14 12

原创 Pytorch中GNN的基類torch_geometric.nn.conv.MessagePassing

MessagePassing是torch_geometric中GNN模型的基類，實現了下面的消息傳遞公式  要繼承這個類，需要複寫三個函數： propagate(edge_index, size=None) message() 消

2020-06-23 09:16:14 6

原创 linux掛載卸載磁盤

查看磁盤 sudo fdisk -l | grep /dev 創建一個新文件夾：mkdir  /data 掛載：sudo mount /dev/vdb  /data 查看：df -h 卸載：sudo umount -v /data

2020-06-08 01:00:11

原创 python3.6 安裝pip3

安裝pip3 sudo apt-get install python3-distutils wget --no-check-certificate  https://pypi.python.org/packages/source/s/s

2020-06-08 01:00:11

原创 ArcFace（InsightFace）pytorch代碼實現

ArcFace是比較新的人臉分類的Loss函數，詳細論文可以看論文：ArcFace: Additive Angular Margin Loss for Deep Face Recognition 論文: https://arxiv.org

2019-05-11 06:20:14 55

原创 SciPy中的optimize.minimize實現受限優化問題

問題描述：有一批樣本x，每個樣本都有幾個固定的標籤，如（男，24歲，上海），需要從中抽取一批樣本，使樣本總的標籤比例滿足分佈P(x)，如（男:女=49%:51%、20歲:30歲=9%:11%、..........） 採用KL-散度作爲優化

2019-04-16 10:01:26

原创 python通過hbase的client讀取數據

使用的python版本爲3.5.2，使用過程中發現了好幾個坑 首先安裝thrift和hbase-thrift pip install thrift pip install hbase-thrift 安裝完成之後第一次運行，報錯誤：  

2019-01-07 18:58:18 62

原创 hue中生成oozie任務傳參（shell任務）

在hue中，oozie任務分爲4層： 1.action（可以是hive任務，spark任務，shell腳本等），下圖所示就是一個shell任務：  2.workflow，顧名思義，一個workflow就是多個action組成的DAG流：

2018-12-23 14:28:37 27

原创 卷積神經網絡（CNN）中的卷積核 概念 原理

作者：Tim Dettmers（Understanding Convolution in Deep Learning） 原文地址： http://www.yangqiu.cn/aicapital/2382000.html   有太多的

2018-12-12 13:10:19

原创 hive 時間戳 時間 相互轉換

從1970-01-01 00:00:00 UTC到指定時間的秒數。 總結：時間戳到日期時間，日期時間到時間戳，日期時間到日期。 獲取時間戳：select distinct unix_timestamp() from test_date;

2018-12-07 13:29:23

原创 spark ml 源碼分析

git上找到的一個大神寫的spark ml源碼分析，非常詳盡 地址：https://github.com/endymecy/spark-ml-source-analysis          spark機器學習算法研究和源碼分析   本項

2018-12-07 13:29:23

原创 Container killed by YARN for exceeding memory limits. 10.4 GB of 10.4 GB physical memory used

執行spark時遇到這種問題，最開始--executor-memory 設爲10G，到後來20G，30G，還是報同樣的錯誤。 1.一種解決方法 網上大部分都說要增加spark.yarn.executor.memoryOverhead，先是

2018-12-07 13:29:23