01
這個開源動漫生成器讓你的照片秒變手繪日漫
儘管最近 2019 年的圖靈獎頒給了計算機圖形學、頒給了皮克斯 3D 動畫，但很多人可能認爲二維動漫更有意思一些。像宮崎駿、新海誠這些大師手繪下的動漫，纔有了靈魂，張張都能成爲壁紙，而整個日漫也以二維爲核心。
如果有模型能將真實畫面轉化爲日漫風格的手繪畫面，那一定非常炫酷。最近機器之心發現確實有這些模型，從 CartoonGAN 到 AnimeGAN 都能生成非常有意思的圖像。
圖片源於：機器之心根據真實店鋪照片生成的效果圖
雖然原項目給出的最佳示例很多都是街景，但發現各種場景也都還行，如下是試用的原圖與生成效果。看看第一張櫻花道生成效果，忽然有一種《千與千尋》的感覺。
項目地址：
https://github.com/TachibanaYoshino/AnimeGAN
信息來源：機器之心
02
15個產業級算法推出、35個高精度預訓練模型上線！
2020年，“新基建”正給中國科技發展帶來新的重大機遇，人工智能基礎設施面臨全面升級。深度學習框架正是推動產業智能化進階的重要基礎設施。近日，百度飛槳在智能視覺領域實現重大升級。
此次，PaddleCV最新全景圖首度曝光。其中，PaddleDetection、PaddleSeg、PaddleSlim和Paddle Lite重磅升級；全新發布3D視覺和PLSC超大規模分類2項能力。同時，PaddleCV新增了15個在產業實踐中廣泛應用的算法，整體高質量算法數量達到73個；35個高精度預訓練模型，總數達到203個。
PaddleCV全景圖
PaddleCV依託于飛槳底層核心技術以及百度大腦軟硬一體AI大生產平臺的優勢，貫通了從核心技術、生態應用，再到商業化解決方案的整套體系，支撐百度視覺成爲目前業內規模最大、技術棧最全面、生態體系最完善的視覺技術平臺，形成可自我持續迭代優化的閉環。
如全景圖所示，PaddleCV主要從三方面更新核心技術能力：
PaddleDetection模塊種類與性能全面提升，YOLOv3大幅增強，精度提升4.3%，訓練提速40%，推理提速21%；人臉檢測模型BlazeFace新增NAS版本，體積壓縮3倍，推理速度提速122%；新增IoU損失函數類型，精度再提升1%，不增加預測耗時。在模型方面，新增3個類型，基於COCO數據集的精度最高開源模型CBNet，高達53.3%；Libra-RCNN模型精度提升2%；Open Images V5成爲目標檢測比賽最佳單模型。
目標檢測模型在實際部署時，由於耗時和內存佔用，仍然存在很大挑戰。基於此，PaddleSlim提供了多種高效的模型壓縮方法，助推PaddleDetection性能到達全新高度。使用蒸餾模型壓縮方案可提升驗證精度2%；裁剪模型壓縮方案大幅降低FLOPs；蒸餾+裁剪模型壓縮方案，基於COCO數據集進行測試，可以加速2.3倍。此外，PaddleDetection還爲開發者提供了從訓練到部署的端到端流程，並提供一個跨平臺的圖像檢測模型的C++預測部署方案。
首先，PaddleCV基於Paddle Lite多硬件支持能力的優勢，與崑崙芯片進行深度聯合優化，實現端到端軟硬一體能力的完全領先和自主可控。以製造業爲例，百度與微億智造聯合打造了智能自動化監測設備“表面缺陷視覺檢測設備”，區別於傳統人工肉眼檢查電子零件的方式，既保障質檢環節的檢查質量與效率，也進一步緩解了由於疫情原因造成的人力缺乏問題。
信息來源：飛槳PaddlePaddle
03
韓松、朱儁彥等人提出GAN壓縮法：算力消耗不到1/9，現已開源
生成模型 GAN 是機器學習領域裏最爲重要的發展方向之一。但這類算法需要消耗巨量算力，大多數研究者已經很難得出新成果。近年來，這一方向頗有被大型機構壟斷的趨勢。
但近日，來自麻省理工學院（MIT）、Adobe、上海交通大學的研究者提出了一種用於壓縮條件 GAN 的通用方法。這一新技術在保持視覺保真度的同時，將 pix2pix，CycleGAN 和 GauGAN 等廣泛使用的條件 GAN 模型的計算量減少到 1/9~1/21。該方法適用於多種生成器架構、學習目標，配對或非配對設置。
目前該研究的論文已被 CVPR 2020 大會收錄。
在研究者們展示的 Demo 中，使用 CycleGAN 爲視頻中的馬添加斑馬條紋所需的算力不到 1/16，幀數提高了三倍，而且效果還有所提升。該研究所使用的硬件平臺是英偉達的邊緣 AI 計算芯片 Jetson Xavier GPU。根據官方公佈的數據，Jetson Xavier 的 INT8 算力爲 22+10TOPS，驍龍 865 則是 15TOPS。壓縮後的 GAN 現在看來已經可以跑在機器人、無人機等小型設備上了，未來塞進手機指日可待。
項目鏈接：
https://github.com/mit-han-lab/gan-compression
信息來源：機器之心
04
物理學突破深度學習理論瓶頸？Google-斯坦福闡述深度學習機制
3月16日，英特爾研究院與美國康奈爾大學的研究人員在《自然-機器智能》（Nature Machine Intelligence）雜誌上聯合發表了一篇論文，展示了英特爾Loihi神經擬態研究芯片聞味識危的能力。詳情請見：1億神經元，英特爾發佈神經擬態計算系統
雖然深度學習革新了很多應用，但是背後的理論作用機制一直沒有得到統一的解釋。最近來自谷歌大腦和斯坦福的學者共同在Annual Review of Condensed Matter Physics 發佈了深度學習統計力學的綜述論文《Statistical Mechanics of Deep Learning》，共30頁pdf，從物理學視角闡述了深度學習與各種物理和數學主題之間的聯繫。
雖然深度神經網絡在機器學習領域取得了驚人的成功，但這對它們成功背後的理論原理提出了深刻的疑問。作者回顧了最近的工作，其中物理分析方法植根於統計力學已經開始提供這些問題的概念上的見解。這些見解產生了深度學習與各種物理和數學主題之間的聯繫，包括隨機景觀、旋轉玻璃、干擾、動態相變、混沌、黎曼幾何、隨機矩陣理論、自由概率和非平衡統計力學。事實上，統計力學和機器學習領域長期以來一直享有強耦合交叉作用的豐富歷史，而統計力學和深度學習交叉領域的最新進展表明，這些交叉作用只會進一步深化。
論文地址：
https://www.annualreviews.org/doi/abs/10.1146/annurev-conmatphys-031119-050745
信息來源：機器學習研究組
05
本週論文推薦
【CVPR2020】長尾數據特徵學習新方法：爲尾部樣本構造特徵雲
作者：Jialun Liu, Yifan Sun, Chuchu Han, Zhaopeng Dou, Wenhui Li
論文介紹：
長尾數據下的特徵學習格外困難。解決尾部類別樣本少、類內多樣性不足的根本做法是增加樣本。那麼如何增加？作者在這個工作中提出了爲尾部類別構造雲、用“特徵雲”來充實尾部類的方法。與之前的工作不同，其他人都利用生成對抗網絡（GAN），爲尾部類別生成額外的“虛構”樣本，取得了更好的提升。然而，真的需要在原始圖像空間來增加嗎？GAN的訓練與調用都非常消耗資源，有沒有更實用、高效的辦法？作者的工作給出了更巧妙、高效的解決。
作者的方法直截了當地聚焦到了特徵空間，在學到的特徵空間中，爲尾部ID增加一些虛擬的樣本。這些新增的虛擬樣本就像電子雲纏繞原子核一樣，纏繞在實際樣本四周，因此形象地稱之爲“feature cloud”。任何cloud的本質是一個概率模型，如何建立這個“feature cloud”的概率模型呢，這裏提出向頭部ID學習，使尾部ID保持“矮要承認，捱打站穩”的低姿態，既然自身由於樣本數量稀少，導致類內多樣性不足，那麼就以謙虛的態度向頭部ID 學習，將頭部ID 的類內多樣性transfer到尾部ID。因此，作者的方法可以非常直觀地描述爲——用特徵雲填充尾部類別單薄的特徵空間，就像電子雲填充空蕩蕩的原子一樣。
論文地址：
https://arxiv.org/abs/2002.10826
END
