01
Github私有庫無限協作，大 AI 模型隨便放
4月14日，GitHub 的 CEO Nat Friedman 在官網上發佈聲明說， “我們很高興宣佈，我們將爲所有 GitHub 用戶提供方便無限協作的私有庫。且 GitHub 全部核心功能對所有人免費。”
如果你想存儲一些私人項目，那麼你可以選擇GitHub的私有庫，如果你一個人來開發項目這當然沒問題，但是有些情況你需要更多的人來協作，當超過三個人時免費的私有庫就不夠用了，需要開通付費版，而現在協作人數限制。
今後，小型的開發團隊可以免費使用GitHub私有庫了。
持續集成由一連串的動作組成，包括代碼抓取、運行測試、登錄遠程服務器、發佈到第三方服務等等。這就是GitHub Actions要乾的事。
開發團隊現在可以在 GitHub 上面協作處理各種開發工作，包括 CI/CD 持續集成和部署，項目管理、代碼審查等等，同時提供 500MB 的存儲空間和每月多達2000分鐘的 GitHub Actions 免費訪問時長。
跟當前比較流行的持續集成工具Travis CI比，actions支持在所有平臺環境下構建，用yaml文件直接定義整個工作流，而Travis需要自己在一個獨立的虛擬機預先構建一些包，搭建數據庫等，流程的某些部分需要在 GitHub 中獨立實現，更重要的是Travis CI同等使用額度收費比較高，actions免費使用。
信息來源：新智元
02
飛騰64核CPU適配百度崑崙AI處理器：全國產的AI體系登場
繼百度飛槳深度學習平臺之後，百度的崑崙AI芯片日前也針對國產的飛騰CPU完成了適配。再加上已經適配的國產OS，在AI計算體系中有可能出現百度崑崙+飛騰CPU+國產OS+百度飛槳的全國產化體系，不再受到國外控制，這還是首次。
飛騰表示，百度智能芯片總經理歐陽劍在一次線上公開課中首次展示了百度崑崙 AI 芯片與飛騰 CPU 的適配視頻片段。視頻顯示，搭載飛騰 CPU、崑崙加速卡的服務器，運行流暢，性能強勁，圖像分割速度顯著加速。
百度崑崙芯片是繼百度飛槳（PaddlePaddle）深度學習平臺之後，百度又一重量級 AI 產品與飛騰完成適配。
百度崑崙 AI 芯片是百度自研的雲端全功能 AI 芯片，採用百度自研 XPU 神經處理器架構，提供 512GB/s 的內存帶寬，能夠在 150W 的功耗下提供高達 260 TOPS 的能力，是業內算力領先的國產 AI 芯片。
至於飛騰CPU，與百度崑崙 AI 芯片完成適配的 飛騰 FT-2000+/64 處理器是飛騰面向高性能服務器領域的產品。該款處理器設計了數據親和的多核處理器體系架構，突破了高效亂序超標量流水線、層次化片上並行存儲結構、多級異構片上互連網絡、高可用處理器設計等關鍵技術，實測性能達到了國際主流服務器 CPU 同等水平，填補了國產高端通用 CPU 領域的空白。
飛騰FT-2000+/64是中國首款自主設計的 64 核通用 CPU，也是國際上首款兼容 ARMv8 指令集的 64 核通用 CPU，爲百度崑崙 AI 芯片提供了高效完整的 AI 計算流程支撐。
飛騰表示，當前正處於 AI + 智能雲時代，從芯片架構、操作系統，再到上層應用，都有了革命性的變化。百度崑崙+飛騰CPU+國產OS，再加上國產深度學習平臺百度飛槳（PaddlePaddle），以及新時代的各類應用，全國產的 AI 計算體系將登上歷史舞臺，並且有機會成爲新的選擇。
信息來源：新浪科技
03
訓練吞吐量提升6倍！飛槳彈性計算推薦系統ElasticCTR 1.0發佈
ElasticCTR，即飛槳彈性計算推薦系統，是基於Kubernetes的企業級推薦系統開源解決方案。該方案融合了百度業務場景下持續打磨的高精度CTR模型、飛槳開源框架的大規模分佈式訓練能力、工業級稀疏參數彈性調度服務，幫助用戶在Kubernetes環境中一鍵完成推薦系統部署，具備高性能、工業級部署、端到端體驗的特點，並且作爲開源套件，滿足二次深度開發的需求。
目前在推薦系統領域，應用深度學習模型來實現推薦，可以取得非常好的效果，是未來的發展趨勢。但實現開發這樣一套推薦系統，開發者會面臨諸多問題，每個問題對開發者來說都是一座大山，闖過一個個關卡之後，才能打通整個推薦系統。因此ElasticCTR爲廣大AI開發者又增添一套強勁的武器裝備：
1. 端到端部署套件，免去繁瑣的中間處理環節，助力推薦系統快速上線
推薦排序的workflow複雜而瑣碎，開發者會面臨不同組件間難以整合的問題。百度在推薦系統領域有多年的成熟經驗，在這些經驗的加持下，ElasticCTR打通了端到端的部署流程，用戶只需配置好數據集，通過一個elastic_control.sh啓動工具，即可用簡單幾行命令，啓動高性能的分佈式訓練和在線預測服務PaddleServing等組件。中間的繁瑣步驟、模型配送等流程都不需要額外操作。
圖：ElasticCTR的Workflow示意
2. 彈性調度，全異步多線程分佈式訓練，訓練吞吐量提升6倍
對於不同規模的數據集和訪問需求，ElasticCTR提供了資源彈性分配機制，在保證高效的同時儘可能節省資源消耗。經驗證，使用Criteo數據集訓練CTR-DNN模型，訓練吞吐量相比同類框架可提升6倍。事實上，Criteo數據集只是一個簡單的例子，在實際應用中會有更大規模的稀疏參數，ElasticCTR的訓練和部署優勢會更加顯著。
圖：CTR-DNN模型訓練效果對比
3. 流式訓練，實現自動、分批、按時訓練和配送模型
常見的深度學習訓練方式中，通常是固定數據集進行多輪次迭代，但是在推薦系統中，由於日誌數據的時效性，數據集需分時段加載，訓練好的模型也需按時段配送。在實際生產環境中往往是分日期、分時段保存用戶點擊信息的日誌，ElasticCTR支持流式訓練方式，它的意義在於用戶可以按照自定義的時段來訓練模型，也可以監聽存放數據集的HDFS上是否有增量的數據集參與訓練，訓練好的模型亦可定時增量配送。
4. 工業級全組件開源，滿足二次深度開發訴求
ElasticCTR採用全開源組件，滿足開發者二次深度開發的需求。在數據讀取和預處理環節，採用HDFS的存儲，全內存多線程讀取，打破數據傳輸的各種可能瓶頸；在訓練環節，採用飛槳核心框架的分佈式訓練能力，全異步多線程分佈式訓練，訓練速度可達到同類框架6倍之多；在部署環節，採用飛槳在線部署框架PaddleServing簡單易用的部署服務，並結合百度推薦場景成熟應用多年的稀疏參數索引服務Cube，確保了超大規模模型的快速部署和高效服務；此外，爲充分利用Kubernetes的彈性調度和資源分配機制以增強可用性，引入了Kubernetes的job管理框架Volcano。
信息來源：飛槳PaddlePaddle
04
下圍棋so easy ，AlphaZero開始玩量子計算！
AlphaZero一開始是專門用來下圍棋的。圍棋的落子位置太多了大約有種。相比之下，國際象棋只有種可能的走位。
所以AlphaZero使用了一個深層的神經網絡，它學會了從一個特定的位置開始評估它獲勝的可能性。爲了獲勝，AlphaZero有一個功能叫做蒙特卡洛樹搜索，這種方法能夠幫助它在遊戲中“預知未來”。
這類似於職業棋手在下棋時能夠提前想幾步棋。訓練結果是相當驚人的，AlphaZero 很快就摧毀了專業遊戲軟件和人類玩家。例如，經過僅僅四個小時的自我對弈練習，AlphaZero 就在國際象棋中擊敗了領先的棋類軟件 Stockfish。而且這完全都是從零開始，一開始AlphaZero根本不知道遊戲規則。丹麥國際象棋大師Peter Heine Nielsen將其比作一個訪問過地球的高級外星物種。
而量子計算機的能力，是所有現有的計算機組合加起來都無法匹敵。但到目前爲止還沒有人能夠製造出一臺功能齊全的量子計算機。這就需要我們在控制量子系統的能力上向前跨一步。
與普通計算機類似，量子計算機使用門操作（gate operations）來操縱其量子位。成功實現AlphaZero之後，使用相同的算法超參數將其用於三個不同的量子控制問題。
在一些案例中，相同的超參數集在三種量子情況下均能很好地工作，當改變問題的設定，AlphaZero將無法單獨解決。量子計算機利用量子並行性大幅提高了計速度，但是問題再次出現：搜索空間的控制參數成指數級增長。AlphaZero實驗證明，神經網絡提供的近似和不完善的解決方案可以充當本地蠻力啓發式算法的強大種子生成器。
奧胡斯大學的團隊開始尋求一種混合算法：AlphaZero通過廣泛的探索生成了高可用的種子對象，隨後通過基於梯度的方法對它們進行優化，這種方法使解決方案的數量和質量都得到了極大的提高。混合了AlphaZero的量子計算，搜索速度可以提升500倍。
信息來源：新智元
05
你的可視化ML模型可以用顯微鏡來看了！OpenAI發佈Microscope
機器學習算法（ML）通常被稱爲“黑箱”，人類並不知道AI是怎麼決策的，算法從輸入到輸出的過程就像變魔術一樣。
由於缺乏可解釋性，ML可能會導致很多不可控的後果。如果我們無法解釋AI決策的過程和動機，就無法信任這個智能系統。因此，ML社區一直致力於使算法的學習過程透明化。
OpenAI發佈神經網絡可視化庫Microscopea。目前的初始版本分析了8個流行的神經網絡。該集合一共包含數百萬張圖像。Microscope可以像實驗室中的顯微鏡一樣工作，幫助AI研究人員更好地理解具有成千上萬個神經元的神經網絡的結構和行爲。
神經元可視化
OpenAI的Microscope是八個視覺神經網絡模型的每個重要層和神經元可視化的集合，通常在可解釋性方面進行研究。Microscope使我們更容易分析這些複雜的神經網絡內部形成的特徵。每種模型的可視化都帶有一些場景，並且圖像在OpenAI Lucid庫中可用（見文末Github鏈接），可以在 Creative Commons許可下重複使用。Microscope的主要價值在於提供持久的共享工件，以長期對這些模型進行比較研究。
Microscope想要實現兩個願景：希望具有相鄰專業知識的研究人員（例如神經科學）能夠更輕鬆地處理這些視覺模型的內部工作。希望它能通過了解神經元之間的連接，爲電路協作工作做出貢獻，從而可以對神經網絡進行逆向工程。
就像生物學家經常專注於研究幾種“模式生物”一樣，Microscope也專注於詳細研究少量模型。OpenAI的初始版本包括八個經常被研究的視覺模型，以及他們發現在研究它們時特別有用的幾種可視化技術。OpenAI計劃在未來幾個月內擴展到其他模型和技術上。
Microscope地址：
https://microscope.openai.com/models
信息來源：新智元
06
本週論文推薦
【CVPR2020】ActBERT:FineGym:用於細粒度動作理解的分層視頻數據集
作者：Dian Shao, Yue Zhao, Bo Dai, Dahua Lin
論文介紹：
在公共基準數據集上，當前的動作識別技術已經取得了巨大的成功。然而，在現實世界的應用中，例如體育分析，它需要將一項活動分解成幾個階段，並區分細微不同的動作，它們的性能仍然遠遠不能令人滿意。爲了將動作識別提升到一個新的水平，FineGym是一個建立在體操視頻之上的新數據集。與現有的動作識別數據集相比，FineGym具有豐富、優質和多樣性的特點。特別是，它提供了一個三層語義層次的動作和子動作級別的臨時註釋。例如，一個“平衡木”事件將被註釋爲來自5個集合的基本子動作序列:“leap-jump-hop”、“beam-turns”、“flight-salto”、“flight-handspring”和“dismount”，其中每個集合中的子動作將被進一步註釋爲定義良好的類標籤。這種新的粒度級別對操作識別提出了重大挑戰，例如如何從一個一致的操作解析時間結構，以及如何區分細微不同的操作類。作者系統地研究了該數據集上的代表性方法，並獲得了一些有趣的發現並希望這個數據集可以促進動作理解的研究。
論文地址：
https://arxiv.org/abs/2004.06704
END
