你不是谷歌或臉書,如何建立機器學習團隊?

AI前線導讀:
最近,各種規模、各種行業的公司的朋友都問我同樣的問題,“我如何將機器學習應用於我的業務?”這些人都認識到,機器學習有很合適的應用場景。但是,每個人都在讓機器學習發揮作用、僱傭員工、獲得成功方面陷入了困境。根據業務規模,我將介紹三種分別適用於小型團隊、中型團隊和大型公司的方法。
更多幹貨內容請關注微信公衆號“AI前線”(ID:ai-front)

最近,各種規模、各種行業的公司的朋友都問我同樣的問題,“我如何將機器學習應用於我的業務?”這些人都認識到,機器學習有很合適的應用場景。但是,每個人都在讓機器學習發揮作用、僱傭員工、獲得成功方面陷入了困境。

根據業務規模,我將介紹我的三種主要方法。

小型團隊

這些是我對處於早期階段的公司或非營利組織提出的關於機器學習應用場景的建議。對於一家規模小、沒有資金或資金不足的公司來說,在內部獲得機器學習的專業知識感覺是不可能的。好消息是,許多ML從業者對這種工作感到興奮。尋找關心公司使命的人。在這種規模下,你將依賴ML從業者來實現從數據收集、清理到部署的所有端到端的一切。實際的機器學習部分幾乎可以肯定是非常小的。

僱傭一個在工程和數據方面都比較擅長的人絕對是最好的選擇。一個經驗豐富的工程師,如果他回到學校,或者做過一些機器學習方面的線上工作,那麼他就能很好地發揮作用,因爲他的目標不是完美,而是讓一個系統完成端到端的工作,然後慢慢地優化所有的步驟。我要找一份簡歷,上面寫着參加過一些Kaggle競賽或自主項目。在面試中,我要找的是既思想開放又務實的候選人。在構建和測試一個模型之前,想要把一種模型應用於所有事情的研究人員或者想要花費幾個月的時間來優化數據管道的研究人員都不太適合。

中型團隊

當我在一家正在成長的初創企業或中型企業中組建團隊,而他們對多種機器學習應用程序感興趣時,我採取了一種略有不同的方法。與谷歌不同,你僱不起這麼多研究人員。你負擔不起讓機器學習專家撰寫研究論文的費用。這裏的關鍵是僱傭一個非常優秀的機器學習研究人員,併爲他們配備數據工程師,使他們非常有生產力。找一個有良好背景和記錄的人,確保人們願意和他們一起工作。像使用寶貴的資源一樣使用他們——不要讓他們編寫代碼——讓工程師圍繞在他們周圍,從他們那裏學習,並讓他們教工程師如何進行機器學習。

有些公司會建立一個實用的機器學習小組,有些公司會將機器學習包含到團隊中。許多人對此有強烈的看法,但我是務實的,我看到過,兩種組織結構都可以奏效。單獨的機器學習團隊可以真正地幫助人才,這往往是最大的瓶頸。在這種方法中,你需要謹慎管理團隊,以確保他們正在爲組織處理最重要的任務。把機器學習的專業知識分散到整個組織中,可以使實際的機器學習專家感到高興,因爲他們更接近最終用戶,但那會增加招聘的難度。

僱傭更多的機器學習工程師,而不是機器學習科學家,並讓他們配合工作,這至關重要。機器學習團隊使用他們的算法進行優化的事情經常與業務需求有根本的不同。如果沒有一個可工作的端到端系統,這種失調可能會持續數月而無法發現。另一個常見的問題是訓練數據需要修改或更新,但直到訓練和部署算法時才發現。由於這些原因,在迭代端到端的系統之前,讓端到端系統儘可能快地運行起來至關重要。

大型公司

在與許多大型公司的合作中,我一次又一次地看到同樣的錯誤。在這個範圍內,一家公司可以僱傭高質量的ML人才,但卻沒有足夠的預算與行業巨頭競爭。

Facebook和谷歌的精英團隊正在使用標準的開源模型和架構。最近,我與許多《財富》500強的企業進行了交談,他們正在構建自己的神經網絡體系結構,但沒有測試是否有必要這樣做。機器學習研究人員喜歡做研究,而管理者欺騙了自己,讓自己認爲研究人員正在構建有價值的知識產權。他們不是。他們浪費了大量的時間來重新發明輪子,而這些時間最好花在最新的、最前沿的模型上。在複雜度上,最好從最簡單、最標準的東西和層面開始。每一個額外的部分都會對算法的性能產生重大影響

大公司應該避免建立自己的機器學習基礎設施。與我交談過的幾乎每家科技公司都在建立自己的機器學習庫,而且他們的團隊對這方面的工作非常有熱情。這種趨勢讓我想起了2005年,一些公司構建了自己的Web應用程序框架,在難以標準化的定製平臺上進行開發。當時已經有良好的基礎設施,而且一直在改善。與構建和維護定製基礎設施相比,使用開源工具要更可持續。

大型公司應該培訓他們的工程師做機器學習。工程師們非常渴望學習機器學習,現代基礎設施工具使機器學習變得越來越簡單。在這一點上,我認爲,與教機器學習實踐者如何成爲一個好的工程師相比,教一個工程師機器學習更有效。無論如何,經過一些機器學習訓練的工程師在很多方面都可以發揮作用。有些公司正在這樣做,但我很驚訝,更多的公司沒有意識到這一點。

值得嗎?

僱傭ML團隊的成本很高,而且工作量很大。有些公司僱了一個ML團隊來吸引投資者——這永遠不會有好結果。不管你的規模有多大,如果你沒有一個清晰的機器學習應用,你會後悔你的投資。要問自己幾個關鍵問題:

  1. 我有需要機器學習來解決的問題嗎?(關於這一點,我有一個視頻。)

  2. 我能夠標註或收集相關的訓練數據嗎?

  3. 我要解決的問題對於業務而言很關鍵嗎?

如果所有這些問題的答案都是“是”,那麼你已經做好了成功的準備。

查看英文原文:https://www.wandb.com/blog/how-to-build-a-machine-learning-team-when-you-are-not-google-or-facebook

image

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章