原创 10分鐘精通shell編程!

10分鐘精通shell編程! 一、輸入輸出重定向 標準輸入 /dev/stdin  0 鍵盤 標準輸出 /dev/stdout 1 顯示器 標準錯誤輸出 /dev/stderr 2 顯示器 #設備文件名 #文件描述符 #默

原创 Spark Graphx圖計算之二跳鄰算法實戰!

Spark Graphx圖計算之二跳鄰算法實戰! def sendMsgFunc(edge:EdgeTriplet[Int, Int]) = { if(edge.srcAttr <= 0){ if(edge

原创 鄧佑權讀源碼之Spark源碼解密:spark shell本質!

Spark的源碼解密:spark shell本質! spark-shell腳本在bin目錄下: #!/usr/bin/env bash # # Licensed to the Apache Software Foundation (

原创 人工智能類型的創業公司大多失敗的原因

導讀: 張鈸院士:大數據驅動的人工智能有大量毛病,沒有自知之明 暴風馮鑫:人工智能是要“養”出來的   5月6日,一則新聞AI公司,開始破產了,將全球知名的AI芯片企業——WaveComputing公司破產的消息,推到了人工智能創業領域的

原创 創業箴言:馬雲說的最優價值的10句話,深刻領悟了你就能成就大事!

馬雲說的最優價值的10句話,深刻領悟了你就能成就大事! 先放圖片,然後我一條條打出來,方便大家放到手機裏、電腦裏、桌面上,時時刻刻看創業箴言:     1、從中國黃頁裏學到的,最大的改變就是,不控制董事會。以後做任何事情,只要覺得你有道

原创 深度學習Pytorch實現的CenterNet目標檢測圖像處理要點

深度學習Pytorch實現的CenterNet目標檢測圖像處理要點 圖片調整大小: resized_image = cv2.resize(image, (new_width, new_height))   圖片歸一化: inp_ima

原创 深度學習中數據管理的經驗總結

深度學習項目主要是模型+數據兩家馬車,從現階段中國的應用來說,模型只是選擇,不能自我創造或者改造,那麼最有利的辦法就是提高數據了,那麼數據採集、數據預處理、數據標註、模型訓練中,應該怎麼樣做好數據管理呢? 筆者自己總結的數據管理的經驗,希

原创 Spark Graphx圖計算之aggregateUsingIndex實操!

Spark Graphx圖計算之aggregateUsingIndex實操! aggregateUsingIndex:根據相同的verticesId,進行reduceFun操作。比如(1,1.0)(1,2.0),操作後成爲(1,3.0)

原创 linux系統Give root password for maintenance解決辦法

今天要跟朋友分享的是linux 系統Give root password for maintenance 問題的解決方法 ,希望能幫上朋友們! 問題原因應該是/usr /home /boot分區磁盤檢測出了問題。 Give root

原创 Eclipse編寫springMVC程序遇到的

ApplicationContext.xml文件: <?xml version="1.0" encoding="UTF-8"?> <beansxmlns="http://www.springframework.org/schema/bea

原创 大數據工程師、數據分析師利器:hive2.1.0新特性介紹及升級實戰!

大數據工程師、數據分析師利器:hive2.1.0新特性介紹及升級實戰! 一、緣起         hive官網(http://hive.apache.org/)在6月20日,,發佈了Hive2.1.0版本,並宣稱它是新時代大數據工程師、

原创 怎麼理解spark機器學習中的推薦算法ALS?

ALS號稱是spark機器學習中的大殺器,能做推薦系統。 但是親們,我在網上找了一堆,要不是spark的源碼,要不是純數學公司。。。。 苦悶,還有有萬能的知乎 ALS交替最小二乘法的協同過濾算法,其原理是什麼,算法的思想是怎樣的?找

原创 知乎上一位朋友總結的特別好的spark的文章,很不錯以轉載!

       Spark是基於內存的分佈式計算引擎,以處理的高效和穩定著稱。然而在實際的應用開發過程中,開發者還是會遇到種種問題,其中一大類就是和性能相關。在本文中,筆者將結合自身實踐,談談如何儘可能地提高應用程序性能。 分佈式計算引擎

原创 Spark機器學習有哪些算法?

Spark機器學習有哪些算法? Algorithms                                                  算法: MLlib contains many algorithms and