原创 應聘——大數據研發(1)-MapReduce編程

MapReduce 本文參見《MapReduce Design Pattern》文中[實例代碼] 第一章:設計模式 Reader 將輸入數據轉換成key-value的形式,通常Key爲數據塊存放的地址,Value爲數據。 Map

原创 應聘——總Plan

最近又要做實驗又要準備面試,有點亂,所以做個計劃。 一共三條線:坦克線,輔助線,法師線。 坦克線——基礎 數據結構 算法 面向對象 JVM 並行編程 其他 《程序員面試金典》 數據結構 算法 概念 鏈表 廣度優先

原创 Nvidia + Ubuntu/Win7

PE系統 U盤啓動盤 在win7環境下 1.下載鏡像文件 2. 下載並安裝universal usb installer (試過軟碟通,但是失敗了,還是universal這個好用) 這步成功後,能保證插入主機以後進入Ubunt

原创 應聘-系統研發工程師

Hadoop阿里巴巴面試題目 前段時間接到阿里巴巴面試雲計算,拿出來給我們共享下 1、hadoop運轉的原理? 2、mapreduce的原理? 3、HDFS存儲的機制? 4、舉一個簡略的比方闡明mapreduce是怎麼來

原创 基礎——算法

五大算法來自於這裏 分治算法 分而治之:將一個難以直接解決的大問題,分割成一些規模較小的相同問題,以便各個擊破,分而治之。 分治法在每一層遞歸上都有三個步驟: step1 分解:將原問題分解爲若干個規模較小,相互獨立,與原問題形式

原创 基礎——硬件

common sense GPU 內存是幫CPU暫存資料的儲存空間 顯存是幫GPU(顯卡芯片)暫存資料的儲存空間 基本上他們都是RAM,即斷電資料消失的東西,所有的RAM顆粒也可以是一樣的,只是放在線路的不同位置,而且內存

原创 SparkCL 源碼分析(一)

SparkCL-Example : SparkCLPi.java 主要代碼: JavaSparkContext jsc = new JavaSparkContext(sparkConf); int count =

原创 應聘——亂七八糟

[感謝小陶的精心整理](http://note.youdao.com/share/?id=fd1b2bc530b39885177969786a4db08f&type=note#/) 經歷2017.3.3第一次阿里內推電面,對自己的

原创 ML實踐-Adaptive Linear Neurons(Adaline)

原理 在萬事開頭難那篇文中,介紹了一個初級的一層神經網,這是在最初級上面的follow up 版。 增強的點有: 1. Bernard新提出了cost function 2. weights的更新基於線性方程(linear acti

原创 opencv+opencl c++程序移植心酸路

因爲想要再其他兩個節點運行該程序,所以踏上不歸路。 方法一 在每個節點配置相同環境 在其他節點配置的環境必須要與原機的環境完全相同。這裏包括: 1. 編譯環境相同 2. ffmpeg版本相同 (在用apt-get直接下載ffmpe

原创 ML實踐——邏輯迴歸logistic regression

原理 從圖中可以看出與perceptron的異同: logistic regression model: perceptron: 簡單地說把Sigmoid function用作activation function。 ϕ(z)=1

原创 坦克線——c++面試常考

static的作用 更多詳情 解: 1)在函數體內,一個被聲明爲靜態的變量在這一函數被調用過程中維持其值不變。 2)在模塊內(但在函數體外),一個被聲明爲靜態的變量可以被模塊內所用函數訪問,但不能被模塊外其它函數,它是一個本地的

原创 ML實戰-Adaline with stochastic gradient descent

原理 stochastic gredient descent 初版的Adaline的最大缺點是需要x, y 的全集來進行計算weight, 但是在實際的大數據應用場景中,這是不可能的。因爲在網絡中,數據是指數增長的,有新的數據源源不斷地添

原创 坦克線——Java面試常考

基礎 1. hashmap的實現 HashMap的底層是用hash數組和單向鏈表實現的 ,當調用put方法是,首先計算key的hashcode,定位到合適的數組索引,然後再在該索引上的單向鏈表進行循環遍歷用equals比較key是否存在,

原创 Ubuntu+Eclipse+SparkStreaming

hadoop集羣搭建 : 鏈接 spark集羣搭建:鏈接 官方鏈接 在用maven add dependencies的時候,出了各種error, 各種couldn’t transfer from…. 各種couldn’t read…no