轉載請註明作者及出處：https://www.jianshu.com/p/b41f64389c21
[25]——Android 人臉識別瞭解一下 （上）
在上文中我大致的介紹了官方 Demo 中人臉註冊的流程，本文我們接着來看看，在完成了人臉註冊之後我們該如何識別出用戶的人臉特徵，從而通過人臉識別獲取用戶信息。
人臉識別的全部流程集成在官方 Demo 的 DetecterActivity 文件中。
還是來了解幾個概念
- 人臉追蹤 FT
- 年齡檢測 Age
- 性別檢測 Gender
其中人臉追蹤 FT 與人臉檢測 FD 功能基本一致（甚至代碼基本都是相同的），Age 引擎用於識別年齡，Gender 引擎用於識別性別。
識別流程
整體上比人臉註冊還要簡單，官方提供了很好的封裝供我們使用，我們來看看流程。
第一步：
創建兩個疊加在一起的 SurfaceView，一個用於顯示攝像頭的預覽信息，一個用於框出攝像頭預覽中人臉的位置；
//覆蓋在相機預覽之上的一層surfaceview
mGLSurfaceView = (CameraGLSurfaceView) findViewById(R.id.glsurfaceView);
mGLSurfaceView.setOnTouchListener(this);
//攝像頭的surfaceview
mSurfaceView = (CameraSurfaceView) findViewById(R.id.surfaceView);
mSurfaceView.setOnCameraListener(this);
mSurfaceView.setupGLSurafceView(mGLSurfaceView, true, mCameraMirror, mCameraRotate);
mSurfaceView.debug_print_fps(true, false);這裏面出現了兩個監聽器，分別是View.OnTouchListener 、CameraSurfaceView.OnCameraListener，第一個監聽器用於設置觸摸對焦，第二個監聽器就是我們實現人臉識別的最基礎一步：設置、獲取攝像頭的數據；
該接口共有6個方法：
public interface OnCameraListener {
/**
* setup camera. 設置相機參數
* @return the camera
*/
public Camera setupCamera();
/**
* reset on surfaceChanged. 在Surfacechanged之後重置
* @param format image format.
* @param width width
* @param height height.
*/
public void setupChanged(int format, int width, int height);
/**
* start preview immediately, after surfaceCreated 在surfaceCreated之後是否立即開始預覽
* @return true or false.
*/
public boolean startPreviewImmediately();
/**
* on ui thread. 在預覽時剛方法會被調用，該方法的返回值是後兩個方法的傳入值
* @param data image data
* @param width width
* @param height height
* @param format format
* @param timestamp time stamp
* @return image params.
*/
public Object onPreview(byte[] data, int width, int height, int format, long timestamp);
public void onBeforeRender(CameraFrameData data);
public void onAfterRender(CameraFrameData data);
}初始化相機
@Override
public Camera setupCamera() {
// TODO Auto-generated method stub
//初始化相機��
mCamera = Camera.open(mCameraID);
try {
Camera.Parameters parameters = mCamera.getParameters();
parameters.setPreviewSize(mWidth, mHeight);
parameters.setPreviewFormat(mFormat);
for( Camera.Size size : parameters.getSupportedPreviewSizes()) {
Log.d(TAG, "SIZE:" + size.width + "x" + size.height);
}
for( Integer format : parameters.getSupportedPreviewFormats()) {
Log.d(TAG, "FORMAT:" + format);
}
List<int[]> fps = parameters.getSupportedPreviewFpsRange();
for(int[] count : fps) {
Log.d(TAG, "T:");
for (int data : count) {
Log.d(TAG, "V=" + data);
}
}
//parameters.setPreviewFpsRange(15000, 30000);
//parameters.setExposureCompensation(parameters.getMaxExposureCompensation());
//parameters.setWhiteBalance(Camera.Parameters.WHITE_BALANCE_AUTO);
//parameters.setAntibanding(Camera.Parameters.ANTIBANDING_AUTO);
//parmeters.setFocusMode(Camera.Parameters.FOCUS_MODE_AUTO);
//parameters.setSceneMode(Camera.Parameters.SCENE_MODE_AUTO);
//parameters.setColorEffect(Camera.Parameters.EFFECT_NONE);
mCamera.setParameters(parameters);
} catch (Exception e) {
e.printStackTrace();
}
if (mCamera != null) {
mWidth = mCamera.getParameters().getPreviewSize().width;
mHeight = mCamera.getParameters().getPreviewSize().height;
}
return mCamera;
}攝像頭開始預覽時：
@Override
public Object onPreview(byte[] data, int width, int height, int format, long timestamp) {
//獲取攝像頭的幀數據，該數據爲NV21格式 byte數組
//調用FT人臉追蹤引擎的人臉特徵查明方法，結果保存到List<AFT_FSDKFace> result
AFT_FSDKError err = engine.AFT_FSDK_FaceFeatureDetect(data, width, height, AFT_FSDKEngine.CP_PAF_NV21, result);
Log.d(TAG, "AFT_FSDK_FaceFeatureDetect =" + err.getCode());
Log.d(TAG, "Face=" + result.size());
for (AFT_FSDKFace face : result) {
Log.d(TAG, "Face:" + face.toString());
}
if (mImageNV21 == null) {
if (!result.isEmpty()) {
//追蹤到人臉數據，取出當前追蹤的人臉，取出當前幀的NV21數據（用於人臉識別）
mAFT_FSDKFace = result.get(0).clone();
mImageNV21 = data.clone();
} else {
if (!isPostted) {
//隱藏人臉信息的提示
mHandler.removeCallbacks(hide);
mHandler.postDelayed(hide, 2000);
isPostted = true;
}
}
}
//copy rects 取出人臉追蹤的Rect
Rect[] rects = new Rect[result.size()];
for (int i = 0; i < result.size(); i++) {
rects[i] = new Rect(result.get(i).getRect());
}
//clear result.清空原來的人臉追蹤結果List
result.clear();
//return the rects for render.
return rects;
}渲染之後調用：
@Override
public void onAfterRender(CameraFrameData data) {
//在該surfaceview上畫方塊，這裏的data就是上一個方法中的返回值 return rects;
mGLSurfaceView.getGLES2Render().draw_rect((Rect[])data.getParams(), Color.GREEN, 2);
}第二步：
使用 FR 人臉識別引擎識別人臉信息，如果你已經瀏覽了上一步的代碼，你會發現這一行關鍵代碼：
if (!result.isEmpty()) {
//追蹤到人臉數據，取出當前追蹤的人臉，取出當前幀的NV21數據（用於人臉識別）
mAFT_FSDKFace = result.get(0).clone();
mImageNV21 = data.clone();
} 當 FT 人臉追蹤引擎識別出人臉信息時，我們將當前幀的人臉信息集合放在 mAFT_FSDKFace 當前幀的 NV21 格式 byte 數組放在 mImageNV21 中，有了長兩個關鍵數據，聯繫我們的上一篇文章你大概知道我們可以用他們來做什麼了吧？
上次我們已經介紹過
AFR_FSDK_ExtractFRFeature 特徵提取接口，我們就不再贅述了。
流程是這樣的 提取圖片中的人臉 → 與我們已經註冊過得特徵集合進行特徵匹配 → 匹配程度最高的作爲最終識別結果
這一過程是放在一個子線程中運行的，代碼如下：
//人臉識別線程
class FRAbsLoop extends AbsLoop {
AFR_FSDKVersion version = new AFR_FSDKVersion();
AFR_FSDKEngine engine = new AFR_FSDKEngine(); //人臉識別引擎
AFR_FSDKFace result = new AFR_FSDKFace(); //人臉特徵
//全部已經保存的人臉特徵集合
List<FaceDB.FaceRegist> mResgist = ((Application)DetecterActivity.this.getApplicationContext()).mFaceDB.mRegister;
List<ASAE_FSDKFace> face1 = new ArrayList<>();//年齡識別結果
List<ASGE_FSDKFace> face2 = new ArrayList<>();//性別識別結果
@Override
public void setup() {
AFR_FSDKError error = engine.AFR_FSDK_InitialEngine(FaceDB.appid, FaceDB.fr_key); //初始化人臉識別引擎
Log.d(TAG, "AFR_FSDK_InitialEngine = " + error.getCode());
error = engine.AFR_FSDK_GetVersion(version);
Log.d(TAG, "FR=" + version.toString() + "," + error.getCode()); //(210, 178 - 478, 446), degree = 1 780, 2208 - 1942, 3370
}
@Override
public void loop() {
//當人臉追蹤FT引擎獲取到人臉後，該數據不爲null
if (mImageNV21 != null) {
final int rotate = mCameraRotate;
long time = System.currentTimeMillis();
//FR引擎人臉特徵提取
AFR_FSDKError error = engine.AFR_FSDK_ExtractFRFeature(mImageNV21, mWidth, mHeight, AFR_FSDKEngine.CP_PAF_NV21, mAFT_FSDKFace.getRect(), mAFT_FSDKFace.getDegree(), result);
Log.d(TAG, "AFR_FSDK_ExtractFRFeature cost :" + (System.currentTimeMillis() - time) + "ms");
Log.d(TAG, "Face=" + result.getFeatureData()[0] + "," + result.getFeatureData()[1] + "," + result.getFeatureData()[2] + "," + error.getCode());
//特徵匹配結果實例
AFR_FSDKMatching score = new AFR_FSDKMatching();
float max = 0.0f;
String name = null;
for (FaceDB.FaceRegist fr : mResgist) {
for (AFR_FSDKFace face : fr.mFaceList) {
//FT人臉追蹤提取出的特徵、for循環取出的系統中保存的特徵、特徵匹配結果
error = engine.AFR_FSDK_FacePairMatching(result, face, score);
Log.d(TAG, "Score:" + score.getScore() + ", AFR_FSDK_FacePairMatching=" + error.getCode());
if (max < score.getScore()) {
max = score.getScore();
name = fr.mName;
} //從整個集合中取出最大匹配結果與姓名
}
}
//age & gender
face1.clear();
face2.clear();
face1.add(new ASAE_FSDKFace(mAFT_FSDKFace.getRect(), mAFT_FSDKFace.getDegree()));
face2.add(new ASGE_FSDKFace(mAFT_FSDKFace.getRect(), mAFT_FSDKFace.getDegree()));
ASAE_FSDKError error1 = mAgeEngine.ASAE_FSDK_AgeEstimation_Image(mImageNV21, mWidth, mHeight, AFT_FSDKEngine.CP_PAF_NV21, face1, ages);
ASGE_FSDKError error2 = mGenderEngine.ASGE_FSDK_GenderEstimation_Image(mImageNV21, mWidth, mHeight, AFT_FSDKEngine.CP_PAF_NV21, face2, genders);
Log.d(TAG, "ASAE_FSDK_AgeEstimation_Image:" + error1.getCode() + ",ASGE_FSDK_GenderEstimation_Image:" + error2.getCode());
Log.d(TAG, "age:" + ages.get(0).getAge() + ",gender:" + genders.get(0).getGender());
final String age = ages.get(0).getAge() == 0 ? "年齡未知" : ages.get(0).getAge() + "歲";
final String gender = genders.get(0).getGender() == -1 ? "性別未知" : (genders.get(0).getGender() == 0 ? "男" : "女");
//crop 截取該人臉信息
byte[] data = mImageNV21;
YuvImage yuv = new YuvImage(data, ImageFormat.NV21, mWidth, mHeight, null);
ExtByteArrayOutputStream ops = new ExtByteArrayOutputStream();
//傳入要截取的Rect範圍
yuv.compressToJpeg(mAFT_FSDKFace.getRect(), 80, ops);
final Bitmap bmp = BitmapFactory.decodeByteArray(ops.getByteArray(), 0, ops.getByteArray().length);
try {
ops.close();
} catch (IOException e) {
e.printStackTrace();
}
if (max > 0.6f) {
//fr success.置信度大於0.6
final float max_score = max;
Log.d(TAG, "fit Score:" + max + ", NAME:" + name);
final String mNameShow = name;
mHandler.removeCallbacks(hide);
mHandler.post(new Runnable() {
@Override
public void run() {
mTextView.setAlpha(1.0f);
mTextView.setText(mNameShow);
mTextView.setTextColor(Color.RED);
mTextView1.setVisibility(View.VISIBLE);
mTextView1.setText("置信度：" + (float)((int)(max_score * 1000)) / 1000.0);
mTextView1.setTextColor(Color.RED);
mImageView.setRotation(rotate);
if (mCameraMirror) {
mImageView.setScaleY(-1);
}
mImageView.setImageAlpha(255);
mImageView.setImageBitmap(bmp);
}
});
} else {
final String mNameShow = "未識別";
DetecterActivity.this.runOnUiThread(new Runnable() {
@Override
public void run() {
mTextView.setAlpha(1.0f);
mTextView1.setVisibility(View.VISIBLE);
mTextView1.setText( gender + "," + age);
mTextView1.setTextColor(Color.RED);
mTextView.setText(mNameShow);
mTextView.setTextColor(Color.RED);
mImageView.setImageAlpha(255);
mImageView.setRotation(rotate);
if (mCameraMirror) {
mImageView.setScaleY(-1);
}
mImageView.setImageBitmap(bmp);
}
});
}
mImageNV21 = null;
}
}
@Override
public void over() {
AFR_FSDKError error = engine.AFR_FSDK_UninitialEngine();
Log.d(TAG, "AFR_FSDK_UninitialEngine : " + error.getCode());
}
}這段代碼還是很簡單的，關鍵部分我都已經加了註釋，相比大家看了也都能理解。
這裏在廢話幾句：FD與FT引擎功能大致相同，完成的都是從一個 NV21 格式的圖片 byte 數組中檢測識別出人臉的位置 Rect 與角度信息。在獲得這個信息後，我們調用FR人臉識別引擎識別出特徵值信息，然後使用AFR_FSDK_FacePairMatching特徵值匹配方法，一一的與我們程序中原來存儲的人臉特徵進行匹配，取出其中匹配值最高的那組特徵值，獲取該特徵值的註冊名。
到這裏整個人臉識別的流程我們就都已經清晰的掌握了，如果沒有看明白，就下載我加過註釋的源碼，再仔細看看代碼是如何實現的。
本文有可能是這次文章的最後一篇了，但我標題上寫的是中，下一片文章可能會介紹下我在實際使用虹軟人臉識別 SDK 中遇到的問題以及解決方法（目前還沒投入到項目中使用）。如果沒有遇到問題的話，本文就此全文終。