原创 人臉核身技術原理、架構與開發 1. 概述 2. 涉及技術 3. 應用架構 4. 雲服務與開源 5. 參考文獻

1. 概述   人臉核身指通過OCR等技術來構建包含用戶真實身份信息的底庫,通過指定方式獲取用戶真實照片,利用人臉比對技術秒級確認用戶身份的技術。   人臉核身技術可用於遠程身份認證、刷臉門禁考勤、安防監控等場景。圖 1的思維導圖簡單

原创 編程隨筆-ElasticSearch知識導圖(3):映射 1. 啥是映射 2. 從一個示例開始 3. 域的數據類型 4. 映射參數 5. 一個設計實例 6. 參考文獻 本系列文章:

1. 啥是映射   ES中的映射(Mapping)實質上就是對文檔對象結構的定義,也即對文檔中各元素的描述。在ES中定義映射,就如同定義XML文檔的XML Schema。   ES中的映射定義了文檔模式(就如同在關係數據庫中定義了關係

原创 FIDO U2F應用開發(二)-編程接口 1. U2F JS API 2. 接口定義 3. 編程接口實例探究 4. 瀏覽器兼容測試 5 應用demo 6. 參考文獻

1. U2F JS API   FIDO U2F定義了JavaScript API供開發者開發支持U2F設備的在線服務網站。U2F JS API分爲兩類:底層基於消息端口的API和上層應用API。在FIDO的規格文檔中介紹底層API用

原创 FIDO U2F應用與開發(一)-原理與協議 1. FIDO與U2F 2. U2F協議原理 3. U2F協議的消息格式

1. FIDO與U2F   FIDO(Fast IDentity Online聯盟)是一個基於標準、可互操作的身份認證生態系統。   U2F(Universal 2nd Factor)是FIDO聯盟提出的使用標準公鑰密碼學技術提供更強

原创 編程隨筆-ElasticSearch知識導圖(6):管理 1. 集羣API 2. 應用客戶端訪問 3. 生產環境的監控 4. 數據備份與恢復 5. 參考文獻 本系列文章:

1. 集羣API   “curl -iXGET "http://192.168.127.100:9200/_cluster/health?pretty=true"”這樣的命令可能大家在日常工作中會經常使用,它用來顯示當前集羣的健康程度,在返

原创 編程隨筆-java編程知識收納-容器

  java中的容器使用是java程序員在編程開發中必不可少的技能,就算是剛入門的java程序員,也一定會用到ArrayList,Hashmap這樣的容器。在《java編程思想》提供了一張JDK中容器的知識圖譜,而自JDK1.5後也增加了

原创 編程隨筆-ElasticSearch知識導圖(5):聚合 1. 聚合模式 2. 與查詢指令結合 3. 常用模式設計 4. SQL訪問支持 5. 參考文獻 本系列文章:

1. 聚合模式   聚合(Aggregations)是對數據庫中數據域進行統計分析的手段,關係數據庫中我們常會用到avg,sum,count,group by這些聚合手段進行簡單的統計與分析。在ES中也提供了同樣的功能,根據使用模式,分爲以

原创 編程隨筆-ElasticSearch知識導圖(4):搜索 1. 原理 2. 搜索API 3. 關聯查詢 4. 一個設計實例 5. 參考文獻 本系列文章:

1. 原理   全文搜索是ES的核心功能。ES中的數據按數據特性可分爲兩類:確切值及全文文本。ES中如keyword,date這些類型的值都可視爲確切值。而text類型的值則視爲全文文本數據。   爲了對全文文本進行搜索,ES使用分析器(a

原创 視圖庫過車數據模擬工具設計(下) 4. 關鍵算法 5. 運行方式

4. 關鍵算法   生成行車軌跡的算法描述:對於每個過車agent,會隨機選擇一個車牌,隨機選擇一個卡口作爲起始卡口,生成一個行車軌跡。在所行駛的座標範圍內,在某個卡口點位可選擇的行駛方向如下圖所示:   由圖4可知,在不同的座標可選擇

原创 視圖庫過車數據模擬工具設計(上) 1. 需求 2. 設計思想 3 軟件架構

1. 需求   在視圖庫產品測試中目前我們目前有專門的壓力測試工具。這些工具能夠模擬大量併發的過車數據,但由於這些數據是無規律模擬出來的隨機數據,與現實世界中的過車數據規律存在一定差異,不利於基於視圖庫的應用系統進行技戰法分析。   模擬工

原创 使用SRS構建多網環境下的流媒體服務集羣 1. SRS簡介 2. 模型抽象與相關概念 3.系統實現 4. 結語

1. SRS簡介   SRS(Simple RTMP Server) 是國人寫的一款非常優秀的開源流媒體服務器軟件,可用於直播/錄播/視頻客服等多種場景,其定位是運營級的流媒體服務器。SRS支持RTMP/HLS/FLV,高效、穩定、易用,

原创 JAVA客戶端兼容Elasticsearch 6.8與7.8服務器的方案 1. 問題背景 2. 設計思路 3. 設計方案 附錄:ES客戶端封裝函數

1. 問題背景   目前項目中所使用的Elasticsearch(一下簡稱ES)的服務器版本是6.8.1,但將來有升級到7.8.1版本的計劃。這樣對於相同的應用軟件版本而言,可能會在有的地方搭配6.8.1版本使用,有的地方搭配7.8.1版本

原创 使用kafka收發大消息的一些思考 1. 背景 2. 配置 2.1 生產者與消費者的配置 2.2 kafka服務器端配置 3. 測試情況 4. 思考

1. 背景   項目中有這樣一個需求:兩個服務之間需要傳遞視頻監控平臺的設備及分組信息。一個視頻監控平臺中通常有10萬數量級的監控設備信息,每個設備的詳細信息可能有二三十個字段,再加上分組信息,傳遞的信息量接近200M左右。以前使用發送多

原创 netty應用中一次DefaultChannelPromise異常的思考 1. 問題的產生與現象 2 問題分析 3 問題的解決

1. 問題的產生與現象   近日在開發一個基於netty的網絡應用中,需要考慮一個channel斷鏈後重連的場景。在ChannelInboundHandlerAdapter中,當channelInactive函數被觸發時提示斷鏈,並在cha

原创 prometheus在數據倉庫ETL中的應用實例 1 背景 2 設計思想 3 系統架構 4 項目實施後的思考

1 背景   某市公安局對於車輛卡口數據統計分析有如下要求: 過車統計功能:根據統計時間設置,可統計指定時間段和時間類型內指定分組的過車總量,過車量趨勢(根據時間類型確定基本統計粒度);對於指定分組,可下鑽到每個設備的過車總量與過車量趨勢