重慶分公司
基于TensorFlow的開源JS庫(kù)的網(wǎng)頁(yè)前端人物動(dòng)作捕捉的實(shí)現(xiàn)-創(chuàng)新互聯(lián)
前言
隨著前端生態(tài)的發(fā)展，Java已經(jīng)不僅僅局限于作為網(wǎng)頁(yè)開發(fā)，也越來(lái)越活躍于服務(wù)器端，移動(dòng)端小程序等應(yīng)用開發(fā)中。甚至通過(guò)Electron等打包工具，甚至能夠開發(fā)多系統(tǒng)的桌面應(yīng)用。其涉足的領(lǐng)域?qū)挿阂彩沟媚軌驅(qū)崿F(xiàn)的功能也不再是簡(jiǎn)單的UI控件制作和內(nèi)容的展示，在互動(dòng)娛樂(lè)，小領(lǐng)域也有著極大的發(fā)展前景。本文以通過(guò)Java開發(fā)一個(gè)基于瀏覽器攝像頭的實(shí)時(shí)人物動(dòng)作捕捉小程序?yàn)槔榻B一下前端在這一領(lǐng)域的可行性。
什么是TensorFlow
TensorFlow 最初是由Google大腦小組的研究員和工程師們開發(fā)出來(lái)，采用數(shù)據(jù)流圖（Data Flow Graphs）用于機(jī)器學(xué)習(xí)和深度神經(jīng)網(wǎng)絡(luò)方面數(shù)值計(jì)算的開源軟件庫(kù)。其高度的可移植性和多語(yǔ)言性使得它可以通過(guò)各種常用編程語(yǔ)言編寫，輕松的運(yùn)行在多種平臺(tái)的設(shè)備上。是一個(gè)集性能，可靠性，通用性，易用性為一體的強(qiáng)大開源庫(kù)。
本文所使用的開源Java模型庫(kù)：
l tfjs-models/posenet: 一個(gè)機(jī)器學(xué)習(xí)模型，功能為對(duì)圖像或者視頻中的人物進(jìn)行動(dòng)作捕捉，輸出人體各個(gè)部位的keypoints（坐標(biāo)集）。具有單一人物分析和多人物分析的特點(diǎn)。
l tfjs-models/body-pix: 一個(gè)機(jī)器學(xué)習(xí)模型，功能為對(duì)圖像或者視頻中人物和背景進(jìn)行分析，將人物從背景中剝離出來(lái)，輸出結(jié)果為人體24個(gè)部位在畫面中的像素位置。具有將人物與背景分離的功能。
實(shí)現(xiàn)原理
本文所介紹的基于瀏覽器和網(wǎng)絡(luò)攝像頭的人物實(shí)時(shí)動(dòng)作捕捉方法，其實(shí)現(xiàn)原理是通過(guò)Java調(diào)用
*在基本的原理中
通過(guò)tfjs-models/posenet模型庫(kù)實(shí)現(xiàn)人物動(dòng)作捕捉
l?基本配置
· 導(dǎo)入JS
· HTML
· 初始化網(wǎng)絡(luò)攝像頭
· 生成posenet對(duì)象
參數(shù)說(shuō)明：
architecture：分為MobileNetV1和ResNet50兩個(gè)體系，其中ResNet50精度更高但處理速度較慢。
outputStride：輸出結(jié)果每個(gè)像素占用字節(jié)數(shù)，數(shù)字越小結(jié)果越精確，但處理的成本和時(shí)間更多。
inputResolution：輸入圖像壓縮后的尺寸，數(shù)字越大越精確，但處理的成本和時(shí)間更多。
multiplier：僅在MobileNetV1體系中使用，卷積運(yùn)算的深度（通道數(shù)），數(shù)字越大層數(shù)越多越精確，但處理的成本和時(shí)間更多。
l?執(zhí)行實(shí)時(shí)分析
l?結(jié)果
· 多人捕捉：多人捕捉時(shí)能夠獲得畫面中人物的keypoints，互相之間有一定的干擾但影響并不是特別大。
· 單人捕捉：很容易被背景及身邊人物干擾，導(dǎo)致人體keypoint定位不準(zhǔn)確。
l?缺點(diǎn)
通過(guò)實(shí)際的效果可以看到，該模型可以在多人物的時(shí)候準(zhǔn)確捕捉到各個(gè)人物的動(dòng)作和身體部位的keypoints，雖然存在若干干擾和不穩(wěn)定但基本能夠接受，實(shí)時(shí)性效果好，但是無(wú)法區(qū)分主要人物和次要人物，需要開發(fā)者對(duì)結(jié)果數(shù)據(jù)進(jìn)行處理。
其score的生成是根據(jù)形狀準(zhǔn)確度來(lái)計(jì)算，沒(méi)有場(chǎng)景深度的分析，因此無(wú)法判斷人物前后位置關(guān)系。http://u48582907.b2bname.com/
由于以上的問(wèn)題，該方法在單一人物動(dòng)作捕捉時(shí)被周圍環(huán)境干擾的影響極大。在背景存在其他人物時(shí)會(huì)因無(wú)法判斷主次人物關(guān)系，極大的降低準(zhǔn)確率。對(duì)單一人物動(dòng)作捕效果非常的不理想，需要進(jìn)行改進(jìn)。
改進(jìn)方案
單一人物的動(dòng)作捕捉被外界干擾的影響太大導(dǎo)致結(jié)果并不理想，因此首先要考慮的就是屏蔽掉周圍干擾物體，突出主體人物。由此引入了tfjs-models/body-pix模型庫(kù)。
**tfjs-models/body-pix模型庫(kù)的主要功能：**實(shí)時(shí)分析人物結(jié)構(gòu)，將人物從背景中剝離。其作用對(duì)象為單一捕捉對(duì)象，正好適用于上述單人捕捉結(jié)果不理想的情況。
l?基本配置
· 導(dǎo)入JS
· 生成bodyPixNet對(duì)象
l?tfjs-models/body-pix與tfjs-models/posenet的混合使用
l?結(jié)果
tfjs-models/body-pix與tfjs-models/posenet的混合使用，雖然加大了canvas處理的負(fù)擔(dān)，加大了描繪和圖像處理的次數(shù)，但是由于tfjs-models/body-pix已經(jīng)先將人物與背景剝離，在tfjs-models/posenet只使用用最高效但低準(zhǔn)確度的參數(shù)配置下，也能夠產(chǎn)生遠(yuǎn)高于使用高精確度但消耗處理性能極大的配置所不能達(dá)到的準(zhǔn)確度。從而實(shí)現(xiàn)了高效，高準(zhǔn)確度，流暢的實(shí)時(shí)單人動(dòng)作捕捉功能。
結(jié)論
通過(guò)TensorFlow的開源庫(kù)，能夠輕松的在瀏覽器上通過(guò)網(wǎng)絡(luò)攝像頭實(shí)現(xiàn)人物動(dòng)作的實(shí)時(shí)捕捉。鄭州不孕不育醫(yī)院有哪些：http://wapyyk.39.net/zz3/zonghe/1d427.html
由于基于圖像分析，因此表現(xiàn)能力極大的依賴于對(duì)canvas的描繪性能，移動(dòng)端由于瀏覽器canvas描繪能力以及硬件性能限制的原因，表現(xiàn)并不出色，無(wú)法做到長(zhǎng)時(shí)間實(shí)時(shí)捕捉。甚至部分瀏覽器限制了網(wǎng)絡(luò)攝像頭的調(diào)用。在移動(dòng)端的表現(xiàn)并不出色。
在單一人物的動(dòng)作捕捉時(shí)，tfjs-models/body-pix與tfjs-models/posenet的混合使用能夠使精確度大大提升。
由于需要對(duì)canvas進(jìn)行描繪，結(jié)合其他canvas的JS庫(kù)可以進(jìn)行交互UI，交互小等不同場(chǎng)合APP的開發(fā)。
創(chuàng)新互聯(lián)www.cdcxhl.cn，專業(yè)提供香港、美國(guó)云服務(wù)器，動(dòng)態(tài)BGP最優(yōu)骨干路由自動(dòng)選擇，持續(xù)穩(wěn)定高效的網(wǎng)絡(luò)助力業(yè)務(wù)部署。公司持有工信部辦法的idc、isp許可證， 機(jī)房獨(dú)有T級(jí)流量清洗系統(tǒng)配攻擊溯源，準(zhǔn)確進(jìn)行流量調(diào)度，確保服務(wù)器高可用性。佳節(jié)活動(dòng)現(xiàn)已開啟，新人活動(dòng)云服務(wù)器買多久送多久。
名稱欄目：基于TensorFlow的開源JS庫(kù)的網(wǎng)頁(yè)前端人物動(dòng)作捕捉的實(shí)現(xiàn)-創(chuàng)新互聯(lián)
網(wǎng)頁(yè)路徑：http://www.xueling.net.cn/article/ddhiip.html