谷歌發(fā)布云視頻智能API，要給計算機視覺“黑暗物質(zhì)光芒”
隨著移動視頻應(yīng)用的推動，手機直播、VR、AR視頻、直播互動等實時視頻系統(tǒng)應(yīng)用越來越廣，基于視頻營銷、視頻巡檢、視頻協(xié)助等應(yīng)用在企業(yè)、娛樂、教育等市場普遍應(yīng)用。但我們看到基于視頻內(nèi)容的分析還發(fā)展滯后，谷歌發(fā)布的云視頻智能API給我們帶來新的機遇，視頻不僅僅是發(fā)布出來和觀看的價值，還能夠用于智能分析，基于內(nèi)容挖掘價值，將成為未來新的發(fā)展機遇。
Google Cloud Next' 17大會上，谷歌負責(zé)人工智能和機器學(xué)習(xí)研究的負責(zé)人李飛飛女士，介紹了谷歌人工智能研究的新成果，以及可以供外部開發(fā)者利用的新接口等，發(fā)布了新的機器學(xué)習(xí)API：Video Intelligence API，可以自動識別視頻中的物體，讓視頻實現(xiàn)可搜索。
李飛飛稱，視頻一直被視為計算機視覺里面的“暗物質(zhì)”，無非像圖片一樣實現(xiàn)便捷的搜索，但新的API可以幫助開發(fā)者開發(fā)出從視頻中讀取實體的應(yīng)用。
在Google Video Intelligence演示中，視頻API可實現(xiàn)搜索棒球、狗這樣的實體，并標(biāo)出在視頻中出現(xiàn)的位置，從而得到物體在視頻中出現(xiàn)的頻率。除了提取數(shù)據(jù)，API還允許在對變換的場景打標(biāo)簽。
隨著移動視頻應(yīng)用的推動，手機直播、VR、AR視頻、直播互動等實時視頻系統(tǒng)應(yīng)用越來越廣，基于視頻營銷、視頻巡檢、視頻協(xié)助等應(yīng)用在企業(yè)、娛樂、教育等市場普遍應(yīng)用。但我們看到基于視頻內(nèi)容的分析還發(fā)展滯后，谷歌發(fā)布的云視頻智能API給我們帶來新的機遇，視頻不僅僅是發(fā)布出來和觀看的價值，還能夠用于智能分析，基于內(nèi)容挖掘價值，將成為未來新的發(fā)展機遇。
Google Cloud Next' 17大會上，谷歌負責(zé)人工智能和機器學(xué)習(xí)研究的負責(zé)人李飛飛女士，介紹了谷歌人工智能研究的新成果，以及可以供外部開發(fā)者利用的新接口等，發(fā)布了新的機器學(xué)習(xí)API：Video Intelligence API，可以自動識別視頻中的物體，讓視頻實現(xiàn)可搜索。
李飛飛稱，視頻一直被視為計算機視覺里面的“暗物質(zhì)”，無非像圖片一樣實現(xiàn)便捷的搜索，但新的API可以幫助開發(fā)者開發(fā)出從視頻中讀取實體的應(yīng)用。
在Googl Cloud Video Intelligence API 演示中，視頻API可實現(xiàn)搜索棒球、狗這樣的實體，并標(biāo)出在視頻中出現(xiàn)的位置，從而得到物體在視頻中出現(xiàn)的頻率。除了提取數(shù)據(jù)，API還允許在對變換的場景打標(biāo)簽。
演示視頻：http://app-zbk.zhiboyun.com:8008/videos/12
在谷歌云官網(wǎng)視頻內(nèi)容智能識別頻道，我們可以看到：
強大視頻分析能力
谷歌云視頻智能API提供REST API，通過提取視頻特征數(shù)聚，能夠進行視頻內(nèi)容搜索和分析。通過這些API方法，能夠幫助用戶識別主要的物體對象，分離音頻信號，截取每幀視頻截圖。
獲取視頻傳達信息
云視頻智能API讓開發(fā)者在不需要機器學(xué)習(xí)和計算機視覺知識的前提下， 從視頻中提取動作信息。云視頻智能API通過不斷改善算法，新的概念引入，讓算法更精確。
快速檢索視頻目錄
云視頻智能API幫助用戶基于各種對象名稱檢測視頻，了解個人視頻目錄內(nèi)容，在每個視頻上打上可理解的視頻標(biāo)簽，就像搜索文本文件一樣簡單。
從噪音中分離信號
使用云視頻智能API， 可以識別隱藏在聲音噪音中的商業(yè)信息，或者在一段視頻、截圖、幀數(shù)據(jù)中檢測出符合某種特征的實體。
在谷歌云官方網(wǎng)址上，https://cloud.google.com/video-intelligence/#demo 我們可以看到多組介紹和演示 “視頻智能API”的例子。
通過這一技術(shù)，谷歌能夠識別視頻當(dāng)中的各種動物、物體、風(fēng)景等內(nèi)容，識別視頻場景的變化。
DEMO-1 ，Style Detection
視頻標(biāo)簽： 在整個視頻中檢測實體，例如狗、花朵、人等
Video Labels：Detect objects, such as dog, flower, human, in the entire video.
(識別視頻中戴眼鏡的場景比例)
（識別出場景變化，藝術(shù)、學(xué)校、學(xué)習(xí)等關(guān)鍵場景及比例）
（谷歌云視頻智能API 程序編寫）
Google Cloud Video Intelligence API DEMO ，Style Detection，Video URL：
http://app-zbk.zhiboyun.com:8008/videos/13
DEMO-2， Vision API
谷歌云視頻智能API 說明，例子講解概念和工作方式，舉例如何識別人臉、識別車輛等場景。
（Google Cloud Video Intelligence API DEMO，識別出卡通、圖形、設(shè)計等場景和比例 ）
（Google Cloud Video Intelligence API DEMO ,識別出車輛，玩具等場景和比例）
（Google Cloud Video Intelligence API DEMO ）
Google Cloud Video Intelligence API DEMO ，Style Detection，Video URL：
http://app-zbk.zhiboyun.com:8008/videos/15
Demo 3， Volleyball Court
（Google Cloud Video Intelligence API DEMO，調(diào)用代碼 ）
Google Cloud Video Intelligence API，工作過程WEB 頁面視頻：
http://app-zbk.zhiboyun.com:8008/videos/11
還有一個在近期Google 對外提供演示的例子， 動物園老虎的例子視頻智能識別。
（Google Cloud Video Intelligence API DEMO，對動物園場景視頻智能識別數(shù)據(jù)展示 ）
VIDEO URL 視頻地址： http://app-zbk.zhiboyun.com:8008/videos/10
從功能上，這些識別技術(shù)和過去的圖像識別、人臉識別存在相似之處，不過谷歌已經(jīng)把識別提升到了視頻的新領(lǐng)域。
目前，視頻識別依然是一個新技術(shù)。許多互聯(lián)網(wǎng)公司無法識別視頻內(nèi)容，要求用戶在上傳時提供諸多的標(biāo)簽，從而利用標(biāo)簽作為搜索依據(jù)。
過去，谷歌已經(jīng)把許多機器學(xué)習(xí)的技術(shù)及時變成了軟件開發(fā)接口，讓開發(fā)者應(yīng)用到自己的軟件產(chǎn)品中。據(jù)悉，谷歌也正在把上述的視頻內(nèi)容識別變成接口，對外開放。
視頻識別將具有重大的應(yīng)用場景，比如在安全、打擊恐怖主義等領(lǐng)域，政府或者警方可以對視頻畫面進行實時的監(jiān)控和分析，快速抓捕恐怖分子。
經(jīng)讓互聯(lián)網(wǎng)進入了網(wǎng)絡(luò)視頻時代，短視頻、視頻直播、手機直播、直播互動等新應(yīng)用不斷出現(xiàn)，但是與此同時，視頻搜索的長期落后，成為行業(yè)的一個短板。不少消費者已經(jīng)發(fā)現(xiàn)，在一些搜索引擎的視頻搜索服務(wù)中，出現(xiàn)了準(zhǔn)確率太低的現(xiàn)象，主要原因是搜索企業(yè)對于視頻內(nèi)容完全無法識別，他們只能根據(jù)視頻周邊的文字內(nèi)容、視頻標(biāo)題等附加信息進行搜索，這導(dǎo)致差錯率大大提高，也影響了用戶發(fā)現(xiàn)更多精彩的視頻內(nèi)容。
值得一提的是，在人工智能、機器學(xué)習(xí)和圖像識別方面，谷歌和Facebook展開了一場軍備競賽。在去年的一次開發(fā)大會上，Facebook相關(guān)團隊負責(zé)人也曾經(jīng)表示，Facebook已經(jīng)具備了成熟的圖像識別技術(shù)，目前正在進行視頻識別的研究，希望能夠盡早識別出視頻中的人臉，方便搜索好友之間發(fā)送的大量視頻。
除了視頻API，李飛飛還表示Google的機器學(xué)習(xí)引擎ML Engine會向更廣泛的用戶提供。該引擎可以使用TensoFlow框架開發(fā)機器學(xué)習(xí)模型。
她還在演講中提到，希望能讓AI實現(xiàn)民主化，讓更多人享受到AI的便利。
參考鏈接：
- Announcing Google Cloud Video Intelligence API, and more Cloud Machine Learning updates ， Wednesday, March 8, 2017