還記得年初三星推出的車尾有四塊屏幕的安全貨車嗎?通過安裝在車頭的攝像頭加屏幕,后面的汽車可以“透視”貨車,從而在超車時了解前方路況,減少車禍。在今年的IROS 2016上,韓國科學技術院KAIST的機器人與計算機視覺實驗室也展示了一項類似的技術,但他們沒用屏幕這種粗暴的方式,而是做到了真正讓汽車擁有透視能力。
簡單來說,KAIST的團隊在前后兩輛汽車上都裝上了攝像頭,前車所看到的信息會通過WiFi網絡傳到后車,并置于后車視野中的適當位置,這樣就可以在車載屏幕上看到前車視野中的信息了(效果如下圖)。相關的論文也已經發表。
圖中黃色的標記其實是題圖中灰色的起亞
這種技術在超車時特別有用,想必老司機都經歷過前有大卡車擋路,但不敢隨便超車的情況吧。
雖然過程描述起來很簡單,但真正實現并沒有那么容易。這項技術中,前車配備了兩個攝像頭,負責采集3D景物圖像;后車有一個攝像頭,負責估計與追蹤前車的相對位置。
前車的兩個攝像頭
后車攝像頭
這樣,前車采集到的圖像就可以通過相對位置投影到后車的視線里。因為只要有了攝像機的位姿(pose)和景物的3D數據,任何AR顯示都只是算投影而已。
新加坡南洋理工一位視覺方面的研究者告訴雷鋒網,這里最難的一個是實時處理,一個是攝像頭位姿估計的準確性,對于后者,目前都沒有真正很好的實時估計算法。
而這也得到了KAIST團隊的確認,他們表示在城市環境中實現SLAM,以及后車的實時定位都是很困難的事。
論文作者之一的Hyowon Ha告訴雷鋒網(搜索“雷鋒網”公眾號關注),開發中的主要困難是在算法和網絡上。后車要在持續變化的環境中實現定位,才能將前車的圖像準確置于視野中,這是一個很大的挑戰。在網絡上,現在他們用的是汽車到汽車(V2V)WiFi網絡傳輸圖像,未來還會用到5G技術。
前車中布滿了數據線
目前,KAIST已經可以做到實時在后車上顯示前車看到的圖像,視頻幀率約在15幀每秒,延時小于100ms。他們還在KAIST園區做了實驗,并在德國做了DEMO。
等待測試的兩輛汽車
論文另一作者Francois Rameau表示,現在已經有一家德國公司在與團隊合作,考慮將這一技術用在實際場景中。他同時表示,未來還會提升系統的穩定性,以適應多種天氣環境、光照條件和時間,除了透視,也還會加入場景理解與識別功能。
測試中用的前車
不過這項技術是否真那么實用呢?有人指出,如果真要規避前面障礙,用雷達就好了,但這項技術確實在視覺領域有一定的難度。
測試中的后車
不過想那么多干什么呢,目前看起來很酷就好了。