基于汽車的多模式交互研究

隨著車聯(lián)網(wǎng)的各個(gè)方面越來(lái)越多地進(jìn)入我們?nèi)粘Ｉ畹脑S多方面，用戶正在與汽車之間進(jìn)行多模式互動(dòng)。目前，在移動(dòng)互聯(lián)網(wǎng)的背景下，利用物聯(lián)網(wǎng)與汽車智能化技術(shù)，多模式交互技術(shù)已經(jīng)被識(shí)別和試驗(yàn)來(lái)適應(yīng)汽車環(huán)境。

現(xiàn)在，基于語(yǔ)音的交互與視覺(jué)、觸覺(jué)界面的交互較為引人注目，但它僅僅是我們?cè)诋?dāng)今汽車中以多模式交互方式的一部分。事實(shí)上，汽車制造商正致力于研究多模式交互，從而滿足人們對(duì)于汽車安全和科技感的追求。


多模式交互概念

多模式交互是為用戶提供多種與系統(tǒng)交互的模式。多模式系統(tǒng)可以處理兩種或多種組合用戶輸入模式，如文字、語(yǔ)音、視覺(jué)、動(dòng)作、環(huán)境、觸摸和多媒體系統(tǒng)輸出協(xié)調(diào)一致的學(xué)習(xí)。

通過(guò)多種方式進(jìn)行人機(jī)交互，充分模擬人與人之間的交互方式。這一交互方式復(fù)合機(jī)器人類產(chǎn)品的形態(tài)特點(diǎn)和用戶期待，打破了傳統(tǒng)PC式的鍵盤輸入和智能手機(jī)的點(diǎn)觸式交互模式。多種模式旨在共同工作，使互動(dòng)更多直觀和自然。



多模式交互分類

多模式交互大致可以分為3類。多模態(tài)輸入的融合使用一種模式的優(yōu)勢(shì)來(lái)彌補(bǔ)其他設(shè)計(jì)時(shí)間和運(yùn)行時(shí)間等缺點(diǎn)。

順序多模式：意味著用戶必須在交互模式之間切換，但不能一起使用模式。

同時(shí)多模式：允許用戶一次使用多種模式與系統(tǒng)進(jìn)行交互。例如：在路徑查找器應(yīng)用程序中，用戶可以使用觸摸在屏幕上的地圖上指示兩個(gè)位置，并說(shuō)“顯示從這里到這里的最快路線”。

輸入/輸出模式：多模式交互圍繞具有某些模式，采用各種形式輸入（視覺(jué)、觸覺(jué)、語(yǔ)音），將它們無(wú)縫地組合在一起，處理并以一種或另一種輸出模式（文本、音頻、學(xué)習(xí)）給出反饋或輸出。

車載多模式交互的必要性

減少駕駛員分心

分心駕駛是任何可能會(huì)將人的注意力從主要活動(dòng)駕駛?cè)蝿?wù)分離的行為。所有分心都會(huì)危及司機(jī)，乘客和旁觀者的安全。這些分心的類型包括：

使用手機(jī)或智能手機(jī)，發(fā)短信
調(diào)整車內(nèi)設(shè)施，如車窗
吃喝
與乘客交談
梳理
閱讀，包括地圖
使用導(dǎo)航系統(tǒng)
觀看視頻
調(diào)整收音機(jī)，CD播放機(jī)或MP3播放器“
駕駛員疲勞駕駛
心情不佳，導(dǎo)致?tīng)顟B(tài)不加，容易分心走神

減少認(rèn)知負(fù)荷

由于駕駛員對(duì)于很多功能理解欠缺。人的工作記憶的容量有限，一次只能存儲(chǔ)5-9條基本信息。所以，在使用過(guò)程中一次只能處理2-3條信息，從而減少了一次處理的信息數(shù)。因此，急需有多模式交互系統(tǒng)做相關(guān)提醒和建議。比如說(shuō)ADAS系統(tǒng)的應(yīng)用。

△ADAS系統(tǒng)

車載多模式交互的應(yīng)用和研發(fā)

盡管近年來(lái)多模式交互系統(tǒng)取得了重大進(jìn)展，但在復(fù)雜的多模式交互成為普遍現(xiàn)象之前，還有許多工作要做。目前，汽車行業(yè)主要是在語(yǔ)音交互、HUD、觸摸屏等方面的研究比較多。但是下一代人機(jī)交互（HCI）設(shè)計(jì)需要包含能力識(shí)別用戶，在很多情況下，人機(jī)交互將更加注重情感交流和未來(lái)科技的研發(fā)。

在方向盤上結(jié)合語(yǔ)音和手勢(shì)

通過(guò)使用語(yǔ)音識(shí)別功能，我們利用汽車中物體的可見(jiàn)性（例如鏡像）以及簡(jiǎn)單訪問(wèn)等功能。使用手勢(shì)進(jìn)行操作，我們提供簡(jiǎn)單的控制，即時(shí)反饋并輕松撤消操作。

多模式情感智能界面設(shè)計(jì)

基于深度神經(jīng)網(wǎng)絡(luò)的機(jī)器人行為多模態(tài)綜合學(xué)習(xí)，在每次驅(qū)動(dòng)之前，使用屏幕校準(zhǔn)注視矢量必須根據(jù)每個(gè)駕駛員的身高和位置進(jìn)行驗(yàn)證。多模態(tài)情緒識(shí)別框架，結(jié)合了駕駛員的腦電波和眼球運(yùn)動(dòng)。開發(fā)智能車載系統(tǒng)，提供實(shí)時(shí)幫助或回顧性反饋以減輕基于駕駛員狀態(tài)/行為以及交通的分心。

車載HUD原型手勢(shì)識(shí)別界面

汽車內(nèi)的各種信息娛樂(lè)設(shè)備的通知能夠集中在一起，從而使駕駛員專注開車，而無(wú)需將注意力放在儀表盤和中控。移動(dòng)通信和導(dǎo)航數(shù)據(jù)識(shí)別能夠更好的獲取道路交通情況。

全息技術(shù)的應(yīng)用

全息技術(shù)在之前的文章里已經(jīng)有所陳述，在這里就不一一介紹了。

多主體多通道交互模型

在進(jìn)行基于汽車的交互設(shè)計(jì)與用戶界面設(shè)計(jì)之前，有必要建立一個(gè)新的交互模型，即基于汽車的多主體多通道交互模型。

“Put That There”

put that there 是麻省理工學(xué)院建筑機(jī)器組實(shí)施的語(yǔ)音和手勢(shì)互動(dòng)系統(tǒng)。它允許用戶在大型視頻顯示器上構(gòu)建和修改圖形數(shù)據(jù)庫(kù)。這項(xiàng)研究的目標(biāo)是與復(fù)雜的計(jì)算機(jī)交互的簡(jiǎn)單對(duì)話界面。

汽車安全注意事項(xiàng)

目前，電子安全是所有人關(guān)心的主要問(wèn)題之一。黑客，反社會(huì)組織可能針對(duì)自動(dòng)車輛和智能系統(tǒng)采取行動(dòng)，從而導(dǎo)致交通問(wèn)題和事故。因此，確保汽車收到的信息不侵犯?jìng)€(gè)人隱私是首要責(zé)任。

車聯(lián)網(wǎng)的技術(shù)發(fā)展給我們的研究提供了跨學(xué)科、跨領(lǐng)域的新可能性，在以汽車為中心的移動(dòng)信息平臺(tái)的框架下，多模式交互方式給今后的汽車設(shè)計(jì)又提出了新的挑戰(zhàn)。