基于汽車的多模式交互研究

隨著車聯(lián)網(wǎng)的各個方面越來越多地進入我們?nèi)粘Ｉ畹脑S多方面，用戶正在與汽車之間進行多模式互動。目前，在移動互聯(lián)網(wǎng)的背景下，利用物聯(lián)網(wǎng)與汽車智能化技術(shù)，多模式交互技術(shù)已經(jīng)被識別和試驗來適應(yīng)汽車環(huán)境。

現(xiàn)在，基于語音的交互與視覺、觸覺界面的交互較為引人注目，但它僅僅是我們在當(dāng)今汽車中以多模式交互方式的一部分。事實上，汽車制造商正致力于研究多模式交互，從而滿足人們對于汽車安全和科技感的追求。


多模式交互概念

多模式交互是為用戶提供多種與系統(tǒng)交互的模式。多模式系統(tǒng)可以處理兩種或多種組合用戶輸入模式，如文字、語音、視覺、動作、環(huán)境、觸摸和多媒體系統(tǒng)輸出協(xié)調(diào)一致的學(xué)習(xí)。

通過多種方式進行人機交互，充分模擬人與人之間的交互方式。這一交互方式復(fù)合機器人類產(chǎn)品的形態(tài)特點和用戶期待，打破了傳統(tǒng)PC式的鍵盤輸入和智能手機的點觸式交互模式。多種模式旨在共同工作，使互動更多直觀和自然。



多模式交互分類

多模式交互大致可以分為3類。多模態(tài)輸入的融合使用一種模式的優(yōu)勢來彌補其他設(shè)計時間和運行時間等缺點。

順序多模式：意味著用戶必須在交互模式之間切換，但不能一起使用模式。

同時多模式：允許用戶一次使用多種模式與系統(tǒng)進行交互。例如：在路徑查找器應(yīng)用程序中，用戶可以使用觸摸在屏幕上的地圖上指示兩個位置，并說“顯示從這里到這里的最快路線”。

輸入/輸出模式：多模式交互圍繞具有某些模式，采用各種形式輸入（視覺、觸覺、語音），將它們無縫地組合在一起，處理并以一種或另一種輸出模式（文本、音頻、學(xué)習(xí)）給出反饋或輸出。

車載多模式交互的必要性

減少駕駛員分心

分心駕駛是任何可能會將人的注意力從主要活動駕駛?cè)蝿?wù)分離的行為。所有分心都會危及司機，乘客和旁觀者的安全。這些分心的類型包括：

使用手機或智能手機，發(fā)短信
調(diào)整車內(nèi)設(shè)施，如車窗
吃喝
與乘客交談
梳理
閱讀，包括地圖
使用導(dǎo)航系統(tǒng)
觀看視頻
調(diào)整收音機，CD播放機或MP3播放器“
駕駛員疲勞駕駛
心情不佳，導(dǎo)致狀態(tài)不加，容易分心走神

減少認知負荷

由于駕駛員對于很多功能理解欠缺。人的工作記憶的容量有限，一次只能存儲5-9條基本信息。所以，在使用過程中一次只能處理2-3條信息，從而減少了一次處理的信息數(shù)。因此，急需有多模式交互系統(tǒng)做相關(guān)提醒和建議。比如說ADAS系統(tǒng)的應(yīng)用。

△ADAS系統(tǒng)

車載多模式交互的應(yīng)用和研發(fā)

盡管近年來多模式交互系統(tǒng)取得了重大進展，但在復(fù)雜的多模式交互成為普遍現(xiàn)象之前，還有許多工作要做。目前，汽車行業(yè)主要是在語音交互、HUD、觸摸屏等方面的研究比較多。但是下一代人機交互（HCI）設(shè)計需要包含能力識別用戶，在很多情況下，人機交互將更加注重情感交流和未來科技的研發(fā)。

在方向盤上結(jié)合語音和手勢

通過使用語音識別功能，我們利用汽車中物體的可見性（例如鏡像）以及簡單訪問等功能。使用手勢進行操作，我們提供簡單的控制，即時反饋并輕松撤消操作。

多模式情感智能界面設(shè)計

基于深度神經(jīng)網(wǎng)絡(luò)的機器人行為多模態(tài)綜合學(xué)習(xí)，在每次驅(qū)動之前，使用屏幕校準(zhǔn)注視矢量必須根據(jù)每個駕駛員的身高和位置進行驗證。多模態(tài)情緒識別框架，結(jié)合了駕駛員的腦電波和眼球運動。開發(fā)智能車載系統(tǒng)，提供實時幫助或回顧性反饋以減輕基于駕駛員狀態(tài)/行為以及交通的分心。

車載HUD原型手勢識別界面

汽車內(nèi)的各種信息娛樂設(shè)備的通知能夠集中在一起，從而使駕駛員專注開車，而無需將注意力放在儀表盤和中控。移動通信和導(dǎo)航數(shù)據(jù)識別能夠更好的獲取道路交通情況。

全息技術(shù)的應(yīng)用

全息技術(shù)在之前的文章里已經(jīng)有所陳述，在這里就不一一介紹了。

多主體多通道交互模型

在進行基于汽車的交互設(shè)計與用戶界面設(shè)計之前，有必要建立一個新的交互模型，即基于汽車的多主體多通道交互模型。

“Put That There”

put that there 是麻省理工學(xué)院建筑機器組實施的語音和手勢互動系統(tǒng)。它允許用戶在大型視頻顯示器上構(gòu)建和修改圖形數(shù)據(jù)庫。這項研究的目標(biāo)是與復(fù)雜的計算機交互的簡單對話界面。

汽車安全注意事項

目前，電子安全是所有人關(guān)心的主要問題之一。黑客，反社會組織可能針對自動車輛和智能系統(tǒng)采取行動，從而導(dǎo)致交通問題和事故。因此，確保汽車收到的信息不侵犯個人隱私是首要責(zé)任。

車聯(lián)網(wǎng)的技術(shù)發(fā)展給我們的研究提供了跨學(xué)科、跨領(lǐng)域的新可能性，在以汽車為中心的移動信息平臺的框架下，多模式交互方式給今后的汽車設(shè)計又提出了新的挑戰(zhàn)。