2023年4月6日下午，清華大學(xué)美術(shù)學(xué)院信息藝術(shù)設(shè)計系邀請新加坡國立大學(xué)計算機(jī)系趙盛東副教授在美術(shù)學(xué)院B413舉辦主題為“合姿計算：邁向下一代交互計算”的學(xué)術(shù)講座。
本次講座作為信息藝術(shù)設(shè)計系的設(shè)計未來系列講座第一期，系列講座由信息藝術(shù)設(shè)計系副教授付志勇發(fā)起，包含專題演講和圓桌論壇兩個部分。本場圓桌論壇環(huán)節(jié)的嘉賓是來自華為人機(jī)交互實(shí)驗(yàn)室的李維、清華大學(xué)計算機(jī)系副教授喻純，以及來自信息藝術(shù)設(shè)計系副教授付志勇、師丹青，講座由美院博士生朱琳主持。
論壇海報
合姿計算（Heads-up computing ）是人機(jī)交互中的新興概念，關(guān)注的是與技術(shù)的自然和直觀的交互。通過使技術(shù)更無縫地融入日常生活中，頭戴式計算有潛力徹底改變我們與設(shè)備交互的方式。隨著大型語言模型（LLM）的崛起，例如ChatGPT和GPT4，合姿計算的愿景變得更容易實(shí)現(xiàn)。LLMs和頭戴式計算的結(jié)合可以創(chuàng)建更具以人為中心的主動、個性化和響應(yīng)式的系統(tǒng)。然而，技術(shù)常常是一把雙刃劍。雖然技術(shù)為我們提供了巨大的力量，但與此同時也帶來了在倫理上和為所有人謀利益的責(zé)任。這就是為什么將基本的人類價值觀放在研究計劃的中心并在學(xué)科間進(jìn)行協(xié)作是至關(guān)重要的。當(dāng)我們所處在這個歷史性的轉(zhuǎn)型時期，塑造一個反映價值觀并提高生活質(zhì)量的未來至關(guān)重要。
趙盛東副教授
在主題演講環(huán)節(jié)，趙盛東副教授深入探討了未來交互范式的設(shè)想，以及人工智能如何影響人類生活。在這個顛覆性的時代，科技的快速發(fā)展給人們帶來了新的交互方式，研究人員關(guān)注的合姿問題是未來交互范式將如何演變。
講座現(xiàn)場
歷史上，人類經(jīng)歷了從采集社會到農(nóng)業(yè)社會，再到工業(yè)社會和信息社會的演變。然而，這個過程中，人們可能失去了一些過去擁有的能力。社會的復(fù)雜性和專業(yè)化使人們只利用了一小部分潛能，活動范圍和自由度也大大減少。例如，現(xiàn)代生活中，人們大部分時間都在使用手機(jī)和電腦，僅依靠眼睛和手指與世界互動。相較之下，我們的祖先需要運(yùn)用各種感官和運(yùn)動能力來應(yīng)對生活挑戰(zhàn)。
人類使用工具的進(jìn)化圖
趙教授提出了一個新的交互范式概念——“合姿計算”。這是建立在由頭、手和身體模塊組成的可穿戴平臺上的下一個交互范式，該平臺分布設(shè)備的輸入和輸出功能，以匹配人類的輸入和輸出通道。提出了語音+手勢的多模態(tài)交互方法。他認(rèn)為，未來的設(shè)備應(yīng)該成為人們生活的一部分，能夠更好地匹配人的需求，而不需要人們大量去適應(yīng)設(shè)備。在這個范式下，設(shè)備將充分融入人們的生活，隨時隨地提供幫助，而人們無需過度調(diào)整姿態(tài)和生活方式來使用它們。合姿計算的目標(biāo)是回歸自然狀態(tài)，讓信息和計算成為人們生活的輔助工具，而非生活的主導(dǎo)。
他強(qiáng)調(diào)，未來的設(shè)備應(yīng)該成為人們的“第二天性”，無需特別學(xué)習(xí)或適應(yīng)。這種理念將引領(lǐng)未來科技發(fā)展，使人們能夠在不改變生活方式的前提下，更好地利用科技創(chuàng)新。合姿計算的核心觀點(diǎn)是讓設(shè)備更符合人類自然生活狀態(tài)，而非讓人去適應(yīng)設(shè)備。為實(shí)現(xiàn)這一目標(biāo)，需要設(shè)計出與人類生活更匹配的設(shè)備。
趙盛東副教授分析了人的基本功能，提出合姿計算需要關(guān)注大腦皮層的兩個熱區(qū)：頭部和手部。頭部設(shè)備的責(zé)任是提供實(shí)時的視覺和聽覺反饋，理解人的感受，以及了解面部表情、情感和注意力。手部設(shè)備則需要提供實(shí)時的觸覺反饋，并追蹤定位手的位置、動作和姿勢。他認(rèn)為智能眼鏡和手指鼠標(biāo)已經(jīng)初步實(shí)現(xiàn)了合姿計算的基本操作。未來可能發(fā)展為一副眼鏡和手表或手環(huán)，提供所需功能并測量手的姿勢，給予觸覺反饋。這種終極狀態(tài)將使計算更自然地融入日常生活。
基礎(chǔ)版本的合姿計算設(shè)備
合姿計算的交互環(huán)境將是一個增強(qiáng)現(xiàn)實(shí)或混合現(xiàn)實(shí)，它會在不影響日常生活的情況下，與生活互補(bǔ)。這種技術(shù)將改變現(xiàn)代人的生活方式，讓人們在更自然的環(huán)境中度過大部分時間，如徒步、野營、散步和交談。同時，合姿計算也能高效地幫助人們產(chǎn)出有價值的信息。
當(dāng)然，合姿計算可能無法完全滿足所有需求，部分任務(wù)仍需在屏幕前完成。然而，它將極大地改變普通人和腦力勞動者的生活。對于腦力勞動者，知識產(chǎn)出的形式將發(fā)生重大變革，更多時間將用于與他人交流，而非坐在電腦前敲擊鍵盤。
合姿計算是一種輔助技術(shù)，可以通過觀察和傾聽用戶的行為，通過AI整理出觀點(diǎn)，并及時提供反饋。人們可以在公園散步時使用合姿計算來撰寫文章，而無需坐在桌前。他的實(shí)驗(yàn)室已經(jīng)取得了一些關(guān)于輸入輸出交互的初步成果，如何將信息進(jìn)行分割處理等。他們還投稿了一篇即將發(fā)表在CACM上的論文，并開發(fā)了一個名為“PilotAR”的研究輔助工具。這個工具將在發(fā)表后開源，以便更好地推動合姿計算領(lǐng)域的創(chuàng)新。
趙盛東副教授明確指出，合姿計算與現(xiàn)有的技術(shù)如VR和AR有很大不同。VR技術(shù)是將人們帶入虛擬空間，而合姿計算的核心目標(biāo)是讓人們更好地與現(xiàn)實(shí)世界和其他人交互。與此同時，合姿計算與AR的區(qū)別在于，它更像是一種智能助手，可以實(shí)時傳遞信息，而不是僅僅在現(xiàn)實(shí)世界中增加三維物體。因此，趙教授認(rèn)為頭戴式設(shè)備會比AR更早實(shí)現(xiàn)落地應(yīng)用。
關(guān)于合姿計算與元宇宙的關(guān)系，趙教授表示，雖然元宇宙是未來的一個方向，但他認(rèn)為合姿計算是一種更好的方法，可以將現(xiàn)實(shí)與虛擬世界結(jié)合在一起，并采用相同的交互方式。此外，他還認(rèn)為合姿計算與普適計算的關(guān)系類似于一個具體的設(shè)計與大型百貨公司的關(guān)系。盡管合姿計算是普適計算的一部分，但它具有明確的定義和特性。
合姿計算的最終目標(biāo)是實(shí)現(xiàn)人與環(huán)境以及設(shè)備之間的無縫銜接。它由三個主要部分組成：分布式硬件（如頭部和手持設(shè)備）、多模態(tài)輸入（如語音、眼動、手勢和手指動作）以及光學(xué)頭戴式顯示器和多模態(tài)輸出。此外，合姿計算背后的交互模型被稱為“資源感知交互”，可以根據(jù)用戶所處的環(huán)境和狀態(tài)以及能力來選擇信息傳遞方式。例如，當(dāng)視覺受限時，系統(tǒng)會通過聽覺方式傳遞信息，并能自由切換，以更智能地將信息呈現(xiàn)給用戶。
博士生朱琳擔(dān)任主持人
圓桌論壇環(huán)節(jié)，主持人朱琳引導(dǎo)論壇嘉賓們分享了對人工智能與未來交互的看法，并針對學(xué)生的提問進(jìn)行作答。
圓桌論壇（左起：趙盛東、李維、付志勇、喻純、師丹青、朱琳）
李維針對AIGC將引發(fā)什么樣的行業(yè)變革，數(shù)據(jù)設(shè)計師如何定位自己的工作發(fā)表了看法，他認(rèn)為我們已經(jīng)逐漸將很多能力交給工具，需要思考人與其他動物的區(qū)別是什么？現(xiàn)在我們對工具的使用已經(jīng)達(dá)到了一個很高的程度，這些工具可能是邏輯或計算上的工具，例如超級計算機(jī)、大量存儲和快速的網(wǎng)絡(luò)連接等等。我們對工具的使用本身就是對人類能力的一種體現(xiàn)。人類的計算能力已經(jīng)被機(jī)器超越了，未來設(shè)計師工程師要在數(shù)字化設(shè)計過程中進(jìn)一步發(fā)揮機(jī)器在優(yōu)化、大數(shù)據(jù)檢索、態(tài)勢感知等領(lǐng)域的優(yōu)勢。我們可以從付志勇老師提到的對于未來的期待、對于人類整個需求的把握以及對于創(chuàng)新的重新定義等方面，重新定義人和機(jī)器的邊界。我們需要學(xué)會使用這些工具，并且找到表達(dá)自己的方式，例如：通過自然語言來重新定義設(shè)計師的角色和工作方式。這不是對設(shè)計師的威脅，而是一個新的機(jī)會來擴(kuò)大我們的能力。
華為人機(jī)交互實(shí)驗(yàn)室首席科學(xué)家李維
喻純副教授所在的組一直從技術(shù)角度研究人機(jī)交互。他認(rèn)為人機(jī)交互分為三層：人機(jī)交互、人機(jī)協(xié)同和人機(jī)共進(jìn)。接口技術(shù)研究的目標(biāo)是理解人通過語言或手勢表達(dá)機(jī)器需要做的事情。但隨著AI技術(shù)的發(fā)展，人機(jī)協(xié)同變得越來越重要。個性化需求的實(shí)現(xiàn)是一個挑戰(zhàn)，需要讓終端用戶以自然的方式表達(dá)需求，然后AI系統(tǒng)感知他們的行為，共同創(chuàng)造出符合需求的規(guī)則。人機(jī)協(xié)同的工作會越來越多，這將導(dǎo)致人機(jī)關(guān)系的變化。人和機(jī)器、人和人、機(jī)器和機(jī)器之間的聯(lián)系和關(guān)系將會發(fā)生變化。我們正在研究人機(jī)共進(jìn)，如何讓人和機(jī)器相互促進(jìn)和提高能力。我們寫作時發(fā)現(xiàn)GPT寫出來的東西比我們自己寫的還要好，我們可以向它學(xué)習(xí)和借鑒，但僅靠它還是不夠的。最終這些問題將導(dǎo)致人機(jī)關(guān)系的變革，我們正在探索這一問題。
圓桌論壇討論（左起：付志勇、喻純、師丹青）
師丹青談到，趙盛東在講座中展示了一張人類與工具共同進(jìn)化插圖，使我想起“evolution” 一詞應(yīng)該是譯成“進(jìn)化”，還是譯成“演化”的爭議。工具在不斷進(jìn)化，但是作為生物的人類只是在“演化”以更適應(yīng)環(huán)境。人發(fā)明了工具，同時需要去適應(yīng)它。因此“heads up”是不是一定比“heads down”更“進(jìn)步”是個值得思考的問題。工具的加速進(jìn)步使人們感到不舒服、不自然，我們應(yīng)該回歸更原始的狀態(tài)，還是去適應(yīng)它？未來的自然交互應(yīng)該是什么樣子？我們需要多維角度去做判斷。
付志勇談到，AIGC這對于信息與交互設(shè)計專業(yè)來說是一個新挑戰(zhàn)和機(jī)會。當(dāng)MidJourney和ChatGPT在去年上線，我們又迎來了重新思考人機(jī)交互的新機(jī)會，以對話方式生成內(nèi)容并作為互動界面，這意味著需要在方法層面重新思考設(shè)計，過去AI只是生成式工具的一部分，未來將成為體驗(yàn)養(yǎng)成伙伴，界面也將和用戶一起成長和演變。從本體角度，AI使產(chǎn)品與服務(wù)從“Being”到“Becoming”，即從“存在”轉(zhuǎn)變?yōu)椤俺蔀椤?。最后還需要從人機(jī)共情和共生認(rèn)知角度，思考AI介入將重塑“人-產(chǎn)品-環(huán)境”之間協(xié)調(diào)動態(tài)關(guān)系。這些新的概念將對人才培養(yǎng)帶來新的挑戰(zhàn)，交互設(shè)計學(xué)科將迎來新的起點(diǎn)，并產(chǎn)生出多元化的可能未來。
朱琳也分享了自己學(xué)習(xí)工業(yè)設(shè)計的經(jīng)驗(yàn)和感想，她認(rèn)為設(shè)計師的共性能力就是能夠理解和推導(dǎo)整個設(shè)計流程，并且學(xué)習(xí)不同的表達(dá)方式和思考方式。在學(xué)習(xí)過程中，通過老師的點(diǎn)評和反饋，不斷地改進(jìn)和完善設(shè)計?，F(xiàn)在的AI技術(shù)可以替代這一過程，快速地提供不同的設(shè)計方案，幫助學(xué)生進(jìn)行創(chuàng)作和選擇。但是對于學(xué)生來說，理解設(shè)計流程和審美品位是很重要的，AI只是一個輔助工具，設(shè)計思維和能力仍然需要不斷地提升和完善。在面對技術(shù)不斷進(jìn)步和工具不斷更新的情況下，學(xué)生需要保持開放和接納新事物的態(tài)度，不要停滯于當(dāng)前的局限和工具，不斷地前進(jìn)和進(jìn)步，才能不被落下太遠(yuǎn)。
在問答環(huán)節(jié)，嘉賓就同學(xué)關(guān)注的問題進(jìn)行了回答。
論壇嘉賓與主持合影
關(guān)于信息藝術(shù)設(shè)計系設(shè)計未來系列講座
世界瞬息萬變，探討趨勢、審視變革，從而創(chuàng)造價值已成為全球熱議命題。對于設(shè)計師而言，傳統(tǒng)的設(shè)計思維方式正面臨著嚴(yán)峻挑戰(zhàn)，也同樣意識到，時代背景之下亟需能夠運(yùn)用前瞻性思維、方法、技能來引領(lǐng)設(shè)計的人才。為了培養(yǎng)設(shè)計師應(yīng)對不確定性與全球共性問題的能力，清華大學(xué)美術(shù)學(xué)院信息藝術(shù)設(shè)計系付志勇副教授發(fā)起了信息藝術(shù)設(shè)計系學(xué)術(shù)講座——設(shè)計未來系列，邀請相關(guān)領(lǐng)域的專家共同探索設(shè)計未來領(lǐng)域前沿理論、探討國際學(xué)術(shù)的未來方向，推動全球設(shè)計未來領(lǐng)域?qū)W科發(fā)展及知識構(gòu)造。
本系列講座擬邀請8位來自各個國家、不同方向的學(xué)術(shù)帶領(lǐng)人或行業(yè)專家，從人機(jī)交互、思辨設(shè)計、設(shè)計預(yù)見、服務(wù)設(shè)計、人機(jī)共情、情景規(guī)劃、未來藝術(shù)等方面探討設(shè)計未來在其中的發(fā)展。
通過學(xué)術(shù)講座與圓桌研討，探索未來導(dǎo)向的交叉學(xué)科設(shè)計知識體系，培養(yǎng)學(xué)生的未來塑造力，在AI時代預(yù)見和設(shè)計更合意的未來社會圖景。
圖、文：信息藝術(shù)設(shè)計系
付志勇副教授
