2023年4月6日下午，清華大學美術學院信息藝術設計系邀請新加坡國立大學計算機系趙盛東副教授在美術學院B413舉辦主題為“合姿計算：邁向下一代交互計算”的學術講座。
本次講座作為信息藝術設計系的設計未來系列講座第一期，系列講座由信息藝術設計系副教授付志勇發(fā)起，包含專題演講和圓桌論壇兩個部分。本場圓桌論壇環(huán)節(jié)的嘉賓是來自華為人機交互實驗室的李維、清華大學計算機系副教授喻純，以及來自信息藝術設計系副教授付志勇、師丹青，講座由美院博士生朱琳主持。
論壇海報
合姿計算（Heads-up computing ）是人機交互中的新興概念，關注的是與技術的自然和直觀的交互。通過使技術更無縫地融入日常生活中，頭戴式計算有潛力徹底改變我們與設備交互的方式。隨著大型語言模型（LLM）的崛起，例如ChatGPT和GPT4，合姿計算的愿景變得更容易實現(xiàn)。LLMs和頭戴式計算的結合可以創(chuàng)建更具以人為中心的主動、個性化和響應式的系統(tǒng)。然而，技術常常是一把雙刃劍。雖然技術為我們提供了巨大的力量，但與此同時也帶來了在倫理上和為所有人謀利益的責任。這就是為什么將基本的人類價值觀放在研究計劃的中心并在學科間進行協(xié)作是至關重要的。當我們所處在這個歷史性的轉型時期，塑造一個反映價值觀并提高生活質(zhì)量的未來至關重要。
趙盛東副教授
在主題演講環(huán)節(jié)，趙盛東副教授深入探討了未來交互范式的設想，以及人工智能如何影響人類生活。在這個顛覆性的時代，科技的快速發(fā)展給人們帶來了新的交互方式，研究人員關注的合姿問題是未來交互范式將如何演變。
講座現(xiàn)場
歷史上，人類經(jīng)歷了從采集社會到農(nóng)業(yè)社會，再到工業(yè)社會和信息社會的演變。然而，這個過程中，人們可能失去了一些過去擁有的能力。社會的復雜性和專業(yè)化使人們只利用了一小部分潛能，活動范圍和自由度也大大減少。例如，現(xiàn)代生活中，人們大部分時間都在使用手機和電腦，僅依靠眼睛和手指與世界互動。相較之下，我們的祖先需要運用各種感官和運動能力來應對生活挑戰(zhàn)。
人類使用工具的進化圖
趙教授提出了一個新的交互范式概念——“合姿計算”。這是建立在由頭、手和身體模塊組成的可穿戴平臺上的下一個交互范式，該平臺分布設備的輸入和輸出功能，以匹配人類的輸入和輸出通道。提出了語音+手勢的多模態(tài)交互方法。他認為，未來的設備應該成為人們生活的一部分，能夠更好地匹配人的需求，而不需要人們大量去適應設備。在這個范式下，設備將充分融入人們的生活，隨時隨地提供幫助，而人們無需過度調(diào)整姿態(tài)和生活方式來使用它們。合姿計算的目標是回歸自然狀態(tài)，讓信息和計算成為人們生活的輔助工具，而非生活的主導。
他強調(diào)，未來的設備應該成為人們的“第二天性”，無需特別學習或適應。這種理念將引領未來科技發(fā)展，使人們能夠在不改變生活方式的前提下，更好地利用科技創(chuàng)新。合姿計算的核心觀點是讓設備更符合人類自然生活狀態(tài)，而非讓人去適應設備。為實現(xiàn)這一目標，需要設計出與人類生活更匹配的設備。
趙盛東副教授分析了人的基本功能，提出合姿計算需要關注大腦皮層的兩個熱區(qū)：頭部和手部。頭部設備的責任是提供實時的視覺和聽覺反饋，理解人的感受，以及了解面部表情、情感和注意力。手部設備則需要提供實時的觸覺反饋，并追蹤定位手的位置、動作和姿勢。他認為智能眼鏡和手指鼠標已經(jīng)初步實現(xiàn)了合姿計算的基本操作。未來可能發(fā)展為一副眼鏡和手表或手環(huán)，提供所需功能并測量手的姿勢，給予觸覺反饋。這種終極狀態(tài)將使計算更自然地融入日常生活。
基礎版本的合姿計算設備
合姿計算的交互環(huán)境將是一個增強現(xiàn)實或混合現(xiàn)實，它會在不影響日常生活的情況下，與生活互補。這種技術將改變現(xiàn)代人的生活方式，讓人們在更自然的環(huán)境中度過大部分時間，如徒步、野營、散步和交談。同時，合姿計算也能高效地幫助人們產(chǎn)出有價值的信息。
當然，合姿計算可能無法完全滿足所有需求，部分任務仍需在屏幕前完成。然而，它將極大地改變普通人和腦力勞動者的生活。對于腦力勞動者，知識產(chǎn)出的形式將發(fā)生重大變革，更多時間將用于與他人交流，而非坐在電腦前敲擊鍵盤。
合姿計算是一種輔助技術，可以通過觀察和傾聽用戶的行為，通過AI整理出觀點，并及時提供反饋。人們可以在公園散步時使用合姿計算來撰寫文章，而無需坐在桌前。他的實驗室已經(jīng)取得了一些關于輸入輸出交互的初步成果，如何將信息進行分割處理等。他們還投稿了一篇即將發(fā)表在CACM上的論文，并開發(fā)了一個名為“PilotAR”的研究輔助工具。這個工具將在發(fā)表后開源，以便更好地推動合姿計算領域的創(chuàng)新。
趙盛東副教授明確指出，合姿計算與現(xiàn)有的技術如VR和AR有很大不同。VR技術是將人們帶入虛擬空間，而合姿計算的核心目標是讓人們更好地與現(xiàn)實世界和其他人交互。與此同時，合姿計算與AR的區(qū)別在于，它更像是一種智能助手，可以實時傳遞信息，而不是僅僅在現(xiàn)實世界中增加三維物體。因此，趙教授認為頭戴式設備會比AR更早實現(xiàn)落地應用。
關于合姿計算與元宇宙的關系，趙教授表示，雖然元宇宙是未來的一個方向，但他認為合姿計算是一種更好的方法，可以將現(xiàn)實與虛擬世界結合在一起，并采用相同的交互方式。此外，他還認為合姿計算與普適計算的關系類似于一個具體的設計與大型百貨公司的關系。盡管合姿計算是普適計算的一部分，但它具有明確的定義和特性。
合姿計算的最終目標是實現(xiàn)人與環(huán)境以及設備之間的無縫銜接。它由三個主要部分組成：分布式硬件（如頭部和手持設備）、多模態(tài)輸入（如語音、眼動、手勢和手指動作）以及光學頭戴式顯示器和多模態(tài)輸出。此外，合姿計算背后的交互模型被稱為“資源感知交互”，可以根據(jù)用戶所處的環(huán)境和狀態(tài)以及能力來選擇信息傳遞方式。例如，當視覺受限時，系統(tǒng)會通過聽覺方式傳遞信息，并能自由切換，以更智能地將信息呈現(xiàn)給用戶。
博士生朱琳擔任主持人
圓桌論壇環(huán)節(jié)，主持人朱琳引導論壇嘉賓們分享了對人工智能與未來交互的看法，并針對學生的提問進行作答。
圓桌論壇（左起：趙盛東、李維、付志勇、喻純、師丹青、朱琳）
李維針對AIGC將引發(fā)什么樣的行業(yè)變革，數(shù)據(jù)設計師如何定位自己的工作發(fā)表了看法，他認為我們已經(jīng)逐漸將很多能力交給工具，需要思考人與其他動物的區(qū)別是什么？現(xiàn)在我們對工具的使用已經(jīng)達到了一個很高的程度，這些工具可能是邏輯或計算上的工具，例如超級計算機、大量存儲和快速的網(wǎng)絡連接等等。我們對工具的使用本身就是對人類能力的一種體現(xiàn)。人類的計算能力已經(jīng)被機器超越了，未來設計師工程師要在數(shù)字化設計過程中進一步發(fā)揮機器在優(yōu)化、大數(shù)據(jù)檢索、態(tài)勢感知等領域的優(yōu)勢。我們可以從付志勇老師提到的對于未來的期待、對于人類整個需求的把握以及對于創(chuàng)新的重新定義等方面，重新定義人和機器的邊界。我們需要學會使用這些工具，并且找到表達自己的方式，例如：通過自然語言來重新定義設計師的角色和工作方式。這不是對設計師的威脅，而是一個新的機會來擴大我們的能力。
華為人機交互實驗室首席科學家李維
喻純副教授所在的組一直從技術角度研究人機交互。他認為人機交互分為三層：人機交互、人機協(xié)同和人機共進。接口技術研究的目標是理解人通過語言或手勢表達機器需要做的事情。但隨著AI技術的發(fā)展，人機協(xié)同變得越來越重要。個性化需求的實現(xiàn)是一個挑戰(zhàn)，需要讓終端用戶以自然的方式表達需求，然后AI系統(tǒng)感知他們的行為，共同創(chuàng)造出符合需求的規(guī)則。人機協(xié)同的工作會越來越多，這將導致人機關系的變化。人和機器、人和人、機器和機器之間的聯(lián)系和關系將會發(fā)生變化。我們正在研究人機共進，如何讓人和機器相互促進和提高能力。我們寫作時發(fā)現(xiàn)GPT寫出來的東西比我們自己寫的還要好，我們可以向它學習和借鑒，但僅靠它還是不夠的。最終這些問題將導致人機關系的變革，我們正在探索這一問題。
圓桌論壇討論（左起：付志勇、喻純、師丹青）
師丹青談到，趙盛東在講座中展示了一張人類與工具共同進化插圖，使我想起“evolution” 一詞應該是譯成“進化”，還是譯成“演化”的爭議。工具在不斷進化，但是作為生物的人類只是在“演化”以更適應環(huán)境。人發(fā)明了工具，同時需要去適應它。因此“heads up”是不是一定比“heads down”更“進步”是個值得思考的問題。工具的加速進步使人們感到不舒服、不自然，我們應該回歸更原始的狀態(tài)，還是去適應它？未來的自然交互應該是什么樣子？我們需要多維角度去做判斷。
付志勇談到，AIGC這對于信息與交互設計專業(yè)來說是一個新挑戰(zhàn)和機會。當MidJourney和ChatGPT在去年上線，我們又迎來了重新思考人機交互的新機會，以對話方式生成內(nèi)容并作為互動界面，這意味著需要在方法層面重新思考設計，過去AI只是生成式工具的一部分，未來將成為體驗養(yǎng)成伙伴，界面也將和用戶一起成長和演變。從本體角度，AI使產(chǎn)品與服務從“Being”到“Becoming”，即從“存在”轉變?yōu)椤俺蔀椤薄Ｗ詈筮€需要從人機共情和共生認知角度，思考AI介入將重塑“人-產(chǎn)品-環(huán)境”之間協(xié)調(diào)動態(tài)關系。這些新的概念將對人才培養(yǎng)帶來新的挑戰(zhàn)，交互設計學科將迎來新的起點，并產(chǎn)生出多元化的可能未來。
朱琳也分享了自己學習工業(yè)設計的經(jīng)驗和感想，她認為設計師的共性能力就是能夠理解和推導整個設計流程，并且學習不同的表達方式和思考方式。在學習過程中，通過老師的點評和反饋，不斷地改進和完善設計。現(xiàn)在的AI技術可以替代這一過程，快速地提供不同的設計方案，幫助學生進行創(chuàng)作和選擇。但是對于學生來說，理解設計流程和審美品位是很重要的，AI只是一個輔助工具，設計思維和能力仍然需要不斷地提升和完善。在面對技術不斷進步和工具不斷更新的情況下，學生需要保持開放和接納新事物的態(tài)度，不要停滯于當前的局限和工具，不斷地前進和進步，才能不被落下太遠。
在問答環(huán)節(jié)，嘉賓就同學關注的問題進行了回答。
論壇嘉賓與主持合影
關于信息藝術設計系設計未來系列講座
世界瞬息萬變，探討趨勢、審視變革，從而創(chuàng)造價值已成為全球熱議命題。對于設計師而言，傳統(tǒng)的設計思維方式正面臨著嚴峻挑戰(zhàn)，也同樣意識到，時代背景之下亟需能夠運用前瞻性思維、方法、技能來引領設計的人才。為了培養(yǎng)設計師應對不確定性與全球共性問題的能力，清華大學美術學院信息藝術設計系付志勇副教授發(fā)起了信息藝術設計系學術講座——設計未來系列，邀請相關領域的專家共同探索設計未來領域前沿理論、探討國際學術的未來方向，推動全球設計未來領域學科發(fā)展及知識構造。
本系列講座擬邀請8位來自各個國家、不同方向的學術帶領人或行業(yè)專家，從人機交互、思辨設計、設計預見、服務設計、人機共情、情景規(guī)劃、未來藝術等方面探討設計未來在其中的發(fā)展。
通過學術講座與圓桌研討，探索未來導向的交叉學科設計知識體系，培養(yǎng)學生的未來塑造力，在AI時代預見和設計更合意的未來社會圖景。
圖、文：信息藝術設計系
付志勇副教授
