2021畢設(shè)故事 | 馬騰飛：FaceType

Kevin Maher 馬騰飛

視覺傳達(dá)設(shè)計系碩士

FaceType 作為一個書寫工具，它不僅僅能記錄千言萬語，還能夠傳情達(dá)意。我從中國書法中獲取靈感，利用情緒識別、語音識別等技術(shù)，讓稍縱即逝的微妙情緒轉(zhuǎn)化為鮮活的筆跡：見字如面。

問題的緣起：

作者在一個線上演講中

很多中國朋友跟我說：我說話時有點夸張。這使我不禁思考，這是我的個人原因，還是因為我是個美國人呢? 換而言之，不同的表達(dá)是源于個體差異還是跨文化的原因？

早期作品

我開始收集了大量演講，我和我在中國科學(xué)院軟件所的同事們分享我的想法，很快，他們開始支持這個項目。我們一起處理了200多篇演講，研究了不同文化間情感的差異。更重要的是，它引導(dǎo)我們探索了展示語言和與語言互動的新方式。

關(guān)于在交流中情感轉(zhuǎn)換的探索（專利在申請中）

這項工作使我更好地理解了言語中諸如情感等因素的重要性。它也轉(zhuǎn)化為學(xué)術(shù)成果：被IEEE VIS（數(shù)據(jù)可視化頂級的論壇） 接收；在TVCG即將被發(fā)表（數(shù)據(jù)可視化頂級的期刊）（作者是共同第一作者）；兩個專利（申請中）。

允許用戶探索演講比賽和的關(guān)鍵演講因素的界面（E-ffective）**

但是通過用戶實驗, 我們發(fā)現(xiàn)普通的用戶在第一次使用時需要引導(dǎo)。在我導(dǎo)師的鼓勵下，我探索了在交流中，更加自然易懂的言語展示和互動方面的更多可能性。

我運用了機(jī)器學(xué)習(xí)可視化，記錄7 分鐘演講中，自己眼睛所處的位置

俗話說“眼睛是心靈的窗戶”，所以在交流中，眼睛不同的表現(xiàn)可能可以讓我們發(fā)現(xiàn)我們交流中的差異。以上的實驗?zāi)芸闯鲆恍┪以谘葜v中的眼睛的表象：其中，左上角的眼睛向上看表示的是我忘詞時候的眼神，最右邊的眼睛都顯現(xiàn)出恐懼的情緒。

對觀眾情緒的實時采樣

早期的一個交互實驗是在現(xiàn)場與觀眾進(jìn)行的。實驗中一個很大的挑戰(zhàn)是當(dāng)觀眾看到他們的照片即將被展示時，有一些人會在意他們在攝影機(jī)前的樣子并影響他們的交互。

在這些探索之后，我繼續(xù)尋找更自然、直觀的展現(xiàn)和交流互動的方式。

FaceType

對作者來說，一個重要的問題是，我們所說的內(nèi)容如何與我們的表達(dá)方式聯(lián)系起來。言語內(nèi)容如何更直觀地表現(xiàn)為文字本身?

顏真卿《祭侄文稿》

今年春天，我去成都旅行的時候，與成都設(shè)計師羅全生分享了我的早期成果，他建議我學(xué)習(xí)更多中國書法知識，并且研究中國書法如何表達(dá)情緒。例如，上圖是顏真卿的書法作品，為哀悼他侄子而作，他的書寫變化宛如一種無聲的傾述，通過字形、字跡、濃淡、間距等等因素淋漓盡致地顯現(xiàn)了他的情緒狀態(tài)——幾近失控。雖然喜愛書法的人認(rèn)為這是不言而喻的事情，基于大量的文獻(xiàn)調(diào)研，我發(fā)現(xiàn)普遍流行的文本可視化領(lǐng)域并沒有意識到書法藝術(shù)的價值。

早期實驗中通過筆觸傳達(dá)語言情感

我與書法專業(yè)的王姝同學(xué)合作，建立了一個墨水效果的材料庫，根據(jù)墨水的粗細(xì)和順滑度與情緒值建立映射關(guān)系。

書寫過程表達(dá)情緒

除了情感之外，書法也可以呈現(xiàn)出言語表達(dá)的重點。在書法形式的進(jìn)一步應(yīng)用拓展中，停頓和語速都可以通過字體大小、間距和生成字體的字形來體現(xiàn)。

長時間的用戶測試

真實用戶的語音可視化展現(xiàn)了他們的表達(dá)模式，包括他們的說話速度、停頓、情感強(qiáng)度，以及說話的積極性或消極性，生成出來的作品類似于書法的形式，只是這個由電腦創(chuàng)作，而不是人。當(dāng)我開始構(gòu)思創(chuàng)造一個互動的物理裝置時，我想知道如何才能用更為自然的互動機(jī)制使人們的說話風(fēng)格重現(xiàn)，并讓他們有思考他們自己說話風(fēng)格的空間。

2021屆畢業(yè)作品展（線下展覽）

我的導(dǎo)師建議我在作品前只放一個麥克風(fēng)，這樣可以讓人們自然而然地互動而不需要多加引導(dǎo)。在該作品展覽于清華大學(xué)美術(shù)學(xué)院畢業(yè)展覽期間，我對現(xiàn)場觀眾進(jìn)行了訪談和觀察�？傮w來說，有接近一半的觀眾愿意主動與作品進(jìn)行互動。

“情感強(qiáng)烈”的用戶對FaceType系統(tǒng)的實際使用

在展覽的現(xiàn)場，校友李曼園的演唱被我的作品轉(zhuǎn)化成了一幅書法作品。我的作品繪制出的書法，恰好反映了她的情緒：沉穩(wěn)，其中某些字詞又是那么用心。

我曾經(jīng)嘗試不同的裝置形式進(jìn)行實驗，用戶們的情緒、耐心和建議都極具啟發(fā)性

在畢業(yè)創(chuàng)作期間，長期、多次的用戶測試與觀察幫助我反復(fù)迭代更新設(shè)計作品。最終的成果讓我認(rèn)識到， 雖然人們都普遍認(rèn)同人類言語中所隱藏的感性信息價值——千言萬語之中無法言語的感性信息，人工智能技術(shù)也已經(jīng)可以幫助我們偵測到大量的情緒狀態(tài)， 但是這些技術(shù)如何幫助我們實現(xiàn)豐富的、感性的表達(dá)，是視覺設(shè)計正在面向的廣闊未來。

在未來的展覽中，我計劃加強(qiáng)作品的沉浸感，使其反饋更靈敏，且更富有表現(xiàn)力。

目前，我正在與中科院軟件所合作，采集來源于（1000+）不同國家的人群，分析了解各類群體的講話風(fēng)格。我們希望在未來向公眾開放類似的數(shù)據(jù)庫，通過自然的互動和呈現(xiàn)，揭示出不同語言中所蘊含的文化獨特性。

致謝

衷心感謝導(dǎo)師向帆副教授的指導(dǎo)，研究生支良同學(xué)的幫助。在她們的支持下，我的論文獲得了清華大學(xué)優(yōu)秀碩士學(xué)位論文，并被清華大學(xué)美術(shù)學(xué)院收藏；在技術(shù)支持方面，在此感謝中國科學(xué)院軟件研究所，人機(jī)交互技術(shù)與智能信息處理實驗室的同事馬翠霞，黃澤遠(yuǎn)，和宋建成；感謝谷歌設(shè)計師Leon Kim的生成字體的公開代碼。

我會思念美院大樓的這個角落、以及可愛的測試者、建議者。

注:

* Brath R, Banissi E, Using Typography to Expand the Design Space of Data Visualization [J/OL], She Ji: The Journal of Design, Economics, and Innovation, 2016, 2(1): 59-87.

**展示的演講者Sherrie Su是World Champion of Public Speaking2018年世界亞軍

資料提供 | 馬騰飛

視覺設(shè)計| 馬騰飛

圖文編輯 | 羅雪輝 馮佳琪