與通力電梯合作研發(fā)結(jié)碩果 本科生再出一作！

昆山杜克大學(xué)大數(shù)據(jù)研究中心副教授李明博士的團(tuán)隊(duì)與通力電梯有限公司進(jìn)行的合作研究項(xiàng)目 “電梯場(chǎng)景下多模態(tài)異常事件檢測(cè)系統(tǒng)及方法” 近日取得重要進(jìn)展。雙方共同申請(qǐng)三項(xiàng)合作技術(shù)專利，并在多模態(tài)人機(jī)交互旗艦學(xué)術(shù)會(huì)議上聯(lián)合發(fā)表相關(guān)論文，論文的第一和第二作者均為昆山杜克大學(xué)本科生。

李明博士表示：“合作研究的目的是使‘事后查找故障原因’轉(zhuǎn)變?yōu)椤�提供�?shí)時(shí)預(yù)警，防患于未然’。該技術(shù)可以實(shí)時(shí)監(jiān)測(cè)電梯內(nèi)部的狀態(tài)、提供實(shí)時(shí)預(yù)警，便于及時(shí)發(fā)現(xiàn)異常事件并進(jìn)行提前干預(yù)和處理，從而減少故障或事故的發(fā)生。感謝昆山市政府與通力電梯有限公司的支持，前沿 AI 技術(shù)將促進(jìn)制造業(yè)轉(zhuǎn)型升級(jí)，并最終造福千家萬(wàn)戶�！�

據(jù)悉，以往電梯異常事件主要是事后通過(guò)人工查看錄像來(lái)檢測(cè)和判斷。本次合作則是通過(guò) AI 音視頻分析技術(shù)，對(duì)電梯內(nèi)的扒門、砸門、打斗或摔倒等異常事件提供實(shí)時(shí)預(yù)警。該項(xiàng)成果將有助于未來(lái)實(shí)時(shí)檢測(cè)電梯場(chǎng)景里的多種異常事件，及時(shí)干預(yù)、處理，減少故障或事故的發(fā)生。

在研究過(guò)程中，通力電梯有限公司為研究提供了實(shí)地測(cè)試環(huán)境，此次合作研究的成果在通力電梯有限公司的轎廂中得到了實(shí)地測(cè)試，并通過(guò)了初步的可行性驗(yàn)證。

應(yīng)用場(chǎng)景示意圖

昆山杜克的五名大三學(xué)生陳欣萌、龔緒晨、居然、儲(chǔ)黃瑞和王燁宸作為主力成員，在李明博士、研究助理程銘和通力電梯有限公司科研人員的共同指導(dǎo)下參與了該項(xiàng)目。雙方還在人機(jī)交互領(lǐng)域的ACM多模態(tài)交互國(guó)際會(huì)議（The 2021 International Conference on Multimodal Interaction，以下簡(jiǎn)稱 ICMI）及其分會(huì)上投稿及聯(lián)合發(fā)表三篇論文，第一和第二作者均為昆山杜克大學(xué)本科生。

經(jīng)過(guò)為期一年的努力，研究團(tuán)隊(duì)近日提交了三項(xiàng)合作專利申請(qǐng)：基于視頻監(jiān)控的電梯異常行為檢測(cè)方法及系統(tǒng) (申請(qǐng)?zhí)?02110621297.3) 、基于音視頻智能判斷呼救的方法 (申請(qǐng)?zhí)?02110620172.9) 和一種無(wú)接觸式電梯交互系統(tǒng) (申請(qǐng)?zhí)?02110621293.5)。

本項(xiàng)目通過(guò)結(jié)合昆山杜克大學(xué)在 AI 和數(shù)據(jù)科學(xué)方向的人才優(yōu)勢(shì)與通力電梯公司在制造行業(yè)的雄厚實(shí)力，在特定場(chǎng)景下融入 AI 技術(shù)展開前期探索與研究，將助力制造業(yè)轉(zhuǎn)型升級(jí)，服務(wù)地方經(jīng)濟(jì)。

李明博士的研究團(tuán)隊(duì)長(zhǎng)期致力于智能語(yǔ)音和多模態(tài)行為分析技術(shù)的探索與創(chuàng)新。2020年7月，李明博士團(tuán)隊(duì)與通力電梯有限公司開始此項(xiàng)合作，并得到了昆山市政府研究計(jì)劃的資助。

數(shù)據(jù)科學(xué)專業(yè)的大三學(xué)生龔緒晨認(rèn)為這次參與科研的經(jīng)歷彌足珍貴：“這次研究經(jīng)歷，要感謝李明教授及程銘助教的指導(dǎo)，讓我體驗(yàn)到了學(xué)術(shù)研究從設(shè)計(jì)方案、解決問(wèn)題直至論文投稿發(fā)表的全過(guò)程。這是一次彌足珍貴的經(jīng)歷，它不僅讓我了解到專業(yè)的科研方法、拓展了我的專業(yè)視野、更是重塑了我對(duì)未來(lái)學(xué)業(yè)的規(guī)劃。”

龔緒晨與她的數(shù)據(jù)科學(xué)專業(yè)同學(xué)陳欣萌在這次合作項(xiàng)目中共同主筆的論文成功被 ICMI 會(huì)議主會(huì)場(chǎng)接收。該論文提出了一種針對(duì)于深度神經(jīng)網(wǎng)絡(luò)模型的“多模態(tài)訓(xùn)練，單模態(tài)推理”的方法，在訓(xùn)練時(shí)將深度模型和 RGB 模型融合，而推理時(shí)用以 RGB 為輸入的“偽深度模型”替換深度模型做推理。論文就多種融合模型在電梯異常事件數(shù)據(jù)集上進(jìn)行對(duì)比實(shí)驗(yàn)，證明了該訓(xùn)練方法對(duì)于不同模型的普適性，且能在應(yīng)用中提高異常事件檢測(cè)的推理性能。

正在模擬測(cè)試的原型系統(tǒng)

李明博士解釋道，“考慮到訓(xùn)練數(shù)據(jù)時(shí)使用的深度相機(jī)成本較高，我們提出了一種新的跨模態(tài)訓(xùn)練和推理的方法。訓(xùn)練時(shí)需要借助深度和彩色圖像相機(jī)的雙重?cái)?shù)據(jù)，而在實(shí)際預(yù)測(cè)時(shí)，只需要彩色圖像相機(jī)的數(shù)據(jù)，這樣大大降低了實(shí)際使用時(shí)的硬件成本�！�

陳欣萌表示：“從大一接觸數(shù)據(jù)科學(xué)入門課之后，便對(duì)數(shù)據(jù)科學(xué)專業(yè)產(chǎn)生了興趣，大二暑假有幸加入了李明教授的實(shí)驗(yàn)室，開始學(xué)習(xí)計(jì)算機(jī)視覺領(lǐng)域的相關(guān)知識(shí)，隨后，教授提供給了我們這次深度參與通力項(xiàng)目的機(jī)會(huì)。經(jīng)過(guò)和隊(duì)友的一同努力，在 ICMI 發(fā)表了論文。十分感謝李明教授、程銘助教給予我們的指導(dǎo)，感謝學(xué)校與通力電梯有限公司給我們提供的這次寶貴的學(xué)習(xí)機(jī)會(huì)�！�

昆山杜克大學(xué)研究生院院長(zhǎng)、科研副院長(zhǎng)李昕博士表示，“我校優(yōu)秀的科研人員致力于與世界各地的一流大學(xué)、企業(yè)和組織合作，以解決實(shí)際問(wèn)題、知識(shí)服務(wù)社會(huì)。此前，昆山杜克大學(xué)的發(fā)展寫入了國(guó)家長(zhǎng)三角發(fā)展規(guī)劃綱要；感謝昆山市政府和通力電梯有限公司的大力支持，讓我們得以在服務(wù)地方經(jīng)濟(jì)和社會(huì)發(fā)展的道路上，繼續(xù)砥礪前行�！�

這五名學(xué)生在昆山杜克大學(xué)的標(biāo)志性成果項(xiàng)目亦由李明博士指導(dǎo)。昆山杜克“標(biāo)志性成果”項(xiàng)目鼓勵(lì)學(xué)生將課程、研究以及參與的體驗(yàn)式學(xué)習(xí)巧妙結(jié)合，創(chuàng)造出新知識(shí)和新產(chǎn)品。

▲向上滑動(dòng)

昆山杜克大學(xué)

杜克教育 中美經(jīng)歷 國(guó)際視野

dukekunshan

昆山杜克大學(xué)

Duke_Kunshan

長(zhǎng)按右方二維碼

關(guān)注我們