前言
本校資訊工程學系與人工智慧學系師生組隊參加111年度經濟部工業局「AI產業實戰應用人才淬煉計畫」人才解題競賽(AIGO),5團隊提出7案獲入圍,獲4優等3佳作。學生包括資工系、AI系、電機系、機械系博班、碩班、大學部學生共30多位。本專題冀能介紹AI團隊在解題過程的技術、創意、努力、團隊合作,及如何創造企業超車彎道的精采歷程。
AIGO小檔案
「AI 產業實戰應用人才淬煉計畫人才解題競賽(AIGO)」為經濟部工業局以產業及服務創新需求為導向的計畫,透過「產業出題 x人才解題」機制,由企業出題,由新創、學研等組成解題團隊,採用以戰代訓之創新模式進行實際解題,掌握產業問題與培養AI應用技術能力,以「做中學」翻轉傳統產業人才培育模式,實際將企業痛點和AI人才緊密接軌,進而加速推進企業發展創新應用服務與產業 AI 化轉型。
業界專家推薦
人工智能股份有限公司董事長張榮貴
過往資訊科技是工具,現在資訊科技是原料,而AI正是這原料的觸發劑及接著劑,AI科技推動,淡江也不遺餘力。志勇老師帶領的AI研究團隊,從工業局AIGO計畫第一屆組織兩隊「AI因由夫來」、「馬訓冷凝」參與產業出題人才解題,解決產業問題,到今年第四屆共有五隊參與,成為AIGO的常勝軍與冠軍團隊,在老師研究學生實務磨練及產業培養即戰力人才,貢獻卓著,居功厥偉。
精英國際教育集團董事長 張義雄
本集團與淡江AI團隊進行「人工智慧虐嬰虐童偵測系統」的研發,已進入測試階段,這套系統透過影音辨識,能幫助托育機構及早防治與管理不當管教,除了創造企業亮點,產生極大的差異化,最重要的是幫助天下父母解除了托嬰的擔憂,避免悲劇產生,對兒童教育產業經營作出領先全球的貢獻。未來將持續合作,進行「身高體重頭圍常模預測系統」,把人工智慧的應用推向國際。
叡揚資訊精實服務11 處處長錢鉦津
個人特別推薦張志勇教授所領軍的AI因由夫來團隊,該團隊的研發技術已由內造的NPL轉SQL,逐步擴展到外顯應用的機器視覺、姿態或行為識別,由純技術研究走到更貼近業者或生活上的實務應用。此次競賽又大放異彩,榮獲一優等一佳作的成績,實至名歸!無庸置疑!
————————————————————
AI因由夫來:跨域多元解題展創意 不計成本做到最好
「AI技術太多太深了,像茫茫大海,我們怎麼學也學不完。AIGO解題賽帶動重要方向就像燈塔,主軸聚焦20%的技術,解決產業80%的問題。」帶領AI團隊四度參賽的資工系張志勇教授表示:「透過AIGO確定20%的主軸,我們就去投入。」
雖然平時鑽研行為技術時,便已看過許多相關論文,知道什麼技術可以配合解決什麼問題。不過,為了做到最好,團隊不惜採用多種技術同時解題,再採用效果最佳或多元的解方。張志勇表示:「每種方法都有其優劣之處,組合在一起的時候,就是三個臭皮匠變成一個諸葛亮。」這種解題方法可以發揮每一種技術的優勢,但是耗時耗力,張志勇說:「完全不計成本、不藏私,這就是我們和企業不一樣的地方。」
AI因由夫來團隊在解答「利用AI自動判斷野手撲接鏡頭」題目時,出題企業的痛點在於需要花費大量時間及人力成本,才能剪輯出撲接的精彩片段。所以在這題視覺題不僅會利用色彩判斷,也會將身體骨骼架構與關節點設定成座標,觀察身體座標的變化,為保證判斷的正確,還研發了多種深度學習的影像處理模型,包括分類模型及比對模型最終以多元的AI模型共同合作,來綜合判斷球員是否做出撲接動作。
除此之外,光是用視覺解題還不夠,透過團隊的腦力激盪,彼此討論,組員間你一句我一句的提出想法,也是諸多創意的來源。團隊在一起觀看影片之後,發現在關鍵時刻,報導字幕就會出現「撲接」、「撲倒」、「接殺」等特定的字眼,因此採集關於球賽報導中撲接動作的遣詞用字作判讀,鎖定這個字眼出現的前後影片,並將其剪輯出來。視覺、語言解題雙管齊下,如此一來,不管快與慢撲接動作皆可精準判斷。這種以多種技術跨域結合來答題的創意,除了展現出團隊的多元實力,也能夠說明團隊合作力量大,張老師說成功的秘訣在於團隊合作:「個人只是一個點,但團隊就是一個面。」
同樣的合作也出現在「基於語音辨識於法庭筆錄之應用」解題。出題的國巨律師事務所期望使用AI語音辨識解決法律專業詞彙的艱澀,並提高法庭中文書記官的記事效率。語音辨識方面坊間早已有辨識度不錯的軟體,該如何勝出呢?
AI因由夫來團隊再次展現創意,他們發現對手的弱點在於法庭中角色的判別和硬體設施的強制規範,並且相較於對手可能僅以單一模型來答題,他們加入自然語言處理的解法成為致勝關鍵。
「我們團隊看遍了開庭中所有角色會說的話,還進行總整理,發現如被告律師經常會說抗議,我們便讓AI去推敲語音中他是不是被告律師。」張教授如此表示。 時下語音辨識逐字稿之技術,是需要請法官、律師等,坐在固定位置使用特定語音錄製裝置。AI因由夫來另闢蹊徑,利用音檔中所辨識的開庭的固定流程與庭中人員常用的特定詞彙來判斷錄製當下是誰在說話,比如被告律師常說「抗議」,審判長常說「被告請發言」,以此類推出發言者的身分。此作法不須綁定麥克風,不必修改法院的硬體設備,讓逐字稿轉檔系統更聰明、更具彈性。
除此之外,團隊會先將開庭語音透過GOOGLE轉為文字,再轉回語音,這樣就可以發現語音翻成文字時法律用語經常出現的錯誤,並在抓出錯誤後,對症下藥將 Google語音轉文字時常犯的錯誤加以校正。
企業解題的成功,歸功於豐富的實戰經驗與團隊合作,同時也因為團隊自動生成大量資料來訓練AI模型,這些創意的實行,將想法化作現實,幫助企業解決技術痛點。(文/陳映樺)
————————————————————
馬訓冷凝:選題考量公益 為產業和社會帶來貢獻
在AIGO眾多題目中,如何選題?淡江團隊的答案很有學問。要贏是第一考量,在技術層面上考量團隊能力,注重發揮性和創意性,其次希望能夠對臺灣產業達到可複製的貢獻,而不是僅使用於比賽;第三點,團隊技術是否足以支撐這個題目,最後一點則考量是否具有公益性。
AI團隊一起合作也一起選題,指導老師們一致的看法是:「產業接觸AI智慧的機會很多,大企業因為錢財充足自然可以投入,但許多弱勢族群及公部門往往無法獲得更多的資源」,因此,AI團隊選題時會優先選擇公益相關,如去年參加的主題流浪狗、今年的手語、圖書館管理系統等。這些在應用上雖不見得具有廣泛運用性,但具有比較專業和內涵。他們說理由很簡單:「除了能夠為臺灣的產業和社會帶來貢獻,有公益在背後支撐我們,也能夠讓大家在想起團體、弱勢群體時聯想到淡江大學,這是我們希望達成的。」
由人工智慧學系教授游國忠指導的小組「馬訓冷凝」,在本次比賽的題目「以手部關鍵點檢測輔助臺灣手語單詞教學」就是公益題。國內聽語障者超過數萬名,一般人民很少有人會使用手語,也沒有辦法隨處發現手語翻譯者,就算聽人對手語感興趣,且能夠在社團、社區大學等地進行學習,手語教學仍處弱勢地位,故若能夠藉由AI辨別手部關鍵點,就能夠輔助手語老師教學,加快聽人學習速度和手語普及率,降低聽語障者在日常中的溝通困難度,並發展軟體應用於行動裝置,使人們更容易學習手語。
人工智慧學系教授游國忠說,為了做這個主題,團隊成員做足功課。先拍影片做成教學影片,用AI比對相似度,利用關節點在時空之間的變化,判斷相似度,給予評分。如此一來,「不需要靠老師教,不需要猜自己對不對。」他說團隊還建立了教學系統,分析學習者哪些動作比得比較差,建議多練習。「不但解決問題,還把情境考量進來。」進行手語學習和測驗,並將學習歷程和結果進行分析,運轉速度及準確率要考慮的諸多環節都做了很細微的考量,做出來的成果,比他們原有的預期還多更多。獲得臺灣手語翻譯協會理事長魏如君、常務理事李信賢都一致的讚賞。
在亮麗的成果背後,其實是硬功夫。而在設計過程中,除了專業技術外,最困難的便是在無基礎的情況下學習手語。由於手語與口語的語法不同,國籍不同的手語也各異,且速度不一,表情搭配不同意思也不一樣,在研發之前勢必得先學習手語。
在三個月之間要學會手語,「我們也是初學者,一開始也在這裡跌了不少跤,只能從少量比較簡單的手語去著手研究,來減少後續錯誤的機率。」資工系碩士林思瀚說道。但即使如此,「最難的部分是學習者意識不到自己有沒有比錯,如果錯的話是錯在動作的一部分還是全部都做錯?」這也是手語翻譯協會和AIGO合作出題的原因之一,經過解題都得到滿意的解決。全程參與比賽的他認為最大的收穫是在比賽的過程中得到了不少專案實作的經驗,為日後無論是研究或工作上帶來助益。(文/高瑞妤)
————————————————————
簡單最佳化:不分彼此 為共同榮譽而努力
由銘傳大學資訊工程學系教授蘇民揚帶領4名本校優秀資工系碩二學生組成的團隊「簡單最佳化」,是今年首次參賽的團隊,雖然團員人數明顯較別組少了一半,但首戰即捷,拿下優等。
人數少卻能有強大戰力,靠的是團隊合作。蘇民揚說明,AIGO是一個大團隊,不同小組的同學願意互相支援,截長補短,為了共同榮譽而努力。擔任組長的資工碩二尹矞田分享,「我們組內並不侷限於制式化分工,而是根據每一位組員所擅長的技能安排工作,且每一個人都會參與不同階段,盡自己的能力提供協助。」張志勇說,有成員的進度落後,其他成員會趕緊去協助他,就算只是勞務性的工作也很願意。
游國忠提到,在寫企劃書的階段,「常常12點討論完,早上第二個版本就已經出來了。」他舉去年做流浪狗題目的例子,有位碩二的郭俞含同學花了6個小時做了一萬多個標記。經過這樣的合作,實驗室形成一個氛圍,他說:「淡江學生有這種特質,願意把事情做好。」
此外,溝通是參與團隊競賽不可缺少的過程,比賽前團隊內部老師與學生也需達成共識,並且為之後要付出的勞力和時間成本做好心理建設,小組內組長與組員間的工作分配,以及組員能力程度上的考量,都是一個團隊齊心協力完成目標需要克服的項目。
在解題賽中,師生面對的共同敵入是「題目」,競爭對手都是技術純熟的新創團隊,學生團隊不僅在技術上有落差,成員兩年一次因畢業產生的人力替換,更是致命傷。所以團隊重視合作氛圍、技術傳承,就是張志勇說的「能量管理」。
帶領這樣的團隊,張志勇教授說最大的成就其實是來自學生的信心,今年的碩一生入學就問:「我們要怎麼做才能跟學長一樣當組長,把AIGO的題目做好?」這就是學生的信心。學生相信「在老師帶領之下我們的技術是領前的、我們做的東西是有用的,還有領略到團隊的力量大於一個人」。他說經過AIGO解題三個月的努力,團隊成員建立了革命情感,看到學生在畢業論文上感謝老師、感謝同學,陪他經歷這段一輩子難忘的歷程。
除了對內溝通,在對外與廠商的溝通也是重要考驗。這次解題的主題是「神秘客服務稽核調查」,稽核員(神秘客)在身上設置隱藏攝影機並假扮客人,透過秘密錄影的方式記錄下服務人員的服務過程,以用來查核人員的服務素質以及動作的標準度等。出題企業以往依靠人力觀察錄製的影片並做出判斷,耗費大量的時間和勞力,且判別無法完全客觀,因此簡單最佳化團隊便融入AI技術協助動作標準的識別,提升查核速度,為企業減少人力和時間成本的付出。
蘇民揚說明:「企業不懂AI,為了解決人工作業的辛苦,他們嘗試將問題、資料、數據提出來尋求幫助,我們需要確實了解廠商的需求後,再提出解決方案。」但是在面對沒接觸過AI技術的廠商,團隊報告之前必須花更多的時間於簡報的修改,配合圖片以及影片的說明使技術用詞更加淺顯易懂。尹矞田回想溝通過程中,廠商曾經給予他們的建議是:「希望你們的辨識方法可以再『優雅』一點。」因為一開始的方案是利用骨骼辨識,辨識的過程是以手肘的關節超過多少度就違規的方式「這些太過死板的判斷雖然準確,但沒有達到他們想要的優雅。」尹矞田說,雖然「優雅」一詞與電腦和程式之間的關係相差甚遠,但是為了完成廠商要求,他們不惜花時間去思考,如何將程式達到最佳化,同時符合期望的優雅性質。「後來我們是在判斷的標準給予更多的彈性。利用背景可以提取的空間特徵,以及對目標的標準彈性調整,來達到所謂的「優雅」的判斷。」才終於圓滿達成任務。這方面的磨合,讓他學到程式的完美是其次,「顧客滿意」才是最重要的。(文/侯逸蓁)
————————————————————
葛林的AI:跨域學習 以戰代訓辛苦但值得
「葛林的AI」團隊這次AIGO解題賽獲佳作,選擇「供應商出貨文件AI辨識自動輸入」,將原屬於數據分析類的題目結合影像辨識與自然語言等技術,在相互搭配解題之下,解決客戶訂單與產品銷售資料判讀的痛點。
出題單位「台南企業股份有限公司」使用「機器人流程自動化(RPA)」,協助處理客戶訂單與產品銷售資料,由於客戶提供的出貨單無法由RPA自動判讀與智慧輸入,故期盼透過AI科技,辨識、解讀不同格式的供應商資料,比對採購系統與報關、裝櫃作業流程,自動輸入供應商出貨文件,以降低人工作業,節省人力80%,提升工作效能與品質。
團隊與出題單位簽約後,先從上百家供應商文件中挑選幾種具代表性的格式進行研究。解題分三階段著手進行,過程中交互搭配影像辨識與自然語言等技術,發展了4個AI模型,解決數據分析問題,成功完成概念性解題。
人工智慧學系(AI系)教授兼系主任王銀添表示,因本身來自機械系,也因為今年參賽時,AI系才剛成立未滿一年,因此 團隊的主力是機械系碩班、大學部學生,為了培養AI系新秀,亦加入AI系大一生。因團隊成員都不是純正AI領域,且第一次參與競賽,前置的準備時間比較長,但過程中學生的收穫滿滿。「以AI技術去解決商業採購文件自動辨識輸入的問題,這些技術未來都可以回歸運用在機械領域的智慧製造上。」王銀添說跨域學習的特色非常強烈。
對於成員來說,「以戰代訓」是辛苦又值得的。現在就讀AI系大二的趙子岳參賽時才大一,懷著又驚又喜的心情進入團隊,他表示在過程中為了想要幫上忙也看了不少論文,與學長共事的過程中了解解題實際操作過程,他說:「即使花這麼多時間,也穩賺不虧。」
————————————————————
AI悍將:圖書館精準推播模式 將推展至全國
屏東縣立圖書館總館(屏東總圖)為了能提升讀者服務,也有效運用館藏,希望透過AI將館藏資訊、讀者借閱記錄,並結合時下流行議題,建立書籍精準推薦的服務系統,根據當下的流行話題讓各式書籍皆能透過精準推薦的方式,推播給來館讀者閱讀,增加館內書籍的使用率。
AI悍將台北商業大學資訊與決策科學研究所教授廖文華認為:「目的不在得獎,當然也有幸能夠獲得產業界的認可,獲得優等獎也是團隊集思廣益共同努力付出才能做到的,另外最重要的是同學們能學以致用就是最大的收穫。」他表示,技術上推薦系統已發展多時,多半廣用在電商平台上不管是顧客的點擊率、畫面停留時間、商品回購率等……。蒐集使用者的資料,可以以大量數據分析並找出適合產品、推薦消費者。目前總圖在讀者書籍服務系統上推薦功能的準確性仍有待改善,除了有基本的新書推薦服務與書籍查詢之外,並無較能精準推薦書籍的功能,新書推薦的清單也未以分類的方式呈現,可能較無法有效推薦給讀者閱讀。
廖教授也以實證說明,深度學習完全模擬人腦做學習,只需要給電腦輸入結果為何,就能夠找尋資料。像MOMO購物平台或PCHOME等購物網站透過後臺數據就可以知道消費者偏好以及使用者習慣,才有可能做推薦。但相對圖書館管理的資料卻僅僅只有基本圖書資料書名、作者、編碼等借還書的資料,資料不是很齊全的情況下,困難度相對而言更不易。
以優化的問題來思考,如果單純只採用圖書館管理的借閱者基本訊息、借還書時間以及頻率、書名等,因資料不足,將使機器學習無法精準。需要額外動腦思考使用者如何去看待借書這件事,從技術面上以創造新特徵的方式,譬如圖書館新進新舊書、續借資料為參數以及新增評分機制,從當中資料抽絲剝繭透過借閱者過去的習慣。團隊還須時常與讀者做互動,才能夠預測較為貼近使用者的偏好做精準推薦。
廖教授提及當然與產業上的合作能夠給學生帶來幫助,提前了解業界需求,其次則是學生學習的技術要如何在業界發揮,內外部溝通、團隊合作、資源有限情況下如何去分配資源,也是需要學習的能力。他並預期此成功模式可成功擴散至全國類似圖書館及大型展覽館、博物館。(文/蔡銪晟)
————————————————————
AI團隊師生參賽感言
蘇民揚(銘傳大學資訊工程學系教授)
AIGO競賽是一個高強度競賽,要在短時間內找出一個方法來解決廠商的問題,對我來說是一次很新的體驗,幸好張志勇老師團隊的同學每一位都很努力的去完成方案,並且發揮團結力量大的精神,彼此互相支援鼓勵完成競賽。
蕭兆翔(資工系博士班)
在整個專案當中,遇到最大的困難應該是溝通,不管是在跟廠商溝通,或是團隊內部溝通,每個人的想法畢竟都不一樣,經過這次專案,我學會了站在對方立場冷靜思考,是不是其實這樣的效果會更好。
廠商最終要的成果,我們在短時間內可能無法達成,以至於中間在跟廠商溝通時,些許感受到廠商的失望,期望下次在一開始溝通的時候,就要明確表達短時間內只能做到哪部分。
羅建昇(資工系碩二)
這次參賽中,我們多次與國巨律師所開會,每次開會,除了展現成果,我們也相互討論所遇到之瓶頸,業界也很積極給予新的點子,也大方說出對此案子的期待,這對我們後續開發有很大的動力!
我們團隊成員彼此也都認真負責,遇到問題,積極與老師討論,全力解決問題,盡力去滿足業界的期待,才得以將系統不斷優化與調整。
在每一次與律師所開會中,我們展現出我們對AI的專業以及實質性的成果進度,盡力做好律師們所提之建議事項,最後,律師所也覺得系統做的不錯,準備運用於地檢署中。
我想,除了對AI的專業外,認真負責的態度也是取得企業信任的關鍵!
黃昱翔(資工碩二)
平時我們做研究較會專注在個人,而團體競賽則非常看重溝通,無論是與廠商還是組員之間,當遇到困難時,互相溝通才能夠解決問題,所以在這次參賽過程中,我無論是在技術還是溝通經驗上都有很大的收穫。
蔡弘羿(資工碩一)
在學校自己做研究時,所取得的資料一定都會是符合需求且完美的,但是我們這次比賽獲得的資料,時常出現晃動以及畫面不清楚或是模糊的情況,因此我們在這方面學到了資料處理的技術,利用這項技術將資料整理好,給予模型做辨識及學習,我認爲這一方面也是我收穫最多的部分。
王品皓(資工碩二)
參加AIGO競賽讓我們有機會可以與廠商溝通,將我們的想法從無到有製作出來,為出社會工作累積實戰經驗,也透相關資訊的蒐集,從中學習到我們在實驗室沒接觸過的技術,這次比賽成為了我在研究階段的難忘經歷。
尹矞田(資工碩二)
AIGO這次的機會讓我們學習到最多的地方在於與廠商直接的對接,以及了解業界需要的是什麼,也發現其實產業最在乎的是最終的成果是否有達到他們的需求,在整個過程中我們使用一直以來所累積的知識一點一點堆疊出成果,並且最後也成功的發揮所學,將其運用於產業界,完成他們的需求。
范緒謙(資工系碩二)
在這個比賽的提案階段時,需要針對產業界的問題,要利用何種技術進行解題的發想,除了考慮可行性外,創意及創新也是非常重要的一環,才能從競爭激烈比賽中脫穎而出。而成功搶到題後,我們才能進行更進一步的實作,雖然已有大致上的方向及想使用的技術,但大多數模型、技術並非我們已學過的,因此,「邊做邊學」,是我們一路走來相當重要的一環,同時,同學們也都不吝嗇互相分享自己會的部分,教學相長,在最後完成時,除了滿滿的成就感,還有與同伴並肩作戰的快樂
趙子岳(AI系二年級)
這是我第一次參加這麼大的比賽,一開始4月時教授邀請我一起參加比賽,當時我聽到我一個大二生的要和研究生一起比賽真是嚇死我了,我立刻就說了我覺得我幫不上忙,沒想到教授還是覺得我能夠做到些什麼並從中學習經驗。過程中為了想要幫上忙也看了不少的文章,也在跟著學長共事的過程中得到專業知識與比賽經驗。最後雖然只有拿到一題佳作,但參加比賽的初衷是要學習知識和經驗,只要這點有達到,那麼這些時間就是穩賺不虧。