勇夺微软全球开发者大赛冠军!AR教学软件让你可以在家免费学钢琴
勇夺微软全球开发者大赛冠军!AR教学软件让你可以在家免费学钢琴透过AR直接在钢琴琴键上产生垂直虚拟记号,就像音乐类游戏一样,会有即时提示出现,让使用者可以掌握弹奏时机;进阶学习者也可以选择虚拟乐团帮你即兴伴奏,创作不同体验。
这套软件叫做Music Everywhere,目前在微软HoloLens商店上架,使用时除了需搭配AR眼镜,还要拥有一台具备蓝牙功能的钢琴,才能够传输MIDI讯号(乐器数码界面)。
用AR学钢琴的创意教学系统,击败一千多名来自世界各地团队,获得2017年微软的HoloLens开发者大赛全球第一名,并得到十万美元奖金。另外,也曾到旧金山的游戏开发者大会(GDC)、哥本哈根的国际创新音乐表现界面大会(NIME)及洛杉矶的计算机图形大会(Siggraph)展出,陆续受到瞩目。
27岁的萧富彦,过去在美国匹兹堡就读卡内基梅隆本科的娱乐科技(entertainment technology)硕士班,他和两名共同创办人在为期15周的专案里,打造出AR钢琴教学系统的雏形,并于2017年4月正式成立新创公司Music Everywhere。
萧富彦喜爱吉他,担任创意长角色、执行长赛斯‧葛立克曼(Seth Glickman)是毕业于纽约茱莉亚音乐学院的作曲家、技术长李炳万(Byunghwan Lee)来自韩国,是一名喜欢合成器的游戏工程师。
由于对音乐的热情,他们观察到现在的钢琴自学方式,仍有许多不方便之处。例如用手机、平版观看教学影片时,学习者必须不断移动视线和转动身体,轮流盯着钢琴与电子屏幕,无形中增加了许多吸收资讯的困难,同时也不够直觉,因此兴起创业念头。
技术挑战在于,AR显示器的视野范围很小,大约不到35度,该如何妥善利用HoloLens的追踪功能,又不让虚拟资讯因为角度问题(field of view)被切掉,需要反复的设计。萧富彦说。
但Music Everywhere仍努力克服技术困难,顺利创造出镜射琴键的功能,目前也正打算开发比照真人弹奏的模拟手势,让学习者能够有更精致的学习感受。
我们的目标客群是那些希望享受音乐的人。萧富彦坦言,AR应用在建筑、医疗、机械等领域比较热络,因为扩增实境能让平面图资立体化BWIN必赢登录入口,而音乐领域不只在美国很少人碰,其他国家的尝试也不多。
萧富彦表示,HoloLens拥有良好的空间追踪技术,但因为装置价格偏高,在美国每台售价约5千美元,因此在市面上AR头戴装置未普及的情况下,不太可能直接推广至消费者家中。
目前,Music Everywhere正在美国各本科、文艺中心等地方推广,希望先让外界了解AR科技对学习音乐的帮助,接下来也将持续推出吉他、鼓类学习产品,提升教学系统能见度。
他们从2017年7月开始,进驻匹兹堡加速器Alpha Lab,获得投资与创业辅助训练,同时也获得不少AR硬件厂商接洽,正持续拓展出路。
音乐市场虽然小众,但是不代表科技没有机会改变它。萧富彦看好在2020年左右,就会是AR应用快速融入市场的绝佳时机。