美国留学

热点追踪/深入探讨/现场参观/商务合作

海明威的《老人与海》，大家一定很熟悉吧！你们高中老师当时是怎么教这篇课文的？朗读、背诵、讲PPT？

这一切即将改变！你能想象吗，不苟言笑的语文老师在课堂上变成了“演员”，一只巨大而凶猛的马林鱼在《老人与海》向他发起攻击，他踉踉跄跄地向后退去躲避这种危险的生物。

是的，这正是融合了最新VR和AR技术的课堂教学方式，让老师和学生“沉浸”在冒险般的故事中。

（海洋冒险，讲故事的新方式）

尽管VR和AR技术已经进入成熟阶段，但根据EDUCAUSE公布的数据，2018年只有4%的学生接受了虚拟现实、增强现实等新视听技术的学习辅助，还有很大的空间。探索科技创新在教育领域的应用。

教育者、科学家、工程师、设计师甚至追梦者都在尝试用科技的力量助力教育。如何将VR、AR、MR技术与教育结合成为重点研究方向之一。近日，《硅谷洞察》参观了麻省理工学院媒体实验室，探索那里的研究人员如何利用AR 技术打造更具吸引力的课堂。

AR将创造一种“实时互动”的课堂教学方式（麻省理工学院纳兹穆斯·萨奎布媒体实验室，侯亚凌摄）

Nazmus Saquib（以下简称Saquib）是麻省理工学院的博士生。今年年初，他和Adobe研究院的研究人员进行了一项技术实验，探讨如何利用新媒体更好地展示教学内容，帮助教师提高课程的吸引力。

发起这个实验项目的初衷是Saquib想要改变老师上课时总是看PPT、板书的模式。受AR增强现实的启发，拥有人工智能开发和机器深度学习背景的Saquib和他的团队希望将“肢体语言”引入到交互式演示系统中，帮助教师更好地可视化、生动地呈现知识。他们把这个开发系统命名为Interactive Body-Driven Graphics for Augmented Video Performance，以下简称AR实时交互系统。

那么，这款产品如何运用在教学中呢？

技术层面：基于AR的实时交互系统

该系统允许用户独立设计交互解决方案和原创故事，让用户在不同场景下使用自然的身体动作和姿势来操纵图表元素。

使用该系统，老师与真实场景（教室）中不存在的事物同时出现。老师本人也必须是一名“表演专家”，利用肢体动作和姿势，现场实时操控图表信息，真正达到声情并茂解读教学内容的目的。

（鲸鱼结构讲座）

比如，今天老师的课是介绍一种海洋生物：鲸鱼。传统的多媒体教学会在屏幕上向学生展示一条鲸鱼，并用箭头标记这些部位的名称。不过，利用Saquib开发的系统，教师可以在视频中与鲸鱼实时互动，通过上下举起手臂将鲸鱼“打开”，让学生看到鲸鱼内部骨骼结构之间的关系，五器官结构和外皮层。

图文互动不仅让学生感觉老师的课新颖有趣、对知识点有更好的理解，而且可以让老师结合图文、声音、语言、肢体动作等多种信息传递方式，这极大地帮助他们更好地表达信息。

（研究太阳的升起和落下与湿度变化的关系）

（AR技术演示烹饪）

（AR为学生增添天使翅膀）

这个系统让我们看到除了幻灯片之外，老师在课堂上还有更多互动、有趣的工具可以使用。该工具还打破了传统AR节目在编程前期无法更改的特点，提供实时的增强现实特效。

操作水平：就像制作PPT一样，操作简单易用

听起来需要非常复杂的特效剪辑才能达到这样的效果。那么这个工具对于普通教师有用吗？操作方便吗？

Saquib表示，教师只要会制作PPT并经过简单的培训，就可以独立掌握这个AR交互系统。他向我们展示了如何使用这个工具来设计交互式表达并讲述一个故事。

老师打开系统后，就会看到这个巨大的人形框架。蓝色的“人体框架”上，每个点代表人体活动关节的19个枢轴点，如头、颈、肩、肘、手、腰、腿关节等。右边是萨奎布画的一把雨伞用鼠标。他还将云、雨滴作为图像元素导入系统中，辅助教学。导入过程就像从PPT 导入图片一样简单。 （图片由纳兹穆斯·萨奎布提供）

接下来，萨奎布在示威时想用左手撑伞。要完成这组动作，只需拖动鼠标，找到“左手”支点，将“左手”连接到“伞”上即可。连接位置也可设计。

雨伞旁边会出现五个黄色小图标。这些小圆圈代表图像元素本身将如何移动：从上到下：移动、旋转、更改透明度、变大或变小以及速度。这些函数是Saquib 和团队成员通过研究演讲者在演示过程中的行为得出的五种最常用的变形方法。 （人体支点连接虚拟伞，出现5个变形、位移图标）

所以按照这个设计逻辑，如果Saquib拿到之后想要把雨伞变大，他只需要点击雨伞旁边代表尺寸的黄色图标即可。

此外，系统还预设了一些手势的“捷径”，帮助教师用简单的动作完成会重复出现的高频交互反应，如选择“食指指向”、“双手竖起大拇指”等。控制图表保持固定，“左右摆动”控制方向移动，摆动控制图表摆动等。

设计完这些元素以及它们在系统上的移动方式后，就该进行实际性能了。 （图片由纳兹穆斯·萨奎布提供）

这是Saquib 在家使用系统工具的照片。通过图片可以看出，生产空间不受限制。你只需要一个教练、一个屏幕、一个传感器（图中的Kinect）、一台电脑和一个答题器（拿在手里）就可以开始。已记录。电脑的摄像头可以捕捉萨奎布，而电视屏幕则充当镜子。 S可以通过看屏幕看到自己的表演，设计自己的互动动作。 （自定义交互图表后的效果展示）

正如您所看到的，这个系统很容易理解并且可以快速使用。对于没有编程、设计基础的老师来说，通过接触掌握它并不困难。

项目亮点：虚拟屏幕“实时反馈”，创新信息传递模式

虚拟屏幕现实场景中的“实时反馈”是Saquib团队的AR实时交互系统的亮点。

通过深度学习（机器学习），利用人工智能将人类行为数据收集到数据库中，Kinect 可以感知并识别演示者动作的目的。当萨奎布斜向上举起手指时，视频中就会出现一张图表。 Kinect会快速响应并判断“操作员”命令动作的目的，并将之前设定的海图信息实时显示在屏幕上。

例如，在这个导航方向盘中，当屏幕上的Saquib 握住方向盘并“航行”时，海图信息会随着Saquib 的移动而变化。 （虚拟图表实时出现，数值根据演示者的不同而变化）

这就是Saquib一直强调的关键词“实时”交互。该工具的亮点和特色在于，它在视频中实时显示增强现实AR图像，并与现场老师配合完成定制的“表演”。

此外，萨奎布还表示，AR教学将成为信息传播的新媒介，帮助更多人了解世界。在麻省理工学院媒体实验室，萨奎布和其他学生学者一直致力于研究除了声音、图像和文本之外还有哪些新的“语言”可以传递信息并帮助更多的人，为获取信息提供创新的方式和工具。 （麻省理工学院媒体实验室一角，侯亚玲摄）

Saquib萌生了制作AR实时互动演示工具的想法，探索“肢体”语言在信息传递中的效率和运用，打造未来创新的互动课堂。

有人可能会有这样的疑问，通过在笔记本上写字、画图这种最传统的“语言”方式，不就可以扎实地掌握知识了吗？为什么要开发一种新的学习“语言”？

事实上，未来人才培养的格局已经悄然发生变化。复杂、庞大、快速变化的社会告诉我们，传统的“语言”对于学习很重要，但创新的新“语言”的诞生可以激发我们大脑尚未意识到的潜力，帮助我们更好地改变视角。看世界。

同时，科技的发展应该给人类带来更多共享的教育资源和公平的学习机会。新媒体语言的诞生和创新可以为更多患有阅读障碍或需要特殊教育的儿童（例如自闭症儿童）打开认知世界的新窗口。

“有些人可以很快理解逻辑性很强的数字语言；有些人可以快速理解。”有些人可以通过视觉语言（思维导图、图表、视频）更好地增强理解和记忆；有些人可能对数字或视觉语言不感兴趣。所以新“语言”的开发实际上是在帮助不同人群找到最适合自己的学习方法。”萨奎布说。

科技+教育必须以人为本

在参观麻省理工学院媒体实验室时，小檀感受到未来的教育不仅仅是技术的拼凑，而是技术更好地辅助教师，从而更好地开启学生探索世界和自由思考的能力。因此，无论是技术还是教育，其本质仍然聚焦于“人”品质的培养。

同时，这客观上也要求教师具有“与时俱进”的能力，跟上科技时代的发展。但这对教师来说仍然是一个很大的挑战。

在哈佛科教论坛上，工作在国内教学第一线近10年的高宏老师和波士顿大学教育学院教授Stacy L. Scott博士也聆听了介绍与小檀一起介绍MIT 团队的AR 教学系统。会后，他们都对科技与教育融合的未来充满了期待，但同时也认为科技与教育发展的核心是更好地“服务”人民，无论是教师还是教师。并且学生应该适应。时代潮流，培养运用科技的能力。

高虹老师认为，科技对教育的影响是不可逆转的，是时代的必然趋势。教师除了具备传授给学生全面、系统的学习知识的能力外，还必须不断接受和学习新事物，快速洞察哪些技术手段和产品可以使用以及如何使用。这些都是对教师从业人员的新要求。而她目前正在哥伦比亚大学攻读更为综合的教育领域。

和高老师一样，斯科特博士也告诉小檀，他认为未来教育的大趋势是科教融合、科技辅助教育的时代。 AR互动方式确实会有效增强课堂对学生的吸引力，但教师备课时，如何利用科技手段讲好知识点和故事，与教师的基本素养密不可分。因此，未来虽然技术会改变教育的形式，但教师创造的价值不会改变。

“人工智能和认知科学是未来的趋势，但这些技术都是为人服务的。我认为教育的未来是一个以人为中心的学习和设计过程，”萨奎布在采访结束时说道。

您如何看待AR、VR、人工智能等技术与教育融合的趋势？它们是商业噱头还是有实际效果？您认为科技在教育领域的应用还有哪些方向可以探索？欢迎大家留言讨论！