全球研究计算机科学杂志》上
菜单石头:2229 - 371 x
石头:2229 - 371 x
如今现实增强(AR)是一个著名的概念,但它的起源可以追溯到60年代当萨瑟兰提出第一个承认基于“增大化现实”技术的原型,基于一个头安装设备(HMD)[—53], 1968年。萨瑟兰之后,二十多年前通过增强现实技术一词正式由汤姆Caudell大卫Mizell,两位科学家在波音公司,它开发了一个实验性的AR系统简化空气的制造过程的目的公司[9]。基于“增大化现实”技术的概念被正式的只有1994年,米尔格拉姆和Kishino[39]真实空间之间的关系,虚拟空间,所有的中间形式的混合空间。1999年,ARToolKit
[1]公开披露在SIGGRAPH[5],第一次工作以外的AR系统一直被认为在美国研究实验室,预示着开始的基于“增大化现实”技术的行业,作为开源软件发布后两年。
直到几年前,缺乏低的成本设备是广泛采用的基于“增大化现实”技术应用的主要障碍。
如今,移动设备的广泛采用了这种限制,随着智能手机和平板电脑功能所需的所有传感器和处理单元开发和部署基于“增大化现实”技术的应用。此外,影响移动设备的技术创新可以产生新的具有挑战性的产品,通常被称为衣物,和行业推进新类别的基于“增大化现实”技术的设备,如Emacula隐形眼镜Innovega[2], 3000年Vuzix叶片AR杯[6]或元2基于“增大化现实”技术的游戏耳机[4]。雷竞技网页版增强现实技术的全球市场快速增长和普遍采用的基于“增大化现实”技术的技术意味着一个不可否认的对社会的影响。总的来说,基于“增大化现实”技术的应用到工业领域是相关的,因为它在很大程度上提高了通信产品设计和生产发展:它有助于识别和避免设计错误在开发过程的早期阶段;它能减少物理样机的数量和企业节省时间和成本。基于“增大化现实”技术被认为是一个有价值的工具,用于改善和加速在许多工业应用产品和过程开发。现在可以确定至少五个主要领域的应用行业领域:基于“增大化现实”技术的人机协作,maintenance-assembly-repair、培训、产品检验和建立监测。在机器人领域的合作,
基于“增大化现实”技术用于创建高效的接口与工业机器人进行交互。maintenance-assembly -修复任务,基于“增大化现实”技术提高自己的生产力。在培训操作,用户可以找到基于“增大化现实”技术的一个强大的解决方案来提高他们的技能。在产品检验,控制器可以通知任何不符点的物品使用强大和灵活的基于“增大化现实”技术的系统。最后,在构建监控操作,基于“增大化现实”技术的突出任何错误或偏差的设施在一个简单而直观的方式。
人机协作
第四次工业革命带来了新的技术挑战。工业机器人的能力正在稳步增加,一起期待更强的合作互动。运营商需要在一个安全的工作环境,提高他们的信任在机器人。创建一个系统,在这个系统中机器人与人类并肩工作,必须开发新的接口允许用户以最自然的方式与之交互。由于这些原因,新的科学的新兴学科。人类机器人协作(HRC)是一个新的学科,试图了解如何提高机器人协作使用创新的接口。创建一个安全的和可信赖的人与机器人系统是一个复杂的挑战。人与人之间的协作系统被认为是安全的,因为一个人可以自然地理解另一个人的意图。在机器人的情况下,同样的行为可以实现提前展示给用户的动作或力量,机器人将会应用在现实环境:这样操作员可以清楚地了解机器人的意图。基于“增大化现实”技术确实可以用来实现这一目的,因为它能够显示信息放在实际环境中,提高系统的运营商意识。 AR, among other applications, is a promising technology that can enhance the user’s ability to understand:
•移动机器人的运动;
•一个机械手臂的运动;
•适用于机器人的力量。
这一节的其余部分是专门用来解释一些系统,利用基于“增大化现实”技术的理解上面介绍的功能。
移动机器人运动
行业通常采用自动引导车辆(AGV),而不是使用人类的技工,对物质运输。AGV机器人可以独立活动,他们通常用于运输设备制造工厂。大多数时候,一个AGV遵循一个预定义的路径,一方面方便了工人能够预测机器人的意图,另一方面它强加一些限制的任务类型AGV可以执行。下一代的自主移动小车能够移动后没有一个预定义的路径,它将能够决定,实时,什么是最好的轨迹跟随在给定的环境中(54-61]。这种行为某种程度的不确定性,为此介绍了通信的车辆必须尽可能的明确意图。事实上,一种方法来提高这些系统的安全可能会给机器人的能力去理解和p61redict人类运动。建立这样一个智能系统是一项复杂的任务,因为人类是非常难以预测。合理的选择是在将理解他人的意图的负担从人类的机器人。使这个系统安全,机器人必须显式地表达其即将到来的目的运动:因为视觉是人类最发达的感官之一,目的明确一个行动通过可视化系统无疑是一个很好的选择。此外,可视化系统可以使用AR技术显示了机器人运动投射在实际环境中。几个项目(11、13、37)下面这个方法:例如,Chadalavada等。[11]添加一个标准的投影仪(Optoma毫升750)林德CitiTruck自主移动小车。使用投影仪显示机器人的运动直接在地板上,让人类来检测其未来转几秒钟的时间范围。
机器人的手臂运动
在工厂完成不同的任务,其中一个是由挑选和地方行动或装配过程。这些活动通常是由所谓的“手臂机器人”,它有能力抓住对象,并把它们安置在特定领域。作为自主移动小车的运动,提前了解所采取的路径,将机器人的手臂是至关重要的,允许人类预测机器人的意图。38岁的一些研究[8]正在探索基于“增大化现实”技术的使用机器人的手臂运动可视化投射在现实环境。譬如et al。
[8]开发了一个基于“增大化现实”技术的系统,改善员工之间的交互和工业机器人。使用这种基于“增大化现实”技术的接口,一个工人意识到不仅将的对象,而且机器人的轨迹将遵循:以这种方式用户可以决定取消错误的命令,他们以前给机器人执行。显示机器人的信息意图可以提高协作系统,但它不仅必须考虑信息的类型,而且当信息显示。了解基本数据显示时,因为工人必须知道正确的信息在正确的时刻为了准确理解机器人是做什么,因此感到安全。E Ruffaldi et al。45)提出了一个系统的立体声增强现实眼罩集成在一个工作头盔HRC的仿人机器人协作应用程序(巴克斯特机器人,从考虑机器人7])。作者的目标是指机器人在做什么信息在某些时候,没有重载操作符与数据。具体来说,如果该对象被机器人领域的运营商,对象是平视显示增强。此外,一个三维的箭头是放在最后,效应显示机器人的运动方向。机器人的力
监控机器人运动是有用的了解其意图,但它缺乏信息雇佣多少力量机器人在执行其任务。马特奥等。[36]开发了一个基于Android的应用程序编程的工业机器人。任务可以通过重叠监控通过基于“增大化现实”技术的实时信息。例如,在机器人执行任务时,工具的分力中心点在X, Y和Z以及显示结果向量用3 d CAD模型。此外,与不同的颜色取决于组件的力的强度。虽然仍有待完成了大量的工作以保证安全与系统的交互通过解释机器人的意图,基于“增大化现实”技术似乎是一种很有前途的技术为这个目的:让用户更加了解机器人做,提高职工的安全感觉和系统性能。的主要挑战是大多数时候由于跟踪系统的质量和遮挡问题。
维护、组装和维修
维护、修理和组装任务代表另一个基于“增大化现实”技术的战略研究领域,因为许多行业降低成本是一个关键的目标。这种任务带来的一个问题是有关他们的复杂性:技术人员可能需要参考指令手册正确完成分配的过程。连续开关设备之间的关注参与程序和手册可能涉及的认知负荷高技术人员。交互式电子技术手册(IETMs)提出了解决错误和困难相关标准技术手册》(TM)和它们的有效性提高的表演太没经验的技术人员和专家已经证明(17]。然而,IETMs并不是完全的一部分技术人员和机器之间的交互过程,事实证明,这种分离的时间和成本增加任务和技术人员的认知负荷[25]。基于“增大化现实”技术可以很容易地和有效地解决经颅磁刺激带来的分离问题和IETMs[54]和基于“增大化现实”技术能带来的利益维护、修理和组装任务已经彻底地分析[24]。AR-based文档证明生产减少25%成本,改善性能高达30% [55]。国际数据公司(IDC)预测,现场组装和安全将吸引投资基于“增大化现实”技术和虚拟现实技术在未来四年3.62亿美元,到2021年底,工业维护将是最大的工业用例高达52亿美元的投资(27]。
基于“增大化现实”技术的维修申请由一组虚拟资产提供了迹象,技术人员艾滋病或建议。最常见的资产与指令理解音轨,动画3 d模型,直观地描述要做什么和文本标签提供任务执行的细节。图形资产覆盖和机器维护与尊重,使技术人员能够利用它们在执行的过程。此外,这种基于“增大化现实”技术的应用程序通常包含一个网真系统,使远程技术人员交互支持维护人员在AR艾滋病是不够的。从早期的实验来支持技术员在sim-ple维护程序式AR原型Feiner et al。(16),第一次传递维护技术人员的指示AR-based系统可以追溯到1990年代,当研究人员开始调查的好处和appli-cations基于“增大化现实”技术的维护,修理和组装任务(40,41]。第一个例子之一,电信通过基于“增大化现实”技术援助,也叫做tele-maintenance,于2000年被剥削的结果等等¨¨项目(23]:一个基于“增大化现实”技术——基于系统,可以建立一个维护者和远程专家之间的交流渠道。STAR-MATE项目是第一个调查和实现多通道交互的基于“增大化现实”技术,结合虚拟定位设备和语音命令[50]。在其他项目的目标是提供给用户的能力来执行基于“增大化现实”技术的程序移动在一个工业现场或工厂,而不是操作固定工作台,实现所谓的移动AR(22日,43岁,47)。即使个人设备,如平板电脑和智能手机的传播在过去十年里推动了手持增强现实(HAR) [48,57)的一个主要限制其在行业是技术人员经常需要使用免提设备tesks分配完成。——结束了,好好观察对象通过相机或装配技术员可能涉及安全问题。即便如此,HAR-based维护存在的一些例子,比如HAR卡恩等人提出的解决方案来支持结构和设施的整体生命周期管理[28]。基于“增大化现实”技术的应用的例子为装配任务通过AR tehcnologies compre-hend项目月亮(面向装配的设计增强现实),由空中客车公司的军用运输机部:开发项目的目的是使用3 d信息从工业数字模型gener-ate汇编指令的航空业部署通过AR技术(51]。侯等人的研究调查了认知收益可以来源于使用基于“增大化现实”技术的组装任务(26]。目前,其中一个问题,限制了基于“增大化现实”技术的传播在保养和维修任务包括创建所需的时间,改变和改善AR过程[32]。带来的另一个困难是缺乏一个清晰的和可访问的工作流程来设计和开发一个基于“增大化现实”技术的应用行业:这个问题是解决Manuri et al。[35],这提出了一个评价markerless以来维护程序跟踪系统可以获得独立于环境解决方案没有标记。此外,可穿戴设备的用户界面提供了其他困难当应用到工业领域:接口构成了主要的可靠性要求,最终比直觉或舒适的使用,更重要的是因为dangerous-ness,一些程序可能给技术人员34];另一方面,因为交互过程中尽量减少用户的认知负荷已被证明是降低成本的关键,该行et al。31日)研究框架自动生成语音接口使用语义可穿戴的基于“增大化现实”技术的应用程序。
培训
基于“增大化现实”技术的使用技术培训目的是严格相关维修、组装和维修任务,因为他们通常都是学习的对象为一个用户从工业领域。AR技术改进传统的学习方法已经通过多年深入研究,从教师、教练和训练员总是寻找新的方法来提高学生的学习经验和开发创新知识和培训路径。多媒体内容不仅可以提供丰富的感官体验,可以提高用户机器和user-user交互也因为多媒体内容可以增加读者或观众的动机和兴趣,如上所述,Chignell Waterworth [60]。不同研究背后深层原因调查报告关于程序性错误,说明一些维修故障不是由于缺乏适当的任务信息,并基于“增大化现实”技术被认为是一个有价值的工具,用于支持任务执行由于其能力来增加用户的动机[56]。另一个重要的利益相关的基于“增大化现实”技术的使用技术培训是基于“增大化现实”技术可以模拟危险或危险的任务,甚至破坏性的事件没有风险的学生。
第一个例子AR系统的支持和培训techni-cians通过电脑指令可以追溯到1990年代初,据姓et al。[40]和Ong et al。[41]。现在使用基于“增大化现实”技术的技术培训和支持相关的技术人员大量的工业领域,如工业植物(21、42),航空(14、15)和汽车[52岁的58]。灵活AR-based工业维修训练系统提出了桑娜等。[46]解决困难为教师创建[30]基于“增大化现实”技术的内容。系统允许教师产生AR-based训练过程中,很容易“调谐”其复杂性accord-ing学生的技能。此外,教师可以通过一个集成的网真系统:提供远程协助instruc-tor可以看到学生的镜头是什么框架,与学生互动,确定哪些步骤的程序是防止用户完成他们的任务。最后,老师还可以修改程序,因此发送回学生更新版本。
产品质量控制
创建一个产品是一项复杂的任务来完成。产品manu-facturing经过几个阶段,如概念、设计和实际实现。一旦意识到一个产品,它是检查检查,没有错误发生在创建阶段,没有对所估计的差异。效率的原因,整个过程应尽可能快速、准确地完成。人们越来越倾向于满足标准的完美公司管理层和实际产品的制造。最后的生产链,质量控制是高;为了在市场有效的产品最能满足最终用户的期望。关于商业资产,产品检查视觉上使用一个列表,其中包含不可接受的产品缺陷。这个过程通常被称为检查。检查可以在不同的领域,如制造业、商业、政府、力学和它包含在一个特定的组织检查设备或过程。 Since the variety of products and their details increases, the inspection task becomes more complex. Thus, the inspection could become less effective because of the cognitive limitations of human inspectors. AR appears clearly to be a promising technology in set-ting up the inspection process, because it allows a direct comparison between the real object and an ideal model. Indeed, using wearable devices, the operator can visualize a 3D representation of the ideal object directly superimposed on the product that is being inspected. This procedure is often called ”discrepancy check” [59]. An example of AR system used to inspect an industrial product is proposed by Ramakrishna et al. [44]. In the suggested sys-tem, a printer is analyzed using some Android devices (Cardboard with mobile phone, Google Glass and Tablet) that can extract in-formation about the object by detecting a QR code attached to the printer. The gathered information regards some relevant details of the printer (type, year of manufacture, inspection history, etc.) along with the check-list to be performed during inspection. Afterwards, instructions and manuals are displayed on the user device screen, in this way the inspector can complete the operation having all the necessary information. In the process, different objects are tracked and specific information is thus sent to the operator. To improve the system performance, a speech recognition engine has been inte- grated in order to allow the user to give comments. In the approach proposed by Chung [12], an AR system to analyzed some small industrial object is presented. The goal is to understand which is the most effective way to inspect a real product. Four different modal-ities of inspection are compared. The manual modality consists into taking measurement directly on the real object. With the 2D and 3D modalities, only the relevant data relative to the real object are shown to the user. The only difference between 2D and 3D modalities consists into how data are visualized on the monitor (2D perspective figures and isometric perspectives, respectively). Finally, the AR modality uses the same approach of the 3D modality, but the subject is equipped with a see-through head-mounted display (HMD), in which the 3D model is superimposed over the real object together with the measuring information. Results deduced from the comparison among these four modalities, show that the AR method provides the best performance by being the fastest approach. Further, the AR system shows the least number of errors since the operator has to accomplish fewer tasks than with the other three modalities. Finally, this system helps the operator to understand which attributes need to be measured. More advanced systems can reconstruct the 3D scene in real time using depth cameras. Wasenmuller at al. [59] developed an AR system that can construct in real time a 3D representation of any object and it allows an instant inspection. The algorithm detects the geometry of a given object and it compares the 3D model with the real one. The discrepancies are computed with an accuracy of 0.01 m.
构建监测
建筑环境是复杂的结构,由系统由不同的机器,需要一个合适的基础设施。建立这样一个环境是一项艰巨的任务;每个系统是由不同的子系统(列管,房间,等等)必须定位在合适的地方。通常情况下,这些子系统使用3 d模型和表示工厂pre-visualized使用计算机图形学。这样是可能的位置每个子系统在适当的地方,检查任何碰撞或其他精灵违规行为[49]。
施工过程监控验证施工过程是一个复杂的挑战,检测实际或潜在的时间表推迟现场施工活动对项目管理至关重要。事实上,当前的方法提出了几个缺点描述为:
•手工收集必需;
•手工收集的数据可能会低;
•收集到的信息解释需要测量;
•现有表示进度监控的可视化复杂。
因此,要花费大量的时间来实现这一过程,减少整体生产力和增加资源的流出。当然,实时反馈和监控系统应该基于解决方案,可以避免或减少上面的问题了。基于“增大化现实”技术无疑是一个合法的候选人,用户可以直接可视化施工过程在实际环境中,可以检测任何偏离原来的计划。两个类似的系统(19、20)使用AR重叠3 d模型随着时间的推移,未来的建筑——失效照片。随着3 d模型叠加在真实的环境中,软件决定如果有差异正在建设和计划进行。如果有任何偏差检测到在一些地区,这些特定网站的3 d模型颜色为红色,而如果建设按计划,3 d模型的绿色。这些系统显示又基于“增大化现实”技术的潜力,因为所有的人参与施工过程(例如,从业主和建筑师分包商和交易工头)可以实时控制工作的进度可视化如果有任何问题在一个简单而直观的方法。
设备监控
一旦建立真正的设施,验证和控制过程实现验证最终产品不同于计划。检查一个环境的有几种方式:传统方法直接由手工到验证,使用大地设备和激光扫描仪。相关的主要缺点是缺乏一个自动的过程,翻译的点测量设备(激光扫描仪等)到一个3 d模型,可以将原位与真实的环境。由于使用的基于“增大化现实”技术的能力在现实环境中,这个挑战是可以克服的。几个项目[33]18日,29日,使用基于“增大化现实”技术来提高管道系统的识别问题。乔治et al。[18]开发了一个系统,可以检测一些独特的特点适当的每个环境找出任何问题关于管配置。独特的特点是金属结构由Anchor-Plates嵌在墙上。一旦这些元素正确跟踪,这套装置的软件管实际管道的三维CAD模型和用户能够发现任何差异。以类似的方式,李et al。[33]开发了一个基于“增大化现实”技术的管道系统,显示了一个3 d CAD模型温度/压力措施和管分配图。试验结果表明,工人可以检查正常管道比较CAD模型与真实的一个。
另一个刺激使用的基于“增大化现实”技术监视复杂建筑开发了Zollmann et al。[61]。系统建议由成基于“增大化现实”技术的结合与无人机(UAV),没有人类飞行员登上飞机。这些飞行器的自主程度可以有所不同:他们工作人员可以远程控制或自动操作电脑。Zollmann等。[61]使用无人机来捕获的航拍图像的感兴趣的领域(例如,从房子到工厂),然后使用这些图像重建的实时3 d表示建筑工地。最后,一个用户,谁是放置在该网站,可以使用基于“增大化现实”技术的组件可视化区别真正的建筑和它的3 d表示通过叠加3 d模型。此外,它可以把空间注释直接在AR视图,这样施工人员可以存储建议直接在对象被修改。此信息可以实时可视化,改善执行时间和检验的效率。
结论
术语“4.0”和“智能工厂”往往与物联网的概念(物联网),指实现网络化设备交换数据。4.0物联网行业的主要技术之一,但许多人都成为它的一部分。不再是无法想象把一个工厂,不仅每个事物都有联系,但它也可以和互动。基于“增大化现实”技术的有效性不在于可视化过程本身(在许多方面可以可视化数据):它是数据可视化,使得基于“增大化现实”技术的一个非常强大的技术。能力提高真实空间已经多次证明,这项技术的使用在一个复杂的环境中,如fac-tory之一,确实可以改善该行业的生产力。基于“增大化现实”技术的提高机器人系统的可靠性和安全性显示工人机器人的意图,这会降低成本和提高性能的维护系统或精确显示任何产品叠加模式对实体对象的差异。基于“增大化现实”技术将绝对4.0产业的关键技术之一,它将丰富的经理/主管的工作,工人。4.0行业确实代表的一个主要的技术革命。旁边的改进,这肯定会导致关于数据处理可能出现的困难。在一个一切都是监控和可视的环境,保护用户的隐私必须非常仔细地考虑。 Data are gathered using multiple sources positioned in different places all around the factory and in-formation is continuously processed, saved and controlled. Gestures, voices, facial expressions (and many other features) are detected and stored. Sensible data, such as life-parameters or health-status, can be monitored on the legitimate grounds of preventing any physical illness. Moreover, any mistakes made during a generic operation can be detected in real time and promptly managed. Undoubtedly, these procedures may be implemented for improving the efficiency of the factory, but it must be given the opportunity to know how these data are processed and who can visualize them. Data processing is becoming one of the most discussed themes and organizations and government authorities are trying to find common rules to regulate it. For what concerns Europe, the General Data Protection Regulation (GDPR) will enter in force on the 25th of May 2018 with the intent to harmonize data privacy laws across Europe, to protect and empower all EU citizens data privacy and to reshape the way organizations across the region approach data privacy [3]. Inspired by the seven Foundational Principles of Privacy by Design [10], the GDPR will maybe change how data are collected. Technologies which compose the basis for the Industry 4.0 will maybe change their own way of working by modifying the very nature of Industry 4.0.
承认
区域项目资助的这项工作是发现人类(人类集中Manufactoring系统)。