云传感器集成技术综述

钱德拉尼·雷·乔杜里
马华学院助理教授。，SDET-Brainware Group of Institution, Barasat, Kolkata, West Bengal, India

摘要

无线传感器网络(WSN)已成为人类生活中无处不在的实体。它能到达人类无法到达的地方。无线传感器网络的发展和应用已成为工业、环境和商业各个领域不可阻挡的趋势。但它存在资源约束和设计约束。将云计算与WSN相结合，可以克服WSN的不足。本文简要介绍了传感器云集成技术。本文主要考虑传感器云集成的三个方面，即传感器云数据库、基于云的不同传感器数据共享平台和基于云的传感器数据处理方法。本文还以表格的形式总结了不同基于云的传感器数据共享平台所支持的特性。

关键字

传感器网络;云计算;传感器云;美洲狮;TinyDB;聪明的

介绍

无线传感器网络的发展和应用已成为工业、环境和商业各个领域不可阻挡的趋势。典型的传感器网络由许多传感器节点组成，它们共同作用来监视一个区域并获取周围环境的数据。一个WSN包含空间分布的、自我调节的传感器，它们协同监测环境条件，如声音、温度、压力、运动、振动、污染等[1]，[2]。目前，无线传感器网络被应用于医疗保健、军事目标跟踪和监视、自然灾害救援、危险环境勘探、地震传感等多个领域。这些传感器提供各种有用的数据，可用于监测和控制它们部署的环境。传感器网络中的数据量在本质上是巨大的、异构的和多维的。为了存储和处理这些数据，需要大量的存储和计算能力。与传统网络不同，无线传感器网络有自己的设计和资源限制。资源约束包括能量有限、通信范围短、带宽低、每个传感器节点的处理和存储有限。设计约束依赖于应用程序，并基于所监视的环境[6]。

云计算已经发展成为未来一代的计算范式[3]。NIST(美国国家标准与技术研究院)对云计算的概念定义如下:云计算是一种模式，可以方便地按需网络访问共享的可配置计算资源池(例如，网络、服务器、存储应用程序和服务)，这些资源可以通过最小的管理工作或服务提供商交互快速供应和发布。

云计算允许系统和用户以非常低的成本使用平台即服务(PaaS)(例如操作系统(os))、基础设施即服务(IaaS)(例如存储和服务器)和软件即服务(SAAS)(例如应用程序级程序)等，这些服务由几家云提供商(例如Amazon、谷歌和Microsoft)在按使用付费服务[5]的基础上提供。由于云提供了巨大的计算能力和存储能力，我们可以将其与传感器网络集成，以解决计算能力有限和存储容量有限的问题。传感器数据库系统与云集成，为云传感器网络提供数据库。o消除了WSN的计算约束，可集成云计算。无线传感器网络的部署是提供商特有的，即提供商定义自己的标准。云还与WSN集成，提供一个通用的数据共享平台。本文研究了云与WSN的融合，为云传感器提供数据库，为大规模传感器网络提供基于云的数据处理框架和基于云的数据共享平台。

本文组织结构如下。第一节绪论。第二节、第三节和第四节概述了三种方法。第五部分对全文进行了总结。

传感器云数据库方法

传感器网络产生大量的多维流数据，这些数据本质上是噪声和短暂的。与传统的数据库系统[36]不同，传感器网络中的数据具有时空维度，需要额外的处理。在传感器网络中，我们必须同时处理实时数据(传感器读取)和存储数据(传感器元数据)，即传感器数据库必须支持连续查询处理和一次性查询处理技术[34]。传感器网络空间分散，通信距离短，存储空间小，计算能力有限。因此，为了管理这些数据，我们需要轻量级分布式处理，而不是传统的网络重量级处理。由于传感器网络中的数据具有不确定性，必须对缺失值和校准误差进行预处理。传感器网络产生大量的数据，需要数据聚合。在查询处理方面，采用近似查询处理技术对数据卷[37]进行管理。我们可以在传感器网络中使用概率方法进行近似查询处理。一些传感器网络使用RFID标签进行识别，需要特殊的功率[33]。 Data in the sensor network is considered as continuous stream which leads to data structuring for processing. Generally sensor network data are represented as XML. Sensor modelling language (SML) [7] is used to represent any physical sensor’s metadata like their type, accuracy, physical location and so forth. The nodes in sensor network are highly failure prone, so we must have fault tolerant and data recovery mechanism to protect data. As sensor network is used to monitor and control the different environmental situations and to avoid different disaster, time critical real time database will be suitable for this network. Further security and reliability is important for this type of distributed network. Finally data in sensor network are heterogeneous in terms of data requirement, application needs, types of deployment and types of data generated by sensor network [24]. So to judge the sensor database the parameters are:

•大集多维分布式异构流数据处理。

•结构化数据和非结构化数据处理。

•时空数据管理。

•连续和一次性查询处理。

•单查询和多查询优化技术。

•数据预处理支持，以管理数据的噪声和短暂性。

•考虑资源约束和能源效率的轻量级分布式处理。

•内置容错和恢复机制。

•概率方法支持考虑传感器数据的近似查询处理。

•安全性和可靠性。

为了节省能源和减少不必要的、不相关的数据传输，需要在网络中进行处理。在云上有不同类型的数据库可用于传感器网络。此数据库可以是键值存储或关系数据库，也可以是两者的组合。传感器网络采用Cougar、TinyDB和Apache基于Hadoop云的数据库系统。有三种类型的云存储服务，即云数据库服务，云Blob存储，云表存储。在三种云存储服务中，云表存储和云数据库服务更适合存储传感器数据。Blob存储不提供处理传感器数据[13]所需的结构化存储和查询功能。不同的基于云的数据管理系统框架用于管理传感器数据。RDB-KV CloudDB是一个用于管理海量异构传感器数据流的框架。该框架结合了关系数据库和键值存储的方法。 It supports global data distribution. For keyword based queries, a Global ObjectID B+-Tree (GOID B+-Tree) index is used. It focuses on spatio-temporal query processing and specify operator to process streaming data [9]. But this framework does not support data pre-processing, nested query processing, aggregated query processing and acquitional query processing. Google Bigtable and apache Map-Reduce parallel processing model are combined to use as a sensor database. But Bigtable is not distributed outside Google and are only accessed within Google App Engine [10]. Both Bigtable and Map-Reduce are combined to support streaming multidimensional processing of huge amount of sensor data [11], [12]. Apache Hadoop HDFS, HBase and Map-Reduce are combined to provide a sensor data storage and parallel processing framework in cloud. This system can store large datasets suitable for sensor network using block oriented architecture and ensure high throughput of data. Feature replication strategy is used for fault tolerance of database [13]. But Hadoop supports batch processing style while sensor network supports real time interactive processing. In Managing Wearable Sensor Data through Cloud Computing [14] authors propose an approach for data processing of sensors attached to patients. This approach uses java to develop an application that receives sensor data from patient body and stores them in Google public cloud. It also provides a visualization web application and APIs (Google charts). WSDL Web Services are used to access remote services and it helps different application to communicate with each other. This paper performs fault analysis, but does not consider QOS, data pre-processing and energy efficient data processing. It uses 3rd party Google public CLOUD SERVICE. Pachube [15] is a web service which provides a scalable infrastructure to manage real time sensor data. CLEVER [16] is a sensor data processing service which analyses and filters data from sensor networks and provides them as an input to other advanced services. It provides support for sensor provisioning. To provide cloud services it uses C-COMPUTING module for cloud data centre resource management, C-SENSOR module to add PAAS functionality for sensor network and C-STORAGE module to store necessary middleware data. CLEVER uses Sedna native XML database as distributed database and XMPP protocol to support interoperability. It uses distributed hierarchical clustering and provides special support of security management. In [17], authors propose a cloud based framework to collect ECG data from the sensors attached to the body of patients, store them and provides as input to different softwares which analyse and process this data. They use Amazon EC2 and Amazon S3 as IAAS. For PAAS they implement a new module called Dynamic Scalable Runtime with Aneka middleware to ensure QOS and provide different software to analyse, process and monitor patient health status as SAAS. This paper stresses the cost, scalability, dynamic load distribution and QOS of system. ThingSpeak is an open source platform available online to store and retrieve web based data. Users can store and create sensor-logging application in this platform. This platform is also used for sensor monitoring [18].

基于云的传感器数据共享平台

在设计传感器数据共享平台时，必须保证信息能及时、快速地从传感器网络传递到中间件。传感器数据共享平台需要实现传感器网络的专有边界之外的传感器数据访问，实现多个应用程序之间的数据共享，集成不同的传感器网络，并在云中提供传感器网络数据即信息即服务(IAS)。

现有传感器数据共享平台:

在[19]中，作者提出了一种将工业传感器网络与云集成以监测和控制开发过程的技术(例如核电站管理系统)。该方法支持工艺参数监控、阈值违规检查、制造现场信息协调、工艺质量维护、传感参数即服务、服务搜索和绑定等功能。但是这种方法没有考虑分布式处理、用户隔离、网络扩展、负载平衡和故障传感器分析。此外，单个EB-XML注册库和单个集成控制器将受到单点故障的影响。有一个系统[20]，它为智能设备用户提供了一个基于云的无线传感器网络基础设施，用于访问传感器数据和托管计算任务。该框架旨在提供传感器信息和应用服务。作者使用虚拟化(虚拟机)来管理异构性并隐藏底层的复杂性。采用SENSORML语言对传感器数据进行处理。它还支持自动提供传感器。主机业务使用谷歌公有云(谷歌App Engine)。 In [21] a publishersubscriber based framework is proposed to integrate sensor network with cloud based community to provide data and applications as a SAAS. It provides the following services

•传感器数据传递使用基于内容的发布-订阅系统。

•一种称为统计组索引匹配(SGIM)的事件匹配算法，将已发布的事件匹配到适当的消费者。

•通过基于VO的动态协作与其他云提供商合作，使资源可用。

它主要考虑数据交付。此外，它还提供多订户支持、组密钥管理和动态添加发布者订户。GSN[22]是一个用于传感器网络和生产数据流动态集成和管理的中间件。它主要是点对点架构，支持系统的QOS方面。VFSN:虚拟联邦传感器网络[23]用于在多个用户之间共享传感器数据，隐藏实际资源。主要业务是传感器数据共享。该框架是一个使用PIAX的点对点体系结构，其中汇聚节点作为对等节点。总的来说，这是一个覆盖网络。它采用服务器虚拟化和网络虚拟化，提供了功能的可扩展性和资源的安全性。在网络中对传感器数据进行处理是为了减少数据传输。 This paper considers load distribution strategy. IEEE 1888 is used as data transmission protocol. It also specifies its operation. SenseWeb [24] is designed to provide common platform to share sensor data and build different application to manipulate data. But to control and manage all the activities it uses a centralized coordinator system which leads to single point of failure. In [25] authors propose a platform to develop a platform independent, adaptive, service centred application development for sensor networks. This platform helps end-users to develop their applications. Applications can be migrated. To support application migradiblity authors uses mobile script. Service binding is done by execution engine where authors implements most of the things as a service and include less functionality. So this paper mainly gives focus on application migration and addictiveness. It also considers multiple user support, adding new service and service provisioning. Though by run time binding we can achieve portability but execution time also increases which is not desirable in sensor network. Again, some execution are moved to sensor nodes which may increases power consumption. If multiple user access a single component then a strongly concurrency control system is required which is not considered in this paper.

基于云的传感器数据处理方法

传感器网络存在资源约束。我们不能在传感器网络中使用重量级数据处理方法。但庞大的异构流传感器数据需要高水平的复杂处理。将传感器网络与云集成可以解决传感器网络数据处理的挑战。基于云的传感器数据处理系统可以通过两种方式处理数据——首先传感器网络感知数据并将其转发到云端处理[26]、[31];其次云数据处理系统首先处理查询，将查询细分后转发到传感器网络。在响应查询时，传感器节点只发送必需的数据[32]。

现有基于云的传感器数据处理平台:

不同的作者使用不同的云框架来处理传感器网络中的数据。CLOUDVIEW是云计算环境[26]中工业机器中嵌入的大量传感器收集的海量机器维护数据的存储、处理和分析框架。该混合(离线和在线)系统使用分布式Hadoop和Map-Reduce来存储和并行处理流时间序列传感器数据。系统包括数据收集(数据聚合、预处理、过滤、存储)、实例库创建、更新和维护、特征约简、特征提取和使用CBR (case base Reasoning)和粗糙集理论进行故障预测。但问题是Hadoop支持批处理风格。这就给交互式实时处理带来了问题。在[27]中，作者着重于保持传感器事务的隔离性和一致性。一些作者使用Apache Hadoop和Map-Reduce处理半结构化和非结构化分布式大规模传感器数据[28]。在[29]中，作者提出了一种多层次、灵活的传感器网络数据处理模型。在该系统中，各传感器网络采用协调器和网关来采集和存储传感器数据。 They provide local storage facility. Different sensor networks are connected to a local server which provides local storage backup and computing functionality. Local server provides uniform data access interface whose specification are stored at cloud and used by clients. This system uses different databases (SQLite, TinyDB, MySQL and MongoDB). In [30] authors integrate ERP and sensor network to minimize resource usage of senor networks. They use processing and prediction model of cloud based ERP system to process data collected from sensor network, generate some decision and forwards this decision/control information back to sensor network to turn the sensors on/off and adjust their transmission frequency to reconfigure the sensor network. But the problem is sensor networks transmit all the data which increases power and energy consumption.

传感器网络查询处理框架考虑事项:

为了设计用于传感器数据处理的云框架，我们必须考虑以下几点

•系统支持存储或历史传感器数据处理以及实时序列流数据处理。在这种情况下，我们可以考虑使用关系数据库或谷歌大表方法存储结构化数据，使用Apache/谷歌Hadoop处理非结构化/半结构化流数据。

•系统必须支持一次性、连续、定期的查询处理。由于无线传感器网络是动态变化的，查询优化方案必须是自适应的，而不是像传统数据库那样是静态的。

•支持系统定义和用户定义的分组聚合，减少数据传输。

•明确支持数据预处理(特别是不确定性或差异管理)。

•具有一定容错能力的近似查询处理。

•系统必须支持获取查询处理、按需查询处理和对收集的存储数据进行查询。

•系统可通过处理后的数据支持WSN资源管理。

•明确的故障管理，数据一致性管理和负载均衡。

•框架还包括功耗监控和网络可读性问题。

结论及未来工作

将云计算与WSN集成可以解决WSN的资源约束问题。本文主要从云传感器数据库、基于云的传感器网络数据共享平台和基于云的传感器数据处理方法三个方面进行了研究。给出了基于云的传感器网络数据处理方法的比较表，并给出了基于云的传感器网络数据处理方法的设计要点。在未来，我们将考虑WSN和云计算可以集成的其他领域。

表格一览

表1

参考文献

Romer, K.，和Mattern, F.，“无线传感器网络的设计空间”，IEEE无线通信，第11卷，第6期，pp. 54- 61,2004。

Kumaravel, S. Karthikeyan, M.，和Prabha, S.，“一种新型的无线传感器网络复制节点缓解方法”，国际计算机科学与软件工程杂志，第4卷，第6期，pp: 603-610, 2014。

Alamri, A.， Ansari, W, S.， Hassan, M, M.， Hossain, M, S.， Alelaiwi, A.， and Hossain, M, A.，“传感器云:架构，应用和方法的调查”，国际分布式传感器网络杂志，Vol.2013，第9- 26,2013。

Dash, S, K.， Sahoo, J, P.， Mohapatra, S.， Pati, S, P.，“传感器云:无线传感器网络与云的融合”，计算机科学与信息技术进展。网络与通信-第二届国际会议，CCSIT 2012，班加罗尔，印度，2012年1月2-4日，第84卷，第455-464页，2012。

Dinh, H, T.， Lee, C.， Niyato, D.， and Wang, P.，“移动云计算:架构、应用和方法的综述”，无线通信和移动计算- wiley在线图书馆，第13卷，第18期，pp: 1587- 1611,2011。

Yick, J.， Mukherjee, B.，和Ghosal, D.，“无线传感器网络研究”，ELSEVIER计算机网络，Vol: 52，第12期，pp. 2292- 2330,2008。

http://www.opengeospatial.org/standards/sensorml2014年5月6日

Simitci, A.，“在公共云中存储和处理传感器网络数据”，UWB CSS 600, 2012

丁铮，郭丽娟，杨强，“RDB-KV:海量异构传感器流数据管理的云数据库框架”，第二届智能系统设计与工程应用国际会议，pp. 653-656, 2012

http://en.wikipedia.org/wiki/BigTable2014年5月6日

Yu, B.， Cuzzocrea, A.， Jeong, D.，和Maydebura, S.，“使用Bigtable管理非常大的传感器网络数据”，12thIEEE/ACM集群、云和网格计算国际研讨会(CCGrid)，第918-922页，2012

Chang, F.， Dean, J.， Ghemawat, S.， Hsieh, W, C.， Deborah, A.， Burrows, W, M.， Chandra, T.， Fikes, A.和Gruber, R, E.，“大表:结构化数据的分布式存储系统”，ACM计算机系统学报(TOCS)，第26卷，第2期，2008。

唐波，王勇，“基于云计算的大规模感官数据处理系统设计”，《应用科学学报》，Vol: 4, Issue: 8, pp. 1004-1009, 2012。

Doukas, C.和Maglogiannis, I.，“通过云计算管理可穿戴传感器数据”，第三届IEEE云计算技术与科学国际会议，pp: 440-445, 2011。

https://xively.com/, 2014年。

Fazio, M.， Paone, M.， Puliafito, A.， and Villari, M.，“海量异构感知数据需要云计算”，第九届IEEEInternational Multi - Conference on Systems, Signals and Devices (SSD)， pp: 1-6, 2012。

Pandey, S.， Voorsluys, W.， Niu, S.， Khandoker, A.，和Buyya, R.，“用于托管心电数据分析服务的自主云环境”，施普林格未来一代计算机系统杂志，第28卷，第1期，pp: 147-154, 2012。

https://www.thingspeak.com/， 2014年5月6日。

Rajesh, V.， Pandithurai, O.， and Mageshkumar, S.，“云上无线传感器节点数据”，IEEE国际通信控制与计算技术会议(ICCCCT)， pp: 476-481, 2010。

Deshwal, A.， Kohli, S.和Chethan, K, P.，“基于信息即服务的WSN架构解决方案”，第一届IEEE国际通信会议中国(ICCC)， pp: 68-73, 2012。

Hassan, M, M.， Song, B.，和Huh, E.，“传感器框架-云集成的机遇和挑战”，ICUIMC ' 09第3届无处不在的信息管理与通信国际会议论文集，pp: 618-626, 2009。

Aberer, K.， Hauswirth, M.，和Salehi, A.，“大规模互联传感器网络中数据处理的基础设施”，国际移动数据管理会议，pp: 198-205, 2007。

Ishi, Y.， Kawakami, T.， Yoshihisa, T.， Teranishi, Y.等作者，“虚拟广域传感器网络传感器数据共享平台的设计与实现”，第七届IEEE P2P、并行、网格、云和互联网计算国际会议(3PGCIC)， PP: 333-338, 2012。

Kansal, A.， Nath, S.， Liu, J.，和Zhao, F.，“SenseWeb:共享传感的基础设施”，IEEE多媒体，第14卷，第4期，pp: 8-13, 2007。

Fok, C.， Roman, G.和Lu, C.，“面向灵活的全球传感基础设施”，ACM SIGBED评论-无线传感器网络架构研讨会特刊，第4卷，第3期，pp: 1- 6,2007。

Bahga, A.和Madisetti, V, K.，“在计算云中分析海量机器维护数据”，IEEE汇刊，第23卷，第10期，pp.1831-1843, 2012。

Grgen, L.， Roncancio, C.， Labb, C.和Olive, V.，“传感器数据管理中的事务性问题”，传感器网络数据管理第三届研讨会论文集:与VLDB 2006结合，pp: 27- 32,2006。

鲍勇，任磊，张磊，张旭，“基于Hadoop的云制造海量传感器数据管理框架”，第10届IEEE工业信息国际会议，pp: 397 401, 2012。

刘娟，陈娟，彭良，曹旭，“一种开放、灵活、多层次的超大规模传感器网络数据存储与处理平台”，第14届国际先进通信技术会议，pp: 926 930, 2012。

Baktashmotlagh, M.， Bigdeli, A.和Lovell, B .， C.，“动态资源感知传感器网络:传感器云和erp的集成”，AVSS 2011年第8届IEEE先进视频和基于信号的监控国际会议，pp: 455-460,2011。

Doukas, C.， Samos, G.， and Maglogiannis, I.，“通过云计算管理可穿戴传感器数据”，第三届IEEE云计算技术与科学国际会议(CloudCom)， pp: 440 - 445, 2011。

Ishi, Y.， Kawakami, T.， Yoshihisa, T.， Teranishi, Y.等作者，“虚拟广域传感器网络传感器数据共享平台的设计与实现”，第七届P2P、并行、网格、云和互联网计算国际会议(3PGCIC)， pp: 333-338, 2012。

Aggarwal, C, C，和Han, J.，“RFID数据处理的调查”，管理和挖掘传感器数据，施普林格美国，第349-382页，2013。

Bonnet, P.， Gehrke, J.和Seshadri, P.，“面向传感器数据库系统”，MDM '01第二届移动数据管理国际会议论文集，pp: 3-14, 2001。

Nyberg, D.，“传感器数据处理，数据库和查询处理”，合作嵌入式系统，Halmstad大学，瑞典，2005年。

Balazinska, M.， Deshpande, A.， Franklin, F, J.， Gibbons, P, B.， Gray, J.， Hansen, M.， Liebhold, M.， Nath, S.， Szalay, A.和Tao, V.，“全球传感器网络中的数据管理”，IEEE普惠计算，Vol: 6, Issue: 2, pp: 30- 40,2007。

李俊，“传感器网络的近似查询处理”，第11届国际学术会议，2010年，Vol: 6184, PP 3-4, 2010。