|
作者：Real-Time Innovations公司首席應用工程師 Sumeet Shendrikar 在利用基于MCU的傳感器和移動設備構(gòu)建新的連接互聯(lián)網(wǎng)的云時，很少有人會考慮如何管理這些傳感器云。在本文中，RTI公司的Sumeet Shendrikar介紹了如何通過具有態(tài)勢感知功能的分布式數(shù)據(jù)管理來做到這一點。在Michael Lewis的《點球成金(Moneyball)》一書中，他記錄了使用Sabermetrics指導管理棒球隊的策略。雖然重點在于組建棒球隊的分析方面，但其基本理念是利用歷史信息(先前的統(tǒng)計數(shù)據(jù))改變當前的策略(上場擊球、防御態(tài)勢或陣容決定)。 《點球成金》討論的重點是由統(tǒng)計分析得出的意外決策，經(jīng)常有悖于長期棒球?qū)＜业摹暗诹小�。但這本書也表明，成功地使用Sabermetrics有3點要求：(1)了解過去發(fā)生了什么；(2)認識當前態(tài)勢；(3)應用歷史知識驅(qū)動當前策略。 這種統(tǒng)計趨勢可以在許多其它領域見到。例如，經(jīng)濟貿(mào)易應用所依據(jù)的模型需要使用歷史數(shù)據(jù)進行校準。很像棒球世界那樣，模型的成功取決于能夠多快地根據(jù)當前市場活動發(fā)掘機會。如果實時市場數(shù)據(jù)由于任何理由被推遲了，那么機會將減少，甚至丟失。 最近在斯坦福大學商學院舉行的Big Data會議上，與會者討論了所有產(chǎn)業(yè)中Big Data的增長趨勢，包括工業(yè)、汽車、消費、醫(yī)療，不僅只是棒球或經(jīng)濟產(chǎn)業(yè)�；蛘吒鼫蚀_地講，Big Data已經(jīng)是下一件世界大事，商業(yè)伙伴分析他們的系統(tǒng)中產(chǎn)生的龐大信息是明智的。 然而，經(jīng)常被人忽略的是如何真實地收集這些龐大的數(shù)據(jù)，或更準確地說，如何將數(shù)據(jù)從產(chǎn)生地移動到需要它的其它不同地方。 這種關(guān)聯(lián)實時數(shù)據(jù)與歷史數(shù)據(jù)實現(xiàn)態(tài)勢感知，并將原始數(shù)據(jù)轉(zhuǎn)換成信息的能力正在快速變成許多大規(guī)模分布式系統(tǒng)的必備能力。 Big Data的興起表明，傳統(tǒng)的RDBMS數(shù)據(jù)庫已經(jīng)無法跟上這些大型分布式系統(tǒng)所展現(xiàn)的數(shù)據(jù)速率，也不足以應對獲得重要信息所需的各種咨詢。最近虛擬化技術(shù)和基于云的數(shù)據(jù)管理系統(tǒng)的爆發(fā)式增長使得我們能夠以創(chuàng)新的方式解決這些問題。 本文余下部分將簡要介紹如何使用所謂的NoSQL數(shù)據(jù)庫方法將聯(lián)網(wǎng)設備與系統(tǒng)組成的分布式網(wǎng)絡連接到基于云的數(shù)據(jù)管理工具，從而實現(xiàn)態(tài)勢感知。同時使用了多個領域的不同例子說明如何通過整合實時數(shù)據(jù)與歷史數(shù)據(jù)給分析師提供完整的新生態(tài)勢描述以及后事件分析。 保留實時數(shù)據(jù) 無論何時將永久數(shù)據(jù)管理增加到實時分布式系統(tǒng)，主要考慮因素都是保持運營技術(shù)(OT)的關(guān)鍵性能特征。面向物理設備的技術(shù)是由工程部門實現(xiàn)和支持的，一般有許多設備與嵌入式系統(tǒng)設計。 在任何大型企業(yè)中，OT一般獨立于涉及數(shù)據(jù)管理的信息技術(shù)(IT)部門完成，包括在生產(chǎn)線上或已部署系統(tǒng)中的嵌入式設備產(chǎn)生的數(shù)據(jù)，OT和IT之間很少有實時交互。 在這種分布式系統(tǒng)中，永久存儲器性能低于易失性存儲器，雖然有跡象表明這兩種存儲器可能會統(tǒng)一(也就是固態(tài)硬盤)。 實時數(shù)據(jù)管理由多個同時進行的活動組成： 1. 存儲(寫入) 2. 查詢、關(guān)聯(lián)和獲取 3. 發(fā)布 OT(實時)數(shù)據(jù)管理與傳統(tǒng)IT領域的區(qū)別在于，所有這些活動都是同時發(fā)生的。數(shù)據(jù)的產(chǎn)生、存儲、關(guān)聯(lián)、獲取和重新發(fā)布是根據(jù)實時要求進行的。 在實時系統(tǒng)中，數(shù)據(jù)以各種速率產(chǎn)生，并以不同的優(yōu)先級發(fā)布。因此，數(shù)據(jù)管理系統(tǒng)最好也能劃分數(shù)據(jù)優(yōu)先級，并能夠靈活處理任意存儲負荷。 來自傳感器的信息就是在典型實時分布式系統(tǒng)中一個非常好的數(shù)據(jù)產(chǎn)生例子。傳感器數(shù)據(jù)一般是以一致并且已知的速率產(chǎn)生的。雖然通常以低優(yōu)先級發(fā)布，但同一數(shù)據(jù)能夠很快變成最高優(yōu)先級——數(shù)據(jù)緊急性是動態(tài)的。 比如考慮汽車發(fā)動機中的溫度傳感器。大多數(shù)時候溫度在正常工作范圍內(nèi)，這個信息可以設置為低優(yōu)先級。但當溫度達到規(guī)定閾值時，立即向系統(tǒng)報警就非常重要。 存儲性能可以分成截然不同的兩大類——完整的和部分的。如果數(shù)據(jù)管理系統(tǒng)能夠以分布式系統(tǒng)的峰值吞吐速率存儲數(shù)據(jù)，那就能實現(xiàn)完整存儲。對于部分存儲而言，系統(tǒng)設計師有兩種選擇： 1. 減慢數(shù)據(jù)發(fā)生速率 2. 有選擇的丟棄數(shù)據(jù) 值得注意的是，簡單的緩沖處理是不夠的，因為任何緩沖器容量都是有限的。緩沖只是簡單地推遲了不可避免的問題，在實時系統(tǒng)中是不合適的。 由于是分布式實現(xiàn)，NoSQL數(shù)據(jù)庫寫入性能會受復制策略以及基礎硬件的影響。對系統(tǒng)設計師來說，理解數(shù)據(jù)庫實現(xiàn)方法并選擇一種最適合應用的方法很重要。舉例來說，Apache Cassandra的主要強項之一是良好的寫入性能，這種性能得益于非常高效的復制策略。 存檔服務 存檔服務可以給實時數(shù)據(jù)保證適當?shù)姆⻊召|(zhì)量(QoS)，因此可以提供最好的數(shù)據(jù)存儲。在基本實現(xiàn)中，存檔服務使用NoSQL數(shù)據(jù)庫API向云中的任意節(jié)點發(fā)出寫命令。NoSQL數(shù)據(jù)庫實現(xiàn)從那里保留和復制數(shù)據(jù)。根據(jù)一致性配置，在達到設定的一致性時，數(shù)據(jù)庫將通知存檔服務。 更加先進的存檔服務實現(xiàn)能以負載均衡的方式寫入云的不同段，從而實現(xiàn)最佳寫入吞吐量。存檔服務在不能提供完整數(shù)據(jù)存儲時可以檢測出來，并相應調(diào)整云資源。 在不破壞實時系統(tǒng)條件下的簽約能力是存檔服務的基本特征。OT系統(tǒng)對時間特別敏感。數(shù)據(jù)發(fā)送的任何延時都可能導致系統(tǒng)故障。雖然訂閱數(shù)據(jù)看起來價值不高，而且是非侵入式的，但傳統(tǒng)公司IT系統(tǒng)經(jīng)常是犧牲反應時間來確保接收到所有數(shù)據(jù)。 這種平衡措施是將運營技術(shù)與存儲及其它常用IT系統(tǒng)集成在一起時的常見挑戰(zhàn)。為了確保非侵入式訂閱，數(shù)據(jù)的發(fā)布必須激活被動觀察，并且不能降低數(shù)據(jù)產(chǎn)生器或任何其它數(shù)據(jù)傳輸?shù)乃俣取?br /> 數(shù)據(jù)庫架構(gòu) NoSQL數(shù)據(jù)庫的基本屬性是模式自由，因此特別適合OT系統(tǒng)。大型實時分布式系統(tǒng)都有數(shù)據(jù)模式，而且非常復雜，還是動態(tài)的。 這個產(chǎn)業(yè)很大程度上在遠離固定的單數(shù)據(jù)模型概念(如CORBA)，原因有很多，而集成度和前向兼容性是其中最重要的兩個。在現(xiàn)代OT系統(tǒng)中，數(shù)據(jù)模式必須實時動態(tài)的發(fā)現(xiàn)，并且必須是可擴展和/或容易改變。 這些模式不僅必須被數(shù)據(jù)管理系統(tǒng)捕獲，而且還可能被檢查以供分析使用。換句話說，元數(shù)據(jù)和數(shù)據(jù)對態(tài)勢感知來說同樣重要。 數(shù)據(jù)關(guān)聯(lián)、查詢和獲取 實現(xiàn)態(tài)勢感知(SA)要求關(guān)聯(lián)實時數(shù)據(jù)與歷史數(shù)據(jù)。從技術(shù)角度講，這意味著當數(shù)據(jù)流寫入NoSQL數(shù)據(jù)庫時，必須對這些數(shù)據(jù)流進行連續(xù)的預編譯和動態(tài)查詢。 所有態(tài)勢感知查詢都是由某些實時事件的發(fā)生進行觸發(fā)，例如安全性的價格變化。一旦實時事件發(fā)生，查詢數(shù)據(jù)需要關(guān)聯(lián)歷史數(shù)據(jù)，并確定采取哪種措施(如果有的話)。 內(nèi)容發(fā)布 NoSQL數(shù)據(jù)庫已經(jīng)征服了按需內(nèi)容發(fā)布世界。Netflix使用Apache Cassandra實現(xiàn)流服務這個事實也許是最生動的例證。 查詢結(jié)果分成兩類：警告和內(nèi)容獲取。警告發(fā)布在大多數(shù)情況下都不是很重要，只是一個高優(yōu)先級的消息。在數(shù)據(jù)獲取情況下，發(fā)布成為一個重要因素。來自查詢的數(shù)據(jù)結(jié)構(gòu)需要及時地被取回、排序并發(fā)布給消費者。 使用案例：發(fā)電 全球范圍內(nèi)建好的風力發(fā)電廠已有數(shù)百個。假如風力發(fā)電廠建構(gòu)為分層的分布式系統(tǒng)。 在層次化結(jié)構(gòu)的最底層，每個風機本身就是一個分布式系統(tǒng)：它有一個巨大的傳感器陣列，用于產(chǎn)生有關(guān)當前發(fā)電的信息以及結(jié)構(gòu)數(shù)據(jù)和環(huán)境數(shù)據(jù)，這些數(shù)據(jù)用來使風機安全高效地運行。 這些數(shù)據(jù)也自動與電廠控制中心共享�？刂浦行呢撠煴３峙c其它電廠的聯(lián)系，并鏈接到兩個重要的外部系統(tǒng)：電網(wǎng)和氣象系統(tǒng)。 以風機檢測到突發(fā)和意外的強大陣風為例，根據(jù)過去幾周的精確測量結(jié)果以及過去幾年更全面的測量結(jié)果，風機會判斷這陣風不正常。 由于具有潛在的危害性，風機將轉(zhuǎn)換到故障防護模式。然后向命令中心發(fā)送警告，然后根據(jù)每個風機的當前狀態(tài)使用連續(xù)實時控制方法仔細地調(diào)整其它渦輪的性能。命令中心也可以警告下游電廠，以便他們可以能夠及時調(diào)整性能。 另外一種場景涉及到來自能源貿(mào)易的實時報價更新。電網(wǎng)和能源交換可以提供有關(guān)負荷、需求和電量報價方面的信息。 如果需求和價格低于當前輸出電能，電廠能夠自動將產(chǎn)生的電能重定向到存儲或停止發(fā)電。如果需求和價格高于當前所產(chǎn)電能，電廠能夠轉(zhuǎn)向峰值產(chǎn)能，并銷售存儲的電能。就像安全交易一樣，有可能設計出算法來檢測發(fā)電和配電的有益模式。氣象系統(tǒng)也能采取算法統(tǒng)計分析方法，并從與風力發(fā)電廠的雙向通信中受益。一方面，電廠成為氣象數(shù)據(jù)的重要實時傳感器站；另一方面，電廠依靠氣象系統(tǒng)的天氣預報進行仔細調(diào)整性能來實現(xiàn)最優(yōu)輸出。 發(fā)電和氣象系統(tǒng)中使用的算法都需要及時地訪問實時事件和歷史趨勢。如果由于某種原因延遲了數(shù)據(jù)，造成的結(jié)果可能從不足輸出導致收入減少，到災難性的故障和基礎設施損毀(甚至可能危及人類生命安全)。 前瞻性維護 前瞻性維護和資產(chǎn)管理是先進的OT/IT集成可能直接影響收入的例子。就像預防性維護一樣，這種方法能夠降低成本，因為工作只在需要時開展。前瞻性維護是通過連續(xù)的實時監(jiān)視在線設備預測何時要求維護來實現(xiàn)的。 但只是監(jiān)視設備狀態(tài)是不夠的。就像風力發(fā)電廠例子一樣，其自身實時數(shù)據(jù)不能提供足夠信息來判斷設備是否工作在正常范圍內(nèi)。傳感器指示高溫有可能是由于設備故障引起的，也可能是由于電廠輸出提高造成的。 為了進行確認，必須根據(jù)歷史信息分析監(jiān)視數(shù)據(jù)來判斷是否需要采取進一步措施。用于解決維護問題的相同技術(shù)和算法也可以用于提供長期商業(yè)智能。除了防止意外的設備故障外，認清設備使用方面的長期趨勢也可以提高可用性，并延長設備壽命。 干草堆中的細針 許多公司已經(jīng)成功展示使用Big Data技術(shù)篩選IT系統(tǒng)產(chǎn)生的龐大信息的價值。這種技術(shù)被證明非常適合用來尋找諺語式的干草堆細針。與此同時，有關(guān)部門剛開始認識到OT系統(tǒng)產(chǎn)生的數(shù)據(jù)商業(yè)價值。 合并OT和IT數(shù)據(jù)是下一個合理的步驟，但這種整合面臨許多技術(shù)挑戰(zhàn)。OT系統(tǒng)會產(chǎn)生甚至更多的數(shù)據(jù)用于分析(更多的“干草”來隱藏細針)，而IT系統(tǒng)必須以不影響OT實時數(shù)據(jù)流的時間敏感性這種方式進行集成。 通過選擇正確的技術(shù)整合方法可以解決數(shù)據(jù)管理問題，OT和IT的能量可以同時釋放出來捕獲轉(zhuǎn)瞬即逝的機會。也就是說，在細針落入干草堆之前就發(fā)現(xiàn)細針。 |
