|
作者：Real-Time Innovations公司首席應用工程師 Sumeet Shendrikar 在利用基于MCU的傳感器和移動設備構建新的連接互聯(lián)網的云時，很少有人會考慮如何管理這些傳感器云。在本文中，RTI公司的Sumeet Shendrikar介紹了如何通過具有態(tài)勢感知功能的分布式數據管理來做到這一點。在Michael Lewis的《點球成金(Moneyball)》一書中，他記錄了使用Sabermetrics指導管理棒球隊的策略。雖然重點在于組建棒球隊的分析方面，但其基本理念是利用歷史信息(先前的統(tǒng)計數據)改變當前的策略(上場擊球、防御態(tài)勢或陣容決定)。 《點球成金》討論的重點是由統(tǒng)計分析得出的意外決策，經常有悖于長期棒球專家的“第六感”。但這本書也表明，成功地使用Sabermetrics有3點要求：(1)了解過去發(fā)生了什么；(2)認識當前態(tài)勢；(3)應用歷史知識驅動當前策略。 這種統(tǒng)計趨勢可以在許多其它領域見到。例如，經濟貿易應用所依據的模型需要使用歷史數據進行校準。很像棒球世界那樣，模型的成功取決于能夠多快地根據當前市場活動發(fā)掘機會。如果實時市場數據由于任何理由被推遲了，那么機會將減少，甚至丟失。 最近在斯坦福大學商學院舉行的Big Data會議上，與會者討論了所有產業(yè)中Big Data的增長趨勢，包括工業(yè)、汽車、消費、醫(yī)療，不僅只是棒球或經濟產業(yè)。或者更準確地講，Big Data已經是下一件世界大事，商業(yè)伙伴分析他們的系統(tǒng)中產生的龐大信息是明智的。 然而，經常被人忽略的是如何真實地收集這些龐大的數據，或更準確地說，如何將數據從產生地移動到需要它的其它不同地方。 這種關聯(lián)實時數據與歷史數據實現(xiàn)態(tài)勢感知，并將原始數據轉換成信息的能力正在快速變成許多大規(guī)模分布式系統(tǒng)的必備能力。 Big Data的興起表明，傳統(tǒng)的RDBMS數據庫已經無法跟上這些大型分布式系統(tǒng)所展現(xiàn)的數據速率，也不足以應對獲得重要信息所需的各種咨詢。最近虛擬化技術和基于云的數據管理系統(tǒng)的爆發(fā)式增長使得我們能夠以創(chuàng)新的方式解決這些問題。 本文余下部分將簡要介紹如何使用所謂的NoSQL數據庫方法將聯(lián)網設備與系統(tǒng)組成的分布式網絡連接到基于云的數據管理工具，從而實現(xiàn)態(tài)勢感知。同時使用了多個領域的不同例子說明如何通過整合實時數據與歷史數據給分析師提供完整的新生態(tài)勢描述以及后事件分析。 保留實時數據 無論何時將永久數據管理增加到實時分布式系統(tǒng)，主要考慮因素都是保持運營技術(OT)的關鍵性能特征。面向物理設備的技術是由工程部門實現(xiàn)和支持的，一般有許多設備與嵌入式系統(tǒng)設計。 在任何大型企業(yè)中，OT一般獨立于涉及數據管理的信息技術(IT)部門完成，包括在生產線上或已部署系統(tǒng)中的嵌入式設備產生的數據，OT和IT之間很少有實時交互。 在這種分布式系統(tǒng)中，永久存儲器性能低于易失性存儲器，雖然有跡象表明這兩種存儲器可能會統(tǒng)一(也就是固態(tài)硬盤)。 實時數據管理由多個同時進行的活動組成： 1. 存儲(寫入) 2. 查詢、關聯(lián)和獲取 3. 發(fā)布 OT(實時)數據管理與傳統(tǒng)IT領域的區(qū)別在于，所有這些活動都是同時發(fā)生的。數據的產生、存儲、關聯(lián)、獲取和重新發(fā)布是根據實時要求進行的。 在實時系統(tǒng)中，數據以各種速率產生，并以不同的優(yōu)先級發(fā)布。因此，數據管理系統(tǒng)最好也能劃分數據優(yōu)先級，并能夠靈活處理任意存儲負荷。 來自傳感器的信息就是在典型實時分布式系統(tǒng)中一個非常好的數據產生例子。傳感器數據一般是以一致并且已知的速率產生的。雖然通常以低優(yōu)先級發(fā)布，但同一數據能夠很快變成最高優(yōu)先級——數據緊急性是動態(tài)的。 比如考慮汽車發(fā)動機中的溫度傳感器。大多數時候溫度在正常工作范圍內，這個信息可以設置為低優(yōu)先級。但當溫度達到規(guī)定閾值時，立即向系統(tǒng)報警就非常重要。 存儲性能可以分成截然不同的兩大類——完整的和部分的。如果數據管理系統(tǒng)能夠以分布式系統(tǒng)的峰值吞吐速率存儲數據，那就能實現(xiàn)完整存儲。對于部分存儲而言，系統(tǒng)設計師有兩種選擇： 1. 減慢數據發(fā)生速率 2. 有選擇的丟棄數據 值得注意的是，簡單的緩沖處理是不夠的，因為任何緩沖器容量都是有限的。緩沖只是簡單地推遲了不可避免的問題，在實時系統(tǒng)中是不合適的。 由于是分布式實現(xiàn)，NoSQL數據庫寫入性能會受復制策略以及基礎硬件的影響。對系統(tǒng)設計師來說，理解數據庫實現(xiàn)方法并選擇一種最適合應用的方法很重要。舉例來說，Apache Cassandra的主要強項之一是良好的寫入性能，這種性能得益于非常高效的復制策略。 存檔服務 存檔服務可以給實時數據保證適當的服務質量(QoS)，因此可以提供最好的數據存儲。在基本實現(xiàn)中，存檔服務使用NoSQL數據庫API向云中的任意節(jié)點發(fā)出寫命令。NoSQL數據庫實現(xiàn)從那里保留和復制數據。根據一致性配置，在達到設定的一致性時，數據庫將通知存檔服務。 更加先進的存檔服務實現(xiàn)能以負載均衡的方式寫入云的不同段，從而實現(xiàn)最佳寫入吞吐量。存檔服務在不能提供完整數據存儲時可以檢測出來，并相應調整云資源。 在不破壞實時系統(tǒng)條件下的簽約能力是存檔服務的基本特征。OT系統(tǒng)對時間特別敏感。數據發(fā)送的任何延時都可能導致系統(tǒng)故障。雖然訂閱數據看起來價值不高，而且是非侵入式的，但傳統(tǒng)公司IT系統(tǒng)經常是犧牲反應時間來確保接收到所有數據。 這種平衡措施是將運營技術與存儲及其它常用IT系統(tǒng)集成在一起時的常見挑戰(zhàn)。為了確保非侵入式訂閱，數據的發(fā)布必須激活被動觀察，并且不能降低數據產生器或任何其它數據傳輸的速度。 數據庫架構 NoSQL數據庫的基本屬性是模式自由，因此特別適合OT系統(tǒng)。大型實時分布式系統(tǒng)都有數據模式，而且非常復雜，還是動態(tài)的。 這個產業(yè)很大程度上在遠離固定的單數據模型概念(如CORBA)，原因有很多，而集成度和前向兼容性是其中最重要的兩個。在現(xiàn)代OT系統(tǒng)中，數據模式必須實時動態(tài)的發(fā)現(xiàn)，并且必須是可擴展和/或容易改變。 這些模式不僅必須被數據管理系統(tǒng)捕獲，而且還可能被檢查以供分析使用。換句話說，元數據和數據對態(tài)勢感知來說同樣重要。 數據關聯(lián)、查詢和獲取 實現(xiàn)態(tài)勢感知(SA)要求關聯(lián)實時數據與歷史數據。從技術角度講，這意味著當數據流寫入NoSQL數據庫時，必須對這些數據流進行連續(xù)的預編譯和動態(tài)查詢。 所有態(tài)勢感知查詢都是由某些實時事件的發(fā)生進行觸發(fā)，例如安全性的價格變化。一旦實時事件發(fā)生，查詢數據需要關聯(lián)歷史數據，并確定采取哪種措施(如果有的話)。 內容發(fā)布 NoSQL數據庫已經征服了按需內容發(fā)布世界。Netflix使用Apache Cassandra實現(xiàn)流服務這個事實也許是最生動的例證。 查詢結果分成兩類：警告和內容獲取。警告發(fā)布在大多數情況下都不是很重要，只是一個高優(yōu)先級的消息。在數據獲取情況下，發(fā)布成為一個重要因素。來自查詢的數據結構需要及時地被取回、排序并發(fā)布給消費者。 使用案例：發(fā)電 全球范圍內建好的風力發(fā)電廠已有數百個。假如風力發(fā)電廠建構為分層的分布式系統(tǒng)。 在層次化結構的最底層，每個風機本身就是一個分布式系統(tǒng)：它有一個巨大的傳感器陣列，用于產生有關當前發(fā)電的信息以及結構數據和環(huán)境數據，這些數據用來使風機安全高效地運行。 這些數據也自動與電廠控制中心共享。控制中心負責保持與其它電廠的聯(lián)系，并鏈接到兩個重要的外部系統(tǒng)：電網和氣象系統(tǒng)。 以風機檢測到突發(fā)和意外的強大陣風為例，根據過去幾周的精確測量結果以及過去幾年更全面的測量結果，風機會判斷這陣風不正常。 由于具有潛在的危害性，風機將轉換到故障防護模式。然后向命令中心發(fā)送警告，然后根據每個風機的當前狀態(tài)使用連續(xù)實時控制方法仔細地調整其它渦輪的性能。命令中心也可以警告下游電廠，以便他們可以能夠及時調整性能。 另外一種場景涉及到來自能源貿易的實時報價更新。電網和能源交換可以提供有關負荷、需求和電量報價方面的信息。 如果需求和價格低于當前輸出電能，電廠能夠自動將產生的電能重定向到存儲或停止發(fā)電。如果需求和價格高于當前所產電能，電廠能夠轉向峰值產能，并銷售存儲的電能。就像安全交易一樣，有可能設計出算法來檢測發(fā)電和配電的有益模式。氣象系統(tǒng)也能采取算法統(tǒng)計分析方法，并從與風力發(fā)電廠的雙向通信中受益。一方面，電廠成為氣象數據的重要實時傳感器站；另一方面，電廠依靠氣象系統(tǒng)的天氣預報進行仔細調整性能來實現(xiàn)最優(yōu)輸出。 發(fā)電和氣象系統(tǒng)中使用的算法都需要及時地訪問實時事件和歷史趨勢。如果由于某種原因延遲了數據，造成的結果可能從不足輸出導致收入減少，到災難性的故障和基礎設施損毀(甚至可能危及人類生命安全)。 前瞻性維護 前瞻性維護和資產管理是先進的OT/IT集成可能直接影響收入的例子。就像預防性維護一樣，這種方法能夠降低成本，因為工作只在需要時開展。前瞻性維護是通過連續(xù)的實時監(jiān)視在線設備預測何時要求維護來實現(xiàn)的。 但只是監(jiān)視設備狀態(tài)是不夠的。就像風力發(fā)電廠例子一樣，其自身實時數據不能提供足夠信息來判斷設備是否工作在正常范圍內。傳感器指示高溫有可能是由于設備故障引起的，也可能是由于電廠輸出提高造成的。 為了進行確認，必須根據歷史信息分析監(jiān)視數據來判斷是否需要采取進一步措施。用于解決維護問題的相同技術和算法也可以用于提供長期商業(yè)智能。除了防止意外的設備故障外，認清設備使用方面的長期趨勢也可以提高可用性，并延長設備壽命。 干草堆中的細針 許多公司已經成功展示使用Big Data技術篩選IT系統(tǒng)產生的龐大信息的價值。這種技術被證明非常適合用來尋找諺語式的干草堆細針。與此同時，有關部門剛開始認識到OT系統(tǒng)產生的數據商業(yè)價值。 合并OT和IT數據是下一個合理的步驟，但這種整合面臨許多技術挑戰(zhàn)。OT系統(tǒng)會產生甚至更多的數據用于分析(更多的“干草”來隱藏細針)，而IT系統(tǒng)必須以不影響OT實時數據流的時間敏感性這種方式進行集成。 通過選擇正確的技術整合方法可以解決數據管理問題，OT和IT的能量可以同時釋放出來捕獲轉瞬即逝的機會。也就是說，在細針落入干草堆之前就發(fā)現(xiàn)細針。 |
