基于云計算及大數據技術的電力搜索引擎技術研究

發表時間:2019/10/16   來源:《當代電力文化》2019年第9期   作者:王鑫
[導讀] 研討中重點就針對美國谷歌公司所提出的MapReduce編程模型展開了深化的剖析與討論。
國網山西省電力公司呂梁供電公司, 山西 呂梁 033000
        摘 要 21世紀的到來,使得電能發展進入全新時代,智能電網隨之而生。但隨著智能電網爆發式的增長,各類監測數據不斷擴大,種類不斷增多,價值不斷提高,現有的傳統電力數據處理系統無法滿足這種需求。而云計算的出現,如同第三次革命浪潮一般,徹底改變了我們的生活方式和生產方式,也給電力數據的分析與處理帶來了全新的理念和思路。
        關鍵詞 云計算;電力大數據分析技術;應用
        引言
        在詳細的電網數據剖析工作中,關于最終決策起到主導作用的要素很可能僅是其中的某一局部,而要將這些最為關鍵的要素及時尋覓出來將會關于縮減數據處置范圍、提升數據處置效率意義嚴重。有研討人員就經過應用經典粗糙集理論將關于風力速度有可能產生影響的屬性進行了約簡處置,同時在對風力速度的預測過程之中也到達了較為稱心的效果。普通的數據約簡處置辦法雖然在減小時間復雜水平、提升效率上價值明顯,但是,此類屬性所采取的約簡算法都是假定將一切的數據內容一次性錄入系統內,很明顯這無法適用于電力大數據系統。還有研討采用傳統關系數據庫技術屬性約簡方式,來處置小范圍屬性約簡問題,雖然在時間性能方面獲得了較為稱心的效果,但是采取此類辦法所可以應對處置的數據范圍及時效性均會受制于硬件限制。而將云計算技術應用于電力大數據預處置當中,則可以給予其軟件及硬件資源和相關的數據處置提供以新的途徑方式。在本次研討中重點就針對美國谷歌公司所提出的MapReduce編程模型展開了深化的剖析與討論,詳細就粗糙集相對正域理論和現行的學問約簡計算方式展開了深化分析,分離其模型設計與計算最終對基于云計算技術的電力大數據預處置屬性約簡辦法的正確性,及其對節點數目的影響展開了實證剖析,最終的實驗結果顯現,此項計算辦法不當可大幅度提升電力大數據集的屬性約簡計算效率,同時還可到達較為優良的可拓展性效果。
        1 云計算概念
        云計算作為數據處理系統,主要負責數據信息存儲,云計算能提高電網運行的穩定性,充分發揮電網技術應用優勢。云計算具有適用性、伸縮性、優質性能等特點。云計算的適當應用,能夠實現資源合理配置這一目標,避免出現資源限制、資源使用矛盾等現象,這對業務承載力有推動作用。現如今,云計算技術應用行業較廣泛,常用行業主要有零售業、電力企業等[1]。
        2 基于云計算的電力大數據分析技術
        2.1 多維索引技術
        傳統Hive系統索引功能過于單一,無法實現電力大數據搜索的具體化與細致化,造成CPU資源的浪費,降低了電力大數據分析效率。電力大數據具備多維區間查詢特征,各個維度查詢較為固定。例如浙江省電力系統,是一種以單位代碼與時間代碼為標準的索引方式,結合實際情況,采用各個維度輔助的形式開展電力大數據多維索引,自動過濾干擾數據和無用數據,有效提高了大數據索引效率與利用效率。當前,多維索引技術應用范圍較廣,形成以多維索引技術為核心的分布式多維索引系統,依托于Hive命令,通過HQL解析器,實現代碼解析,使得可索引的維度區間更加豐富,還可以根據實際需求,把索引數據放置到Hadoop分析系統中綜合處理。
        2.2 混合存儲技術
        在傳統Hive系統運行中,無法為數據更新與刪除提供支持,只能依靠重寫來實現間接性數據更新。由于現代電力大數據分析中,智能電網每天需要處理的數據容量較大,無論是數據更新還是數據刪除,都需要快速處理,效率要求較高,而且每個操作數據比例小,若繼續使用重新方式進行數據更新,會造成大量數據資源的占用,降低系統的整體運行效率。對此,應用混合儲存技術,借助主表與附表的輔助與支持,記錄實時更新數據與不需要實時更新的數據,根據運行要求進行數據處理,進而提高數據分析處理的有效性,保證資源利用效率的最大化。


        2.3 分層次處理技術
        在云計算技術的支持下,引入分層次數據技術進行綜合數據分析處理,在智能電網中,形成電力信息搜集、儲存、應用等功能為一體的結構化管理系統,結合電力供應情況,建設大數據管理系統分支化管理體系,加強電力供應系統間的關聯性和獨立性,保證電力系統資源在各個電力供應系統中的流轉和共享,提高資源利用效率。同時,借助云計算SQL系統,保證電力大數據分析計算的同步性,有效提高電力大數據分析處理效果和效率,實現智能電網的電力大數據層次化分析管理。
        2.4 翻譯工具
        傳統Hive系統運行中,利用HQL索引語言進行數據分析,HQL索引語言屬于SQL的分支,但二者間的語法差異較大。現代化電力大數據中含有很多SQL語言儲存信息,這就是傳統Hive系統無法滿足數據分析要求,在數據存儲和數據分析上效率較低。在基于云計算的環境下,電力數據的SQL語言會直接翻譯為HQL語言,但是這一手動翻譯方式由于處理內容較大,會消耗大量的時間,人工翻譯的錯誤率也很高。對此,為了提高翻譯效率,要應用自動化翻譯工具,自動分析SQL語句中的語言數據,一旦滿足設定的翻譯條件,就會形成多個HQL語段,對這一語段進行分析和處理,不僅避免了人工翻譯的錯漏,還降低時間消耗量,提高翻譯效率和系統分析效率[2]。
        3 電力大數據分析技術的應用
        隨著計算機技術的發展,云計算的電力大數據分析技術已經開始陸續應用到現實生活中了,推動了電力企業的發展。其中的在浙江電力系統中應用的云計算電力大數據分析已經取得了很大的成功,借助于云計算的力量,加快了浙江電力系統的智能電力化發展。通過云計算,電力系統中的數據都被集中到一起,并且通過計算機對這些數據進行分析,得出準確的數據結果。根據這個數據結果,電力工作人員可以不斷完善電力系統中各種問題,提高電力系統運行過程中的相關服務器的穩定性。再者,基于云計算的電力大數據分析。可以在很大程度上滿足于客戶的需求對數據進行分析處理,在這個計算過程中,電流的傳輸靠的主要是電力平臺。重要的是,進行分析處理的數據等信息都會儲存在檔案庫中。檔案庫的信息會跟隨著數據的改變而實時進行改變,可以自動更新。在以前的探究設置中,檔案庫的信息儲存是建立在兩臺小型機上,儲存信息需要借助于高速網絡。而在目前的實際操作中,檔案庫的信息儲存由多個服務器連接,其運行速度較之前加快不少。此外,這種連接方式經濟實惠,可以節省很多建設費用[3]。
        云計算在電力供給中的應用,完成了電力系統供給中大數據處置技術的兼容性進步,云計算的計算方式主要應用散布式處置系統對大數據信息進行控制,從而能夠完成多種電力處置系統的信息管理資源在整體應用中的綜合性探究,例如:當電力大數據剖析系統中的保送電力系統的信息資源在初期存儲中遭到嚴重的損壞,無法對后期的電力系統信息處置提供完善的信息資源,云計算可以經過語句處置,完成對電力供給系統的大數據剖析系統進行調理與控制,系統中也能夠將電力系統中,多種電力保送系統的資源方式在同一種電力大數據處置系統中進行調理控制,完善不同的信息資源處置。由此可見,云計算在電力大數據處置系統中的應用,為進步電力系統的信息應用范圍額進一步完善提供新的技術支持。
        4 結束語
        計算機技術的不斷發展,也預示其將會在日后進入更多地生活領域和經濟領域中去。云計算的電力大數據分析和應用,也將會在日后的電力企業中得到更大的普及和發展。在以后的電力企業發展中,電力企業首先要重視云計算的電力大數據分析技術,認識到其對電力發展具有重要的推動作用。其次還要不斷地研究云計算的電力大數據分析技術,將其更好地應用到現代電力企業發展中,提高電力對國民的服務質量,推動我國的電力企業步入一個新的發展階段。
        參考文獻
        [1] 董華彪.基于云計算的電力大數據分析技術與應用[J].南方農機,2017,48(23):103,105.
        [2] 黃蕾,陶銳.基于云計算的電力大數據分析技術與應用[J].數字技術與應用,2017,(02):117.
        [3] 王維,趙明穎.基于云計算的電力大數據分析技術與應用[J].黑龍江科技信息,2016,(12):180.
投稿 打印文章 轉寄朋友 留言編輯 收藏文章
  期刊推薦
1/1
轉寄給朋友
朋友的昵稱:
朋友的郵件地址:
您的昵稱:
您的郵件地址:
郵件主題:
推薦理由:

寫信給編輯
標題:
內容:
您的昵稱:
您的郵件地址:
 

北京时时彩官网走势图