建設(shè)泛在電力物聯(lián)網(wǎng)，是國家電網(wǎng)有限公司推進(jìn)“三型兩網(wǎng)”建設(shè)的重要內(nèi)容和關(guān)鍵環(huán)節(jié)。而其中，如何構(gòu)建一個(gè)強(qiáng)大的數(shù)據(jù)平臺(tái)，是加快推進(jìn)泛在電力物聯(lián)網(wǎng)建設(shè)的前提和基礎(chǔ)。
泛在電力物聯(lián)網(wǎng)的數(shù)據(jù)量將大幅增加
電力行業(yè)歷來重視數(shù)據(jù)和信息技術(shù)，從上世紀(jì)80年代起，就采用實(shí)時(shí)數(shù)據(jù)庫處理發(fā)電以及電網(wǎng)采集的各種數(shù)據(jù)。但隨著電網(wǎng)規(guī)模的擴(kuò)大，數(shù)據(jù)采集量的大幅增加，傳統(tǒng)的實(shí)時(shí)數(shù)據(jù)庫和IT架構(gòu)已經(jīng)無法滿足海量數(shù)據(jù)的處理需求。最近幾年，電力行業(yè)開始采用互聯(lián)網(wǎng)行業(yè)的大數(shù)據(jù)平臺(tái)技術(shù)，最典型的就是將Kafka、Hadoop、HBase、Spark、Redis等技術(shù)集成在一起處理海量數(shù)據(jù)。比如智能電表的用電信息采集系統(tǒng)、電費(fèi)的計(jì)算等，都采用這類方案。
推進(jìn)泛在電力物聯(lián)網(wǎng)建設(shè)，需要全方位對(duì)電網(wǎng)運(yùn)行狀態(tài)、客戶用電等進(jìn)行實(shí)時(shí)監(jiān)測、預(yù)警、分析，數(shù)據(jù)采集點(diǎn)和采集頻次會(huì)大幅增加，數(shù)據(jù)量將在原來的基礎(chǔ)上增加上百倍。
以智能電表為例，現(xiàn)在客戶的智能電表是一天發(fā)送一條記錄。如果改為與商業(yè)智能電表一樣，15分鐘發(fā)送一條記錄到云端，數(shù)據(jù)量將至少增加96倍，數(shù)據(jù)插入請(qǐng)求數(shù)也相應(yīng)增加96倍以上。以全網(wǎng)智能電表5億臺(tái)來統(tǒng)計(jì)，一天產(chǎn)生的數(shù)據(jù)條數(shù)多達(dá)480億條，現(xiàn)有的大數(shù)據(jù)解決方案和架構(gòu)將面臨巨大的挑戰(zhàn)，即使通過水平擴(kuò)展增加服務(wù)器數(shù)量來處理，其運(yùn)營成本也將數(shù)量級(jí)地增加。
從配網(wǎng)的情況來看，即使采集點(diǎn)和采集頻率不顯著增加，但以D5000、CC2000為代表的主流產(chǎn)品，受限于歷史數(shù)據(jù)處理能力，依然只能圍繞實(shí)時(shí)采集數(shù)據(jù)、歷史斷面數(shù)據(jù)構(gòu)建應(yīng)用，拓?fù)浞治黾夹g(shù)無法在時(shí)間維度縱向擴(kuò)展。
電網(wǎng)數(shù)據(jù)采集及監(jiān)控系統(tǒng)（SCADA）作為物聯(lián)網(wǎng)的一部分，不但要看實(shí)時(shí)數(shù)據(jù)，還需要看歷史數(shù)據(jù)，不單需要實(shí)時(shí)監(jiān)控，更需要故障預(yù)警、趨勢分析、運(yùn)營指標(biāo)分析、效率分析等。通過快速存取、分析高頻采集數(shù)據(jù)，將為電網(wǎng)的安全高效運(yùn)行提供更精準(zhǔn)的數(shù)據(jù)決策支撐。
另一方面，泛在電力物聯(lián)網(wǎng)與通用的物聯(lián)網(wǎng)一樣，不僅會(huì)存在云端的數(shù)據(jù)中心，也會(huì)存在邊緣節(jié)點(diǎn)。這些邊緣節(jié)點(diǎn)具備一定的計(jì)算和存儲(chǔ)能力，能進(jìn)行數(shù)據(jù)的預(yù)處理和緩存，大幅緩解數(shù)據(jù)中心平臺(tái)的壓力，而且能更好地保證邊緣節(jié)點(diǎn)覆蓋的區(qū)域有更好的數(shù)據(jù)實(shí)時(shí)響應(yīng)能力，更好地支撐本地業(yè)務(wù)實(shí)時(shí)智能化決策與執(zhí)行。但是邊緣計(jì)算與云計(jì)算需要通過緊密協(xié)同才能更好地滿足各種需求場景的匹配，從而最大化邊緣計(jì)算和云計(jì)算的應(yīng)用價(jià)值。
采集點(diǎn)的增加和采集頻次提高，能帶來什么樣的效益呢？以智能電表為例，如果將所有電表的數(shù)據(jù)采集頻次提高到1次/15分鐘，電網(wǎng)將實(shí)現(xiàn)對(duì)每個(gè)臺(tái)區(qū)線損的實(shí)時(shí)監(jiān)測，而不是現(xiàn)在的T-1模式，從而對(duì)異常線損實(shí)時(shí)處理。同時(shí)，對(duì)輸電線路故障實(shí)時(shí)監(jiān)測，再也無需客戶上報(bào)，大大提升運(yùn)維效率和服務(wù)質(zhì)量。
以Hadoop體系為代表的互聯(lián)網(wǎng)大數(shù)據(jù)解決方案，主要處理的是互聯(lián)網(wǎng)領(lǐng)域的非結(jié)構(gòu)化數(shù)據(jù)，比如爬蟲數(shù)據(jù)、微博與微信數(shù)據(jù)等。但是，泛在電力物聯(lián)網(wǎng)的數(shù)據(jù)與互聯(lián)網(wǎng)數(shù)據(jù)有顯著不同的特點(diǎn)，表現(xiàn)在幾個(gè)方面：數(shù)據(jù)都是時(shí)序的，由傳感器和設(shè)備不斷產(chǎn)生，形成一個(gè)數(shù)據(jù)流；除視頻、圖像外，都是結(jié)構(gòu)化的數(shù)據(jù)；數(shù)據(jù)是機(jī)器日志類型的，不會(huì)有刪除或更新的動(dòng)作；數(shù)據(jù)是有保留時(shí)長的，到期刪除；數(shù)據(jù)流量是平穩(wěn)可預(yù)測，知道測點(diǎn)數(shù)、采集頻率，能較為準(zhǔn)確估算流量大小；數(shù)據(jù)需要進(jìn)行實(shí)時(shí)計(jì)算、分析；數(shù)據(jù)的分析、計(jì)算一般都是基于某一個(gè)時(shí)間段和地域進(jìn)行；數(shù)據(jù)量巨大，一天產(chǎn)生幾百億條記錄。
除數(shù)據(jù)特征不一樣之外，在數(shù)據(jù)處理上，泛在電力物聯(lián)網(wǎng)與典型的互聯(lián)網(wǎng)相比，還有不一樣的需求。比如插值計(jì)算、數(shù)學(xué)函數(shù)計(jì)算以及某個(gè)具體時(shí)間點(diǎn)的斷面數(shù)據(jù)等。而且這些數(shù)據(jù)的處理往往與采集設(shè)備的管理直接掛鉤，需要依據(jù)采集設(shè)備的歸屬、地域以及其他屬性進(jìn)行各種分類統(tǒng)計(jì)。
構(gòu)建相適應(yīng)的大數(shù)據(jù)平臺(tái)
隨著泛在電力物聯(lián)網(wǎng)的加快建設(shè)，現(xiàn)有的互聯(lián)網(wǎng)大數(shù)據(jù)技術(shù)平臺(tái)將遇到巨大的挑戰(zhàn)，因?yàn)殡娏?shù)據(jù)規(guī)模將增加幾個(gè)數(shù)量級(jí)，數(shù)據(jù)分析的量也更多，實(shí)時(shí)性要求也更高。因此，需要進(jìn)一步加大信息技術(shù)的創(chuàng)新力度，構(gòu)建和完善適應(yīng)泛在電力物聯(lián)網(wǎng)建設(shè)需求的大數(shù)據(jù)平臺(tái)。
這個(gè)新一代的大數(shù)據(jù)平臺(tái)，要有以下幾個(gè)特點(diǎn)：充分利用泛在電力物聯(lián)網(wǎng)的數(shù)據(jù)特點(diǎn)，在技術(shù)上做各種優(yōu)化，大幅度提高數(shù)據(jù)插入、查詢的性能，降低電網(wǎng)運(yùn)營成本；必須能實(shí)時(shí)處理各種數(shù)據(jù)插入、查詢請(qǐng)求，提升電網(wǎng)運(yùn)行效率；必須是水平擴(kuò)展的，隨著數(shù)據(jù)量的增加，只需要增加服務(wù)器擴(kuò)容即可；支持邊緣計(jì)算與云計(jì)算的邊緣協(xié)同；必須是易于維護(hù)的，降低對(duì)運(yùn)維人員的要求；必須是開放的，有業(yè)界流行的標(biāo)準(zhǔn)SQL接口，便于各種應(yīng)用集成；必須通過Python、R或其他接口來方便集成各種機(jī)器學(xué)習(xí)、人工智能算法。
當(dāng)前，國內(nèi)外諸多互聯(lián)網(wǎng)企業(yè)已經(jīng)注意到物聯(lián)網(wǎng)興起后，傳統(tǒng)的大數(shù)據(jù)技術(shù)正面臨新的考驗(yàn)和挑戰(zhàn)，并開始著手研發(fā)新一代大數(shù)據(jù)平臺(tái)。相信隨著泛在電力物聯(lián)網(wǎng)建設(shè)不斷加快，必將構(gòu)建新一代的能源電力大數(shù)據(jù)平臺(tái)，從而進(jìn)一步挖掘和利用好電網(wǎng)的數(shù)據(jù)資源，提升電網(wǎng)運(yùn)營的效率和效益，保障電網(wǎng)安全穩(wěn)定運(yùn)行，為社會(huì)提供新的應(yīng)用和服務(wù)。
