Powrót do listy komunikatów
Dodano: 2008-04-30 | Ostatnia aktualizacja: 2008-05-19
Prognozowanie zapotrzebowania na gaz w Mazowieckiej Spółce Obrotu Gazem
Studium przypadku
WPROWADZENIE
Klient
Mazowiecka Spółka Obrotu Gazem Sp. z o.o. (MSOG) to jedna z największych spółek spośród sześciu spółek obrotu gazem, które z dniem 1 października 2007 r. zostały połączone z PGNiG S.A. Gazownie wchodzące w skład Spółki, tj. Gazownia Warszawska, Łódzka, Białostocka, są obecnie jednostkami terenowymi PGNiG S.A. i świadczą usługi dla odbiorców indywidualnych, małych i średnich oraz odbiorców przemysłowych. Podstawową działalnością pozostaje obrót paliwami gazowymi oraz obsługa handlowa odbiorców realizowana poprzez 60 Biur Obsługi Klienta rozlokowanych na obszarze działania trzech gazowni, które swoim zasięgiem obejmują obszar województw: mazowieckiego, łódzkiego i podlaskiego a także częściowo lubelskiego, warmińsko – mazurskiego i świętokrzyskiego.
Cel wdrożenia
Firma Transition Technologies S.A. otrzymała zadanie dostarczenia i wdrożenia Oprogramowania Prognozującego zapotrzebowanie na gaz w sieci (OP). Główne cele systemu to gromadzenie danych pomiarowych niezbędnych do prognozowania, możliwość automatycznego i ręcznego przygotowania prognoz, umożliwienie wykonania korekt eksperckich oraz przygotowanie na podstawie wyników prognozowania zestawień nominacyjnych (tygodniowych) i renominacyjnych (dobowych) w postaci wymaganej przez PGNiG. Zastosowanie systemu miało na celu minimalizację opłat nakładanych przez operatora systemu przesyłowego – OGP Gaz-System za tzw. nieznominowanie, czyli przekroczenie maksymalnej dopuszczalnej odchyłki przesłanego gazu w stosunku do uprzednio złożonej nominacji.
Zastosowane rozwiązanie
Dostarczony system składa się z dwóch modułów pakietu gasLUX: modułu prognozującego gasLUXpro i modułu raportowego gasLUXrep. Dostarczony też został moduł administracyjny - Moduł Detekcji Zdarzeń (MDZ), który monitoruje procesy ładowania i przetwarzania danych. Architektura rozwiązania jest trójwarstwowa, składają się na nią baza danych, serwer i wolnostojące aplikacje klienckie (gasLUXpro i gasLUXrep) oraz klient webowy (MDZ). Przygotowane modele prognostyczne zostały zrealizowane w języku R i wykonują się w środowisku R zintegrowanym z modułem gasLUXpro. Wszystkie wymagane prognozy wykonują się automatycznie, a zadaniem użytkowników jest jedynie korekta wyników lub ręczne powtórzenie i ewentualna korekta wybranych prognoz. Ostatnim krokiem jest wykonanie raportu zawierającego wyniki prognoz w postaci zestawienia nominacyjnego.
Korzyści
Podstawową korzyścią płynącą z systemu jest wysoka jakość i kompletność przygotowywanych prognoz. Automatyczne procesy zapewniają kompleksowe przygotowanie pełnego zestawu nominacji, dostępnych w chwili rozpoczęcia każdego dnia pracy. Modele prognostyczne są przemyślane i wypracowane drogą długich analiz i iteracyjnego poszukiwania najlepszych rozwiązań. Należy oczywiście pamiętać, że nieprzewidywalność świata rzeczywistego utrudnia ich zadanie. Odpowiedzią na tę trudność są korekty wprowadzane przez użytkowników-ekspertów.
Wdrożenie to, prekursorskie w Polsce, w dziedzinie rynku gazu, zapewniło klientowi zaawansowane rozwiązanie informatyczne, które usprawniło pracę zespołu prognostów i jednocześnie jest gotowe do dalszego rozwoju oraz otwarte na integrację z innymi systemami, takimi jak np. system bilansujący.
PROGNOZOWANIE ZAPOTRZEBOWANIA NA GAZ
Nasze doświadczenia
Do stworzenia dobrego modelu prognostycznego wymagane jest z jednej strony doświadczenie i wiedza ekspercka dotycząca dziedziny prognozowania, a z drugiej duża i poparta doświadczeniem wiedza z zakresu matematyki i statystyki. W rozmowach z firmami zainteresowanymi systemem prognostycznym często spotyka się oczekiwanie, zgodnie z którym użytkownik otrzymałby zbiór komponentów oraz prostych narzędzi, np. w postaci graficznego buildera, za pomocą których sam mógłby budować modele, lub je ze sobą składać. Takie rozwiązanie na pewno byłoby efektowne i przyjazne dla użytkownika, ale tak wykonane modele byłyby zdecydowanie słabej jakości.
Modelowanie jest procesem trudnym i wymagającym dużej wiedzy, a realizacja dobrych modeli wymaga narzędzi dających dużo więcej możliwości i elastyczności. Takimi narzędziami są środowiska obliczeniowe typu R, Matlab, OPL Studio itp., pozwalające na zapisywanie algorytmów matematycznych w postaci skryptów. Narzędzia te zawierają również całe zbiory gotowych, wydajnych bibliotek, na których można się oprzeć tworząc model. Dopiero z wykorzystaniem takich narzędzi można na podstawie dokładnych analiz stworzyć zaawansowane i złożone modele prognostyczne, które będą potrafiły wykorzystać maksimum informacji zawartych w danych.
Środowisko obliczeniowe R - to system otwarty, przeznaczony do obliczeń statystycznych i ich wizualizacji. W jego skład wchodzi język skryptowy oraz środowisko runtime umożliwiające uruchamianie skryptów zapisanych w plikach, zawierające debugger, dostęp do zbioru funkcji systemowych, a także narzędzia do prezentacji grafiki.
Więcej informacji o środowisku R można znaleźć w Internecie na stronie http://www.r-project.org/.
Zdarza się, że firmy posiadające lub planujące zakup systemu prognostycznego współpracują ze środowiskami naukowymi lub wręcz zatrudniają osoby posiadające wyższe wykształcenie matematyczne oraz doświadczenie w dziedzinie algorytmów prognostycznych. Pozwala im to osiągnąć duży stopień samowystarczalności w zakresie modelowania, a moduł gasLUXpro, który integruje się ze środowiskiem R, może stać się doskonałą platformą do pracy dla takich osób. Taka sytuacja nie jest jednak często spotykana. Dlatego najlepszym rozwiązaniem – stało się tak w przypadku wdrożenia OP – jest powierzenie tego zadania specjalistom do spraw modelowania, którzy z wykorzystaniem własnej wiedzy i doświadczenia oraz wiedzy eksperckiej klienta przygotują i dostarczą najlepsze, precyzyjnie dostrojone modele prognostyczne.
Tworzenie modeli prognostycznych jest procesem rozłożonym w czasie. Rozpoczyna się dokładną analizą danych oraz konsultacjami z ekspertami w prognozowanej dziedzinie. Koniec tego procesu jest trudny do określenia - ponieważ modele są używane codziennie, a środowisko, w którym działają, podlega zmianom. Wymaga to ciągłej współpracy pomiędzy twórcą modelu a jego użytkownikiem. Nawet gdy model wydaje się być dopracowany i „dojrzały”, może okazać się, że zmieniające się otoczenie oraz wiedza ekspercka użytkowników są podstawą do ulepszenia modelu.
Składnikiem niezbędnym do osiągnięcia sukcesu w prognozowaniu zapotrzebowania na gaz jest dostęp do danych historycznych o jak najwyższej jakości. Rzeczą oczywistą jest tutaj wiarygodność i dokładność pomiarów. Na drugim miejscu należy postawić kompletność danych. Jest to szczególnie istotne w prognozowaniu zjawisk z widoczną sezonowością, a do takich należy zapotrzebowanie na gaz. O ile w przypadku zjawisk niesezonowych braki danych można zazwyczaj po prostu pominąć, to niedostępność fragmentów pomiarów przepływu gazu jest bardzo dotkliwa dla jakości modelu, ponieważ tracona jest informacja niezbędna do odtworzenia charakterystyki sezonowości. Twórca modelu może w takim przypadku dostosowywać model albo uzupełniać braki sztucznymi danymi, ale nigdy nie jest to tak proste i tak skuteczne jak cierpliwe gromadzenie wszystkich możliwych danych przez długie lata.
Innym praktycznym aspektem znacznie wpływającym na jakość prognoz jest dostępność danych bieżących. Większość modeli w głównej mierze bazuje na informacji o zużyciu z dnia poprzedniego i niedalekiej przeszłości. Jeśli system telemetryczny jest niewydajny lub zawodny, te dane nie mogą być dostarczone do modelu na moment obliczania prognozy. Z tego powodu zapewnienie ciągłego dopływu danych bieżących jest elementem niezbędnie koniecznym do osiągnięcia pełnego sukcesu.
Skala problemu i zakres danych
Prognozowaniem zostało objęte 219 stacji gazowych pierwszego stopnia, będących punktami wyjścia z systemu przesyłowego, znajdujących się na terenie północno- wschodniej części Polski (Rysunek 1). Część stacji wchodzi w skład 24 zespołów zdefiniowanych w IRiESP OGP Gaz-System jako zbiór punktów wyjścia połączonych hydraulicznie po stronie sieci dystrybucyjnej lub instalacji odbiorcy końcowego. Stacje składają się łącznie z 343 ciągów gazowych. Każdą stację tworzy 1, 2 lub 3 ciągi występujące w różnych, zmieniających się w czasie konfiguracjach (równoległych, szeregowych lub hybrydowych). Każdy z nich dostarcza oddzielnego zestawu danych pomiarowych. Dla każdego ciągu dostępny był inny zakres danych historycznych, które zostały użyte do przygotowania modelu prognostycznego. Dobór zakresu zależał od kompletności i poprawności danych.
Podczas bieżącej pracy system wykonuje automatycznie 243 prognozy renominacyjne dziennie dla wszystkich stacji gazowych i wszystkich zespołów oraz dodatkowo w każdą środę 243 prognozy nominacyjne tygodniowe. Daje to około półtora tysiąca prognoz wykonanych, zarchiwizowanych i przetworzonych na potrzeby zestawień nominacyjnych i renominacyjnych w ciągu każdego tygodnia. Należy też wziąć pod uwagę możliwość ręcznego uruchamiania prognozowania podczas pracy operacyjnej.
Do realizacji prognozy zużycia gazu wykorzystano trzy typy danych. Są nimi: sygnały przepływu gazu dla ciągów, stacji oraz zespołów. Podstawowe („surowe”) dane zawarte są w ciągach. Pojedyncza stacja może składać się z jednego lub więcej ciągów, a zużycie dla pojedynczej stacji wyznacza się poprzez sumowanie kilku ciągów lub ich odpowiednie nałożenie na siebie. W celu automatycznego łączenia ciągów wprowadzono pomocniczy sygnał KUP (Konfiguracja Układów Pomiarowych), który dostarcza informację o konfiguracjach ciągów i pozwala na ich odpowiednie zagregowanie.
Sygnał jest to szereg wartości opisujących jedno zjawisko w równych odstępach czasu. Próbki sygnału mogą określać np. przyrosty, wartości chwilowe, lub w dowolny inny sposób reprezentować jego przebieg. Przykładem sygnału jest godzinowy przepływ gazu w wybranym punkcie pomiarowym.
Stacje tworzą zespoły, których zużycie wyznacza się poprzez zsumowanie przepływów z wszystkich stacji wchodzących w skład zespołu.
Oprócz historycznego zapotrzebowania na gaz, dane wejściowe tworzą także sygnały pogodowe. Należą do nich: temperatura minimalna, maksymalna i średnia oraz prędkość wiatru. Informacja o pogodzie jest różna dla trzech różnych regionów, na terenie których znajdują się stacje podlegające prognozowaniu. Te regiony to: Warszawa, Łódź oraz Białystok, stanowiące obszar działania trzech gazowni.
Utworzono również sztuczny sygnał o nazwie „Typ dnia”, którego wartość pozwala modelowi prognostycznemu odróżnić dni robocze od dni wolnych od pracy, a tym samym uwzględnić specyfikę świąt oraz tzw. długich weekendów. Rysunek 2 przedstawia przykładowy przebieg sygnału „Typ dnia”.
Wartości 1-7 tego sygnału odpowiadają kolejnym dniom tygodnia, od poniedziałku do niedzieli. Wartość 9 odpowiada dniom świątecznym wolnym od pracy, a wartość 8 – dniom, które ze względu na układ świąt składają się na długi weekend, ale same nie są świętem. Na przykład w sytuacji gdy w czwartek przypada święto (typ dnia = 9), zapotrzebowanie na gaz spada zazwyczaj również w piątek (typ dnia = 8). Gdy model matematyczny dostaje na wejściu wartość 8 dla piątku, wtedy „wie”, że ten dzień nie powinien być traktowany jak zwykły dzień roboczy (bo wtedy wartość sygnału wynosiłaby 5), ale jak dzień specjalny i odpowiednio koryguje wartość prognozy.
Wyniki analizy danych zapotrzebowania na gaz
Zależność od pogody i sezonowość
W procesie rozwoju modeli matematycznych badano zależność zużycia gazu od zachowania czynników pogodowych. Jedną z bardziej oczywistych zależności jest wpływ temperatury powietrza na zapotrzebowanie na gaz. Rysunek 3 obrazuje tę zależność, tzn. wpływ temperatury średniej na zużycie gazu dla wybranej stacji.
Ponieważ charakter powyższej zależności jest inny dla różnych zakresów temperatur, w przypadku niektórych modeli zastosowano aproksymację przedziałami liniową, jak na Rysunku 4.
Jak widać, dla wyższych temperatur zależność zużycia od temperatury prawie całkowicie zanika, co oczywiście ma wpływ na jakość uzyskiwanych prognoz. Z powodu zaniku wpływu temperatury model matematyczny opiera się niemalże wyłącznie na zjawisku okresowości zapotrzebowania na gaz. Dodatkowo w okresie letnim zużycie maleje, co bardziej uwydatnia błąd prognozy, jeśli wyrazi się go procentowo w stosunku do rzeczywistego zapotrzebowania.
W okresie zimowym zależność zapotrzebowania na gaz od warunków atmosferycznych nasila się, a dokładność prognozy zapotrzebowania w znacznym stopniu uzależniony jest od błędu prognozy temperatury.
Zapotrzebowanie na wiele rodzajów energii posiada charakterystykę okresową; tak też jest z zapotrzebowaniem na gaz. Daje się zaobserwować powtarzalność tego procesu zarówno z okresem rocznym, dobowym, jak i tygodniowym. Na Rysunku 5 przedstawiono przykład danych w granulacji godzinowej, na którym wyraźnie widać to zjawisko.
Potrzeby gospodarstw domowych i potrzeby przemysłowe
Obecność odbiorców przemysłowych na terenie danej stacji jest czynnikiem, który znacznie utrudnia uzyskiwanie trafnych prognoz przy obecnych uwarunkowaniach współpracy pomiędzy dostawcami gazu a odbiorcami przemysłowymi. Problemem, z którym trzeba się mierzyć, jest brak uregulowań umownych w zakresie przekazywania przez odbiorców informacji o planowanym odbiorze w postaci nominacji tygodniowych.
Odbiorcy przemysłowi nie podlegają tym samym wpływom co odbiorcy prywatni. Zużycie gazu przez tych ostatnich w znacznej mierze zależy od pory dnia i warunków atmosferycznych, co istotnie ułatwia przewidywanie wielkości zużycia. Odbiorcy przemysłowi nie podlegają w pełni wpływowi tych samych czynników. Dla uzyskania prognozy dobrej jakości celowe byłoby rozdzielenie prognozowania tych dwóch kategorii odbiorców, przy czym skuteczne prognozowanie zapotrzebowania dla przemysłu wymagałoby pewnej współpracy ze strony odbiorcy gazu, polegającej na deklaracji poziomu zużycia w najbliższej przyszłości. (Wymagałoby to pewnego nakładu pracy ze strony odbiorcy, ale mogłoby skutkować obniżeniem ceny sprzedawanego gazu.)
W obecnej sytuacji nieprzewidywalność odbiorców przemysłowych powoduje, że wyniki prognoz dla tych stacji, na terenie których przemysł ma duży udział w całkowitym odbiorze są obarczone większym błędem w porównaniu ze stacjami o odmiennej strukturze zapotrzebowania.
Efekty modelowania
Opracowane modele prognostyczne
W wyniku analizy danych pomiarowych i testowania różnych rozwiązań opracowano dwie klasy modeli, które dostarczają prognoz najwyższej jakości, a ich parametry uzyskuje się w wyniku procesu uczenia na podstawie danych poszczególnych stacji. Dodatkowo dla każdej stacji dostosowano w pewnym stopniu dobrany dla niej model, tak że klasy modeli otrzymały szereg swoich różniących się wersji. Skrypty wszystkich modeli zostały przygotowane w środowisku obliczeniowym R.
System skonfigurowany jest w taki sposób, że każda stacja jest codziennie prognozowana przez dwa modele, w odpowiednio dla niej dobranych wersjach. W wyniku testów porównawczych na danych historycznych jeden z tych modeli, uznany za lepszy, jest przypisany jako domyślny. Oznacza to, że jego wyniki są automatycznie przyjmowane jako dane do nominacji i renominacji. Wyniki drugiego modelu są monitorowane, tak aby w przypadku, gdy okaże się on dawać lepsze prognozy, można było przełączyć go w tryb domyślności.
Pierwszym z opracowanych modeli jest model regresyjny. W modelach opartych o algorytm regresji liniowej wyznaczana jest zależność pomiędzy zmienną zależną, (którą w naszym przypadku jest prognozowany poziom przepływu gazu) a zmiennymi niezależnymi, czyli przepływem historycznym i danymi pogodowymi. Model przyjmuje postać funkcji liniowej i powstaje poprzez dopasowanie linii prostej do zbioru danych uczących. Parametry poszukiwanej prostej wyznaczane są poprzez minimalizację błędu średniokwadratowego dla danego zbioru uczącego. W tym przypadku zbiór uczący stanowią dane historyczne o przebiegu zużycia wraz z danymi pogodowymi.
Opracowany model wykorzystuje do uczenia dane historyczne o długości równej 60 dni. Model uczony jest dynamicznie, co oznacza, że zbiór uczący jest wyznaczany niezależnie dla każdej kolejnej prognozy. Wykorzystuje dwa algorytmy prognozowania, z których pierwszy to regresja liniowa dla średniego dobowego poziomu przepływu gazu. Drugi algorytm opiera się na analizie szeregów czasowych, a jego zadaniem jest wyznaczenie dobowego profilu przepływu gazu. Każda z 24 godzin poszczególnych dób jest prognozowana na podstawie analizy odrębnego szeregu danych. Pełna prognoza realizowana jest przez zsumowanie wartości poziomu średniego oraz profili dobowych.
Drugim modelem jest model regresji grzbietowej. Regresja grzbietowa różni się od klasycznej zmodyfikowanym kryterium minimalizacji błędu przy dopasowywaniu linii prostej do zbioru danych. Opracowany model wykorzystuje do uczenia dane historyczne o długości równej 425 dni. Wykorzystuje dobową oraz tygodniową okresowość danych. Z uwagi na dużą ilość danych uczących stosowana jest regresja przedziałami liniowa. Parametry prostych regresji są wyznaczane dla podzbiorów danych utworzonych na podstawie wartości temperatury średniej dla odpowiednich regionów. Dla stacji z regionu warszawskiego wyróżnione zostały trzy podzbiory: poniżej 10ºC, pomiędzy 10ºC a 18ºC oraz powyżej 18ºC. Dla pozostałych regionów optymalny podział wyróżnia dwa podzbiory: powyżej 9ºC oraz poniżej 9ºC.
Skuteczny model powinien być tak skonstruowany, aby wykorzystywać jak najwięcej informacji. Z drugiej strony, zbytnia rozbudowa modelu może prowadzić do „przeuczenia”, czyli zbyt silnego dostosowania modelu do danego zbioru uczącego. To z kolei pogarsza wyniki modelu dla nowych danych wejściowych. Aby zrównoważyć te cechy modeli, do ich oceny jakościowej zastosowano tzw. kryteria informacyjne, np. kryterium Akaike.
Kryteria oceny modeli i osiągnięte wyniki
Podstawowym kryterium oceny opracowanych modeli było spełnienie wymagań określonych w Instrukcji Ruchu i Eksploatacji Sieci Przesyłowej, a więc utrzymanie się w granicach 10% błędu prognozy w stosunku do rzeczywistego wykonania. Dodatkowe, mniej „wymagające” kryterium zostało sformułowane jako tygodniowa średnia błędów dobowych nie wykraczająca powyżej 10%; to kryterium jest bardziej tolerancyjne dla sporadycznych przypadków ekstremalnych, tzn. kilkunastoprocentowy błąd jednego dnia jest kompensowany przez mniejsze błędy w pozostałych dniach tygodnia.
Dzięki ścisłej współpracy z klientem oba opisane kryteria zostały spełnione w prawie wszystkich przypadkach, przy czym obiekty, dla których nie udało się spełnić ww. kryteriów to stacje i zespoły z natury bardzo trudno prognozowalne. Należą do nich stacje o bardzo niskim średnim zużyciu oraz te obszary, na których duży odsetek poboru gazu jest przypisany do odbiorców przemysłowych, działających w sposób nieprzewidywalny.
W większości przypadków prognozy wygenerowane automatycznie są bliskie wykonaniom. Również w większości przypadków prognozy przygotowane przez ekspertów są lepsze od prognoz wykonanych automatycznie. Zaprezentowany wykres w celu utrzymania przejrzystości obejmuje jedynie 2 tygodnie danych, jednak powyższa tendencja utrzymuje się w całym zakresie prognozowania. I jest ona zgodna z oczekiwaniami zarówno TT jak i MSOG. System OP dostarcza kompletnych i bardzo dobrych jakościowo prognoz. Jednak w sytuacjach, gdy zabraknie danych wejściowych lub dzieje się coś nieprzewidzianego, niespotykanego w historii, tylko ekspert-operator może na bieżąco skorygować wyniki prognoz.
FUNKCJONALNOŚĆ APLIKACJI
Analiza i prezentacja danych
O tym, czy wdrożenie systemu informatycznego w przedsiębiorstwie zakończy się sukcesem, decyduje niejednokrotnie siła jego narzędzi do prezentacji wyników. System przyjmie się bowiem tylko wówczas, gdy zastosowana w nim wizualizacja danych będzie przemawiała do użytkownika końcowego i sprosta jego oczekiwaniom.
System OP doskonale sprawdził się pod tym kątem, dostarczając pracownikom MSOG szerokich możliwości analizy i prezentacji danych, zarówno z poziomu modułu gasLUXpro jak i gasLUXrep. Ponieważ każdy z modułów jest dedykowany do realizacji innych zadań w systemie, toteż zastosowane w nich mechanizmy wizualizacji danych nie są jednakowe. Pewne natomiast jest to, że możliwości obu modułów doskonale się uzupełniają i na dzień dzisiejszy pokryły one w stu procentach wszelkie potrzeby klienta w tym kontekście.
W początkowym stadium wdrożenia uwaga zespołu wdrożeniowego skupiła się na module gasLUXpro, gdyż stanowi on niejako serce systemu OP – systemu do prognozowania zapotrzebowania na gaz w sieci. Moduł gasLUXpro poprzez wykorzystanie odpowiednich danych wejściowych oraz szerokiej palety klas modeli prognostycznych realizuje to właśnie zadanie systemu. Moduł pozwala na podgląd i analizę zarówno danych historycznych - sygnałów wejściowych i prognoz - jak i bieżących wyników pracy. Dane mogą być podglądane w postaci tabelarycznej lub też w postaci wykresów, w dowolnym horyzoncie czasowym i w dowolnej granulacji (np. dane z zapotrzebowania na gaz w sieci zagregowane do kwartałów). Do pewnego momentu te możliwości systemu były wystarczające – pozwalały obserwować dane wejściowe i wyniki prognoz oraz skupić się na „uczeniu” modeli i uzyskiwaniu coraz to lepszych prognoz. Z czasem jednak pojawiła się konieczność tworzenia zestawień zawierających duże wolumeny danych, w określonej przez użytkownika formie i specyficznym układzie przestrzennym. Z pomocą przyszedł wówczas moduł raportujący gasLUXrep, którego zadaniem było wsparcie użytkownika w tworzeniu dowolnych zestawień i analiz w oparciu o dane zgromadzone w bazie danych systemu OP.
Wdrożenie modułu raportującego rozpoczęto od analizy wymagań użytkowników w tym zakresie. Na tym etapie pracownicy spółki przekazali zespołowi wdrożeniowemu wzorce około dwudziestu raportów niezbędnych im w codziennej pracy, których nie sposób było uzyskać w module gasLUXpro. Raporty te podzielone zostały na dwie grupy, w zależności od tego, czy dany raport dedykowany był realizacji bieżących zadań operacyjnych, czy też miał wspomagać użytkownika w analizie danych historycznych zgromadzonych w bazie archiwalnej. Następnie przystąpiono do utworzenia w systemie zestawu niezbędnych obszarów biznesowych, stanowiących warstwę pośrednią pomiędzy bazą danych, a użytkownikami modułu raportującego oraz wyposażono go w bogaty zestaw funkcji matematycznych, pozwalających użytkownikowi na konstruowanie w szablonie raportu dowolnych wyrażeń matematycznych, a tym samym dających mu możliwość zaimplementowania dowolnego algorytmu analitycznego. Wreszcie przystąpiono do implementacji wymaganych szablonów raportów. Szablon raportu stanowi niejako „przepis” na zawartość raportu, tj. na zakres, kontekst i sposób wyświetlenia danych - jest zbiorem reguł i wyrażeń nałożonych na wybrane przez użytkownika elementy obszaru biznesowego.
Prezentacja wyników
Rolą modułu gasLUXpro nie jest szeroko pojęte raportowanie, lecz wykonywanie prognoz. Dlatego jego możliwości w zakresie prezentacji wyników są w pewnym stopniu ograniczone w porównaniu do możliwości modułu gasLUXrep. Udostępnia on jednak szereg pomocnych funkcjonalności pomocnych w analizie danych i wyników prognoz.
O sile zaplecza graficznego modułu świadczy posiadany przez niego pakiet dostępnych opcji wykresów, pozwalających między innymi na:
• zmianę kolorów prezentowanych prognoz,
• zmianę typu wykresu prezentowanych wielkości (liniowy, słupkowy),
• skalowanie wykresu,
• zmiany skali na osiach w zależności od zaznaczonej wielkości na legendzie,
• zmiany granulacji prezentowanych danych.
Moduł zawiera też bogaty zestaw opcji wspierających prostą analizę uzyskanych wyników, między innymi możliwość otwierania dowolnej ilość okien z danymi czy też prezentowania kilku danych na jednym wykresie lub porównywanie ich w jednej tabeli (Rysunek 9).
Prognozy mogą być generowane w systemie na dowolny horyzont czasowy wskazany przez użytkownika, tj. „do przodu” lub „do tyłu” względem aktualnej doby. Wykonując prognozę danych „wprzód” użytkownik otrzyma jedynie wielkość prognozy. Dla danych prognozowanych „do tyłu” (tworzenie prognozy na okres historyczny), użytkownik otrzyma wielkość prognozy oraz dodatkowo rzeczywistą realizację danych.
Mając te dwie wielkości użytkownik może pokusić się o przeprowadzenie głębszej analizy prognoz. Moduł pozwala wówczas na stworzenia histogramu błędu, oraz wyświetlenia prostych funkcji agregujących i statystyk takich jak: poniżej zakresu, powyżej zakresu, niepoprawne, minimum, maksimum, absolutna średnia, absolutna średnia z bezwzględnych wartości, średnia, minimum z bezwzględnych wartości, maksimum z bezwzględnych wartości, średnia z bezwzględnych wartości, wariancja, skośność, kwantyl.
Możliwości dalszego przetwarzania prognoz
Dla dalszego przetwarzania prognoz wygenerowanych w module prognostycznym wykorzystano bogate możliwości jakie daje narzędzie raportujące gasLUXrep.
Moduł gasLUXrep jest narzędziem o bardzo szerokiej funkcjonalności, umożliwiającym ciągłe dostosowanie raportów zgodnie z życzeniem i indywidualnymi potrzebami użytkowników. Zapewnia on przede wszystkim:
• możliwość tworzenia dowolnych szablonów raportów z danych dostępnych w bazie danych systemu OP, szablony te są następnie dodawane do listy zdefiniowanych w systemie raportów i gotowe do wykorzystania w codziennej pracy; szablony te mogą być tworzone w formie wykresów i/lub tabel, przyjaznych użytkownikowi - w postaci zbliżonej kształtem i sposobem wyświetlania do powszechnie stosowanego arkusza kalkulacyjnego MS Excel;
• kontrolę postępu wykonywania raportu na etapie oczekiwania na jego wynik (pasek postępu wskazujący czas wykonywania się raportu);
• możliwość wydruku wyniku raportu – system dostarcza bogatych opcji skalowania wyniku wydruku oraz zmiany podziału stron; dla wsparcia wydruku raportów zawierających setki wierszy, system wyposażony jest w algorytm inteligentnego powtarzania nagłówków raportu na każdej stronie wydruku;
• możliwość budowania własnych stylów z użyciem bogatych opcji formatowania danych (w tym również możliwość nałożenia na określony zakres prezentowanych danych tzw. „czujki”, która poprzez wyeksponowanie danej wielkości innym kolorem, będzie informowała użytkownika o tym, że wielkość ta przekroczyła dozwoloną wartość danych lub też nie spełniania narzuconych dla niej wymagań);
• możliwość rozszerzania zestawu dostępnych w systemie obszarów biznesowych i funkcji matematycznych – z poziomu modułu administratora systemu;
• możliwość zapisania wyniku raportu do aplikacji Excel lub pliku tekstowego na zasadzie „What You See Is What You Get”;
• wsparcie użytkownika w pracy z raportami zawierającymi duży wolumen danych (np. z raportami zawierającymi kilkaset wierszy lub też kilkadziesiąt kolumn) – opcja blokowania komórek i poruszania się tyko w określonym obszarze raportu;
• kontrolę dostępu do systemu poprzez mechanizm przydzielania użytkownikom kont, haseł oraz przynależności do poszczególnych grup;
• kontrolę dostępu użytkownika/grupy na poziomie pojedynczego raportu, obszaru biznesowego oraz funkcji - opcja ta pozwala na kontrolowanie dostępu wybranych użytkowników lub całej grupy jednego oddziału spółki od innych jej oddziałów, przez co wspiera bezpieczną akwizycję programu do innych oddziałów klienta w rozproszonej strukturze przedsiębiorstwa.
Rola zestawień i wykresów w systemie OP
Każdy z raportów wypracowanych we współudziale zespołu wdrożeniowego i pracowników MSOG, jest niezwykle przydatny w pojedynczym, dziennym cyklu pracy systemu. Pulę dostępnych aktualnie raportów można sklasyfikować w kilka grup, gdzie każda z grup wspiera użytkowników w codziennej pracy, podczas realizacji następujących zadań:
• monitorowanie stanu zasilenia bazy danych systemu OP w dane pomiarowe i prognozy pogody (sprawdzanie czy dla danej stacji nie było braków w danych wejściowych w trakcie generowania prognozy),
• monitorowanie zmian w konfiguracji układów pomiarowych dla stacji (w szablonie raportu dodano odpowiedni algorytm „czujki”, która realizuje zadanie wykrywania zmiany stanu sygnału KUP – Rysunek 10),
• typowanie prognoz koniecznych do powtórzenia (wspomaganie weryfikacji poprawności i kompletności uzyskanych prognoz),
• raportowanie wielkości opłat z tytułu niedotrzymania nominacji (Rysunek 11),
• raportowanie uzyskanych nominacji / renominacji w formie gotowej do wysłania (raport stanowi zbiór określonych danych w postaci ustandaryzowanej „planszy” nominacji / denominacji , zgodnej z wymogami Instrukcji, którą można zapisać do aplikacji Excel lub w postaci pliku tekstowego i bez konieczności wykonywania jakichkolwiek zmian przesłać ją do PGNiG - Rysunek 12),
• graficzna prezentacja wpływu sygnałów wejściowych na uzyskane nominacje / renominacje
• wyznaczanie wielkości błędów prognozy i stopnia ich tolerancji (Rysunek 14),
• porównywanie wyników prognoz uzyskanych za pomocą różnych modeli,
• tworzenie statystyk trafności prognoz dla modeli,
• analiza danych historycznych i poszukiwanie korelacji między nimi (Rysunek 15).
Korygowanie danych w systemie OP
System OP może być zasilany w dane wejściowe na kilka różnych sposobów, między innymi poprzez pobieranie tych danych bezpośrednio z bazy systemów pomiarowych (np. TelWin) lub też zaimportowanie ich z plików tekstowych w formacie csv z poziomu interfejsu modułu gasLUXpro.
Dane pomiarowe udostępniane w systemie mogą być czasami niekompletne, w związku z czym gasLUXpro został wyposażony w mechanizm uzupełniania braków metodami statystycznymi. Dzięki temu model „uczy się” na pełnym zestawie danych historycznych, co znacząco wpływa na poprawę jakości jego prognoz.
W przypadku zasilenia aplikacji błędnymi danymi, istnieje możliwość ich skorygowania z poziomu interfejsu modułu prognostycznego. Poza danymi pomiarowymi modele prognostyczne mogą być zasilane prognozami (np. prognozy stacji używane do prognozowania zespołu), danymi pogodowymi, typami dni, sygnałami analitycznymi oraz innymi dowolnymi wielkościami potrzebnymi do poprawnego modelowania. Sygnałami analitycznymi określamy sygnały oparte na podstawie innych sygnałów znajdujących się w aplikacji, poprzez zastosowanie wyrażeń analitycznych i warunków logicznych. Dzięki możliwości tworzenia sygnałów analitycznych możemy uzyskać np. sygnał sumy zapotrzebowania na gaz w sieci z wybranych stacji.
Dla pełnej współpracy aplikacji z użytkownikiem odpowiedzialnym za prognozowanie zapotrzebowania na gaz w sieci, moduł prognostyczny umożliwia wprowadzanie do wygenerowanych prognoz tzw. korekty eksperckiej. Korektę ekspercką możemy wprowadzać zarówno w tabeli jak i na wykresie (Rysunek 16). W tabeli możemy wprowadzić korektę jako zmianę procentową lub jako zmianę wartości prognozowanej, natomiast na wykresie możemy wprowadzać zmianę wartości w postaci:
• korekty o wartość procentową,
• korekty o wartość ilościową,
• ustawienie konkretnej wartości.
Możliwości zarządzania danymi wykonań
Moduł gasLUXpro pozwala użytkownikowi na ustawienie automatycznego generowania prognoz lub na ich ręczne uruchamianie. Ze względu na ogromną liczbę stacji i zespołów podlegających nominacji / renominacji, ręczne wykonywanie wszystkich prognoz byłoby mało efektywne. Dlatego też wykorzystano tu mechanizm automatyczny. Został on skonfigurowany w taki sposób, że tuż po zasileniu bazy danych systemu OP w niezbędne dane pochodzące z systemów zewnętrznych (ok. 4 rano) uruchamiany jest proces automatycznego prognozowania dla całego zestawu stacji i zespołów. Dzięki temu już około godziny 7 rano użytkownicy systemu dysponują zestawem nominacji / renominacji, mogą go sprawdzić, autoryzować i z powodzeniem wysłać do PGNiG.
Zdarza się niekiedy, że wybrane wielkości nominacji / renominacji uzyskane w systemie nie są w danym dniu, dla danych stacji / zespołów zadowalające. Użytkownik, bazując na dodatkowych eksperckich informacjach (np. o nagłej i nieprzewidzianej zmianie sytuacji w tych stacjach / zespołach), może zdecydować o konieczności powtórzenia prognoz dla tych stacji. Prognozy te mogą być uruchomione ręcznie dla wybranej stacji / zespołu lub też dla całego zestawu stacji / zespołów.
Na etapie typowania prognoz przeznaczonych do powtórzenia, wykorzystywana jest odpowiednia grupa raportów, która realizuje zadanie wspomagania weryfikacji poprawności i kompletności uzyskanych prognoz. Poprzez system nałożonych „czujek” użytkownik potrafi bardzo szybko, jednym spojrzeniem na odpowiedni raport, wskazać grupę stacji dla których prognoza z jakichś przyczyn odbiega od normy i powinna być powtórzona. W trakcie wdrożenia w MSOG użytkownicy ustalili między sobą odpowiednią symbolikę kolorów, które pojawiając się w planszach danych, alarmują użytkownika o pewnych nieprawidłowościach. Przykładowo kolor niebieski czcionki oznacza przekroczenie przez prognozę 24-krotności wielkości mocy umownej dla danej stacji, kolor czerwony zaś oznacza, że prognoza odbiega znacząco od wielkości poboru dla tej stacji, wziętej z poprzedniej doby gazowej. Wykorzystanie tego typu mechanizmów gwarantuje doskonałe współdziałanie obu modułów systemu OP i świadczy o ich doskonałym, wzajemnym uzupełnianiu się.
Dzienny cykl pracy systemu
Dzienny cykl pracy systemu, oparty o dostarczone funkcjonalności systemu, został opracowany na podstawie zobowiązań nałożonych na zespół odpowiedzialny za przygotowanie nominacji oraz szeregu zewnętrznych ograniczeń. Rozpoczęcie cyklu jest warunkowane obecnością najnowszych danych pomiarowych z poprzedniego dnia oraz dostawą danych pogodowych. Z drugiej strony krytyczna jest godzina 10:00 rano, będąca terminem dostarczenia przez MSOG nominacji i renominacji do PGNiG. Istotnym punktem w czasie jest też godzina 7:00, przyjęta jako godzina rozpoczęcia pracy operatorów.
Cykl składa się z kilku etapów. Pierwszy z nich jest w pełni automatyczny i polega na zasileniu bazy najnowszymi dostępnymi danymi, przygotowaniu tych danych do wykonania prognoz – w szczególności uzupełnieniu braków i danych o złej jakości – oraz wykonaniu pełnego zestawu prognoz. Etap ten rozpoczyna się o godzinie 4:00 i kończy o 7:00. Dzięki temu w chwili rozpoczęcia dnia pracy gotowy jest już pełny zestaw najnowszych prognoz, które mogą zostać następnie przekazane do PGNiG lub – jeżeli tego wymagają – odpowiednio skorygowane przez ekspertów.
Drugi etap trwa od 7:00 do 10:00, czyli do godziny przekazania zestawienia nominacji do PGNiG. Jest to czas przygotowania ostatecznej wersji prognoz przez operatorów systemu. Z powodu nieprzewidzianych wydarzeń lub panujących rzeczywistych warunków (może to być np. informacja o przyłączeniu do stacji gazowej dużego odbiorcy przemysłowego, o awarii gazociągu itp.) prognozy mogą wymagać korekt. Kolejnym zadaniem operatora jest sprawdzenie poprawności zaimportowanych w nocy danych pomiarowych. Jeżeli pojawiły się problemy z kompletnością lub poprawnością danych, jest to czas na ich ręczne poprawienie. Następnie operator powtórnie wykonuje na poprawionych danych prognozę, której wyniki są natychmiast uwzględniane w raporcie nominacyjnym.
Trzeci i ostatni etap to czas wykonywania analiz, przygotowywania i wykonywania raportów, dalszego uzupełniania danych, wykonywania dodatkowych prognoz, porównywania wyników z rzeczywistymi wykonaniami – wszelkich zadań pozwalających na weryfikację pracy zespołu oraz na utrzymanie systemu w dobrej formie.
PRZYJĘTE ROZWIĄZANIA TECHNOLOGICZNE
Architektura IT
Architektura dostarczonego systemu jest trójwarstwowa i składa się z bazy danych, serwera i aplikacji klienckich. Serwer pracuje w systemie operacyjnym Linux RedHat 4.0 ES. Wykorzystana baza to Oracle 10g Standard Edition One. Aplikacje klienckie działają w systemie Windows 2000/XP.
Konfiguracja sprzętowa:
- Serwer IBM x236, 2 x Intel® Xeon™ 3.0 GHz
- 5 GB RAM
- Dyski twarde: 4 x 146 GB (2 x RAID 1) + 2 x 73 GB (RAID 1)
- System Operacyjny: Linux RedHat 4.0 ES
- Baza: Oracle 10g SE One
Część serwerowa działa w środowisku Linux, lecz nie jest to konieczność. Możliwe jest również instalowanie serwera w środowiskach UNIX Sun Solaris i Windows.
W celu zapewnienia możliwości swobodnego skalowania systemu ciężar procesu prognozowania został umieszczony po stronie aplikacji klienckiej modułu gasLUXpro. Proces ten nie jest wykonywany wewnątrz klienta gasLUXpro, lecz w środowisku obliczeniowym R, które jest zintegrowane z klientem. Środowisko to jest instalowane razem z aplikacją kliencką. Aby uprościć proces instalacji klienta, oprogramowanie R jest umieszczone jako jeden z komponentów instalatora aplikacji.
Do wykonywania automatycznych prognoz służy specjalna wersja klienta gasLUXpro – tak zwany autoklient. Jest to aplikacja bez interfejsu graficznego i jest zainstalowana na serwerze OP. Zaletą takiego podejścia jest możliwość zrównoleglenia wykonania automatycznych prognoz poprzez uruchomienie wielu autoklientów i umieszczenie ich na niezależnych serwerach. Autoklient jest mało wymagający jeżeli chodzi o zasoby serwera (wystarczy zwykły komputer osobisty), zatem zrównoleglenie automatycznego prognozowania jest mało kosztowne.
Wszystkie procesy zasilające bazę danymi zewnętrznymi oraz wykonujące przetwarzanie wewnętrzne (tzw. zasilacze) są monitorowane przez Moduł Detekcji Zdarzeń. Część każdego zasilacza odpowiedzialna za komunikację z MDZ jest zaimplementowana za pomocą PL/SQL. Natomiast część odpowiedzialna za samo przetwarzanie danych może, lecz nie musi być napisana w PL/SQL. W rzeczywistości wykorzystywane są różne technologie, zależnie od wymagań nakładanych przez źródło danych.
Zewnętrzne źródła danych i przepływ danych
Baza danych jest codziennie zasilana najnowszymi danymi pomiarowymi oraz prognozami pogody. Dostawcą danych pogodowych jest IMiGW. Dane mają postać plików ASCII, a komunikacja odbywa się za pomocą protokołu FTP. Dane pomiarowe dotyczące przepływu gazu oraz bieżących nastaw konfiguracyjnych pochodzą z aplikacji Telwin – systemu typu SCADA.
Każdy punkt pomiarowy zarejestrowany w systemie TelWin, którego dane są wymagane do prognozowania, ma swoje odwzorowanie w module gasLUXpro i jest reprezentowany przez oddzielny sygnał. W przypadku pojawienia się nowych punktów pomiarowych należy takie punkty skonfigurować w gasLUXpro podając w nagłówku sygnału odpowiedni identyfikator z systemu TelWin.
Po zakończeniu ładowania danych zewnętrznych, kolejnym krokiem jest wykonanie przetwarzania związanego z przygotowaniem danych. W praktyce zdarza się niestety, że dane pomiarowe okazują się niepełne lub złej jakości. W tym celu zastosowany został mechanizm, który uzupełnia dane estymując ich brakujące wartości. Estymacja oparta jest na wyszukaniu odpowiednich wartości w historii pomiaru z uwzględnieniem panujących podobnych warunków pogodowych. Dzięki temu modele prognostyczne mogą się oprzeć na danych historycznych, które w najgorszym przypadku są zbliżone do rzeczywistych. Wszystkie te procesy są automatyczne i monitorowane przez Moduł Detekcji Zdarzeń. MDZ pozwala na analizę logów ewentualnych błędów w procesach oraz – jeżeli jest to koniczne – na powtórzenie wykonania procesu.
Następnie tak przygotowane dane są wykorzystywane przez modele prognostyczne, które automatycznie generują prognozy. Podobnie, prognozy uruchamiane ręcznie w ciągu dnia wykorzystują te same dane. Ostatecznie wyniki prognoz trafiają do specjalnych wydajnych struktur bazodanowych dedykowanych dla systemu raportującego, zapewniających krótkie czasy odpowiedzi przy wykonywaniu raportów. Cały proces przepływu danych w systemie został zaprezentowany na Rysunku 18.
KORZYŚCI DLA MSOG (PGNiG)
Wdrożenie systemu prognostycznego dla Mazowieckiej Spółki Obrotu Gazem (taka nazwa obowiązywała przed restrukturyzacją, w chwili zakończenia wdrożenia) jest pierwszym – i jak do tej pory jedynym – tego typu udanym wdrożeniem w Polsce, w dziedzinie obrotu i dystrybucji gazu. Spośród sześciu spółek gazowniczych tylko MSOG zdecydowało się na zakup i wdrożenie takiego systemu. Decyzja okazała się bardzo trafna, a system oddany do użytku w kwietniu 2007 roku zapewnił swojemu właścicielowi szereg korzyści biznesowych.
Proces przygotowania prognoz nominacyjnych i renominacyjnych odbywa się automatycznie i obejmuje wszystkie stacje i zespoły stacji wymagające nominowania. Dzięki temu w chwili rozpoczęcia każdego dnia pracy operatorzy zastają gotowy zestaw nominacji.
Modele prognostyczne wymagają bardzo dobrej jakości danych historycznych, na których opierają swoje prognozy. Dzięki temu siłą rzeczy system gromadzi kompletną historię bardzo dobrze przygotowanych, spójnych danych pomiarowych, których źródłem jest zewnętrzna firma zajmująca się dystrybucją gazu – MOSD.
Modele zostały przygotowane w wyniku szczegółowej analizy danych historycznych i są precyzyjnie dobrane do każdego z prognozowanych obiektów. Zapewnia to wysoką jakość wykonywanych prognoz. Tak przygotowane zestawienia nominacyjne i renominacyjne podlegają dodatkowo w wybranych miejscach korektom eksperckim, a następnie są przekazywane do PGNiG. Analizy na danych historycznych wykazują, że nominacje zgłaszane przez MSOG są doskonałej jakości i prawie nigdy nie przekraczają określonego limitu błędu 10%.
Dzięki przeprowadzonemu wdrożeniu MSOG uzyskała zaawansowany system informatyczny, który zapewnia znacznie lepszą skuteczność i komfort pracy, centralizację i spójność danych, lepszą jakość wyników oraz łatwy, lokalny i zdalny dostęp do informacji. System prognostyczny, poza wniesioną przez swoje funkcjonalności wartością, otwiera drogę do dalszego rozwoju środowiska informatycznego firmy. Osiągnęła ona w tym zakresie wyższy, jak dotąd unikatowy w swojej dziedzinie poziom informatyzacji uzyskując gotowość do przyjęcia kolejnych rozwiązań jeszcze bardziej zwiększających efektywność pracy. Na koniec warto dodać, że system, pozostając w posiadaniu wartościowych danych, umożliwia udostępnienie ich do innych systemów, a także w razie potrzeby jest gotów do zintegrowania się z nowymi źródłami danych, które posiadaną informacją mogłyby jeszcze bardziej poprawić jakość wykonywanych prognoz lub w inny sposób usprawnić pracę operatorów.
WPROWADZENIE
Klient
Mazowiecka Spółka Obrotu Gazem Sp. z o.o. (MSOG) to jedna z największych spółek spośród sześciu spółek obrotu gazem, które z dniem 1 października 2007 r. zostały połączone z PGNiG S.A. Gazownie wchodzące w skład Spółki, tj. Gazownia Warszawska, Łódzka, Białostocka, są obecnie jednostkami terenowymi PGNiG S.A. i świadczą usługi dla odbiorców indywidualnych, małych i średnich oraz odbiorców przemysłowych. Podstawową działalnością pozostaje obrót paliwami gazowymi oraz obsługa handlowa odbiorców realizowana poprzez 60 Biur Obsługi Klienta rozlokowanych na obszarze działania trzech gazowni, które swoim zasięgiem obejmują obszar województw: mazowieckiego, łódzkiego i podlaskiego a także częściowo lubelskiego, warmińsko – mazurskiego i świętokrzyskiego.
Cel wdrożenia
Firma Transition Technologies S.A. otrzymała zadanie dostarczenia i wdrożenia Oprogramowania Prognozującego zapotrzebowanie na gaz w sieci (OP). Główne cele systemu to gromadzenie danych pomiarowych niezbędnych do prognozowania, możliwość automatycznego i ręcznego przygotowania prognoz, umożliwienie wykonania korekt eksperckich oraz przygotowanie na podstawie wyników prognozowania zestawień nominacyjnych (tygodniowych) i renominacyjnych (dobowych) w postaci wymaganej przez PGNiG. Zastosowanie systemu miało na celu minimalizację opłat nakładanych przez operatora systemu przesyłowego – OGP Gaz-System za tzw. nieznominowanie, czyli przekroczenie maksymalnej dopuszczalnej odchyłki przesłanego gazu w stosunku do uprzednio złożonej nominacji.
Zastosowane rozwiązanie
Dostarczony system składa się z dwóch modułów pakietu gasLUX: modułu prognozującego gasLUXpro i modułu raportowego gasLUXrep. Dostarczony też został moduł administracyjny - Moduł Detekcji Zdarzeń (MDZ), który monitoruje procesy ładowania i przetwarzania danych. Architektura rozwiązania jest trójwarstwowa, składają się na nią baza danych, serwer i wolnostojące aplikacje klienckie (gasLUXpro i gasLUXrep) oraz klient webowy (MDZ). Przygotowane modele prognostyczne zostały zrealizowane w języku R i wykonują się w środowisku R zintegrowanym z modułem gasLUXpro. Wszystkie wymagane prognozy wykonują się automatycznie, a zadaniem użytkowników jest jedynie korekta wyników lub ręczne powtórzenie i ewentualna korekta wybranych prognoz. Ostatnim krokiem jest wykonanie raportu zawierającego wyniki prognoz w postaci zestawienia nominacyjnego.
Korzyści
Podstawową korzyścią płynącą z systemu jest wysoka jakość i kompletność przygotowywanych prognoz. Automatyczne procesy zapewniają kompleksowe przygotowanie pełnego zestawu nominacji, dostępnych w chwili rozpoczęcia każdego dnia pracy. Modele prognostyczne są przemyślane i wypracowane drogą długich analiz i iteracyjnego poszukiwania najlepszych rozwiązań. Należy oczywiście pamiętać, że nieprzewidywalność świata rzeczywistego utrudnia ich zadanie. Odpowiedzią na tę trudność są korekty wprowadzane przez użytkowników-ekspertów.
Wdrożenie to, prekursorskie w Polsce, w dziedzinie rynku gazu, zapewniło klientowi zaawansowane rozwiązanie informatyczne, które usprawniło pracę zespołu prognostów i jednocześnie jest gotowe do dalszego rozwoju oraz otwarte na integrację z innymi systemami, takimi jak np. system bilansujący.
PROGNOZOWANIE ZAPOTRZEBOWANIA NA GAZ
Nasze doświadczenia
Do stworzenia dobrego modelu prognostycznego wymagane jest z jednej strony doświadczenie i wiedza ekspercka dotycząca dziedziny prognozowania, a z drugiej duża i poparta doświadczeniem wiedza z zakresu matematyki i statystyki. W rozmowach z firmami zainteresowanymi systemem prognostycznym często spotyka się oczekiwanie, zgodnie z którym użytkownik otrzymałby zbiór komponentów oraz prostych narzędzi, np. w postaci graficznego buildera, za pomocą których sam mógłby budować modele, lub je ze sobą składać. Takie rozwiązanie na pewno byłoby efektowne i przyjazne dla użytkownika, ale tak wykonane modele byłyby zdecydowanie słabej jakości.
Modelowanie jest procesem trudnym i wymagającym dużej wiedzy, a realizacja dobrych modeli wymaga narzędzi dających dużo więcej możliwości i elastyczności. Takimi narzędziami są środowiska obliczeniowe typu R, Matlab, OPL Studio itp., pozwalające na zapisywanie algorytmów matematycznych w postaci skryptów. Narzędzia te zawierają również całe zbiory gotowych, wydajnych bibliotek, na których można się oprzeć tworząc model. Dopiero z wykorzystaniem takich narzędzi można na podstawie dokładnych analiz stworzyć zaawansowane i złożone modele prognostyczne, które będą potrafiły wykorzystać maksimum informacji zawartych w danych.
Środowisko obliczeniowe R - to system otwarty, przeznaczony do obliczeń statystycznych i ich wizualizacji. W jego skład wchodzi język skryptowy oraz środowisko runtime umożliwiające uruchamianie skryptów zapisanych w plikach, zawierające debugger, dostęp do zbioru funkcji systemowych, a także narzędzia do prezentacji grafiki.
Więcej informacji o środowisku R można znaleźć w Internecie na stronie http://www.r-project.org/.
Zdarza się, że firmy posiadające lub planujące zakup systemu prognostycznego współpracują ze środowiskami naukowymi lub wręcz zatrudniają osoby posiadające wyższe wykształcenie matematyczne oraz doświadczenie w dziedzinie algorytmów prognostycznych. Pozwala im to osiągnąć duży stopień samowystarczalności w zakresie modelowania, a moduł gasLUXpro, który integruje się ze środowiskiem R, może stać się doskonałą platformą do pracy dla takich osób. Taka sytuacja nie jest jednak często spotykana. Dlatego najlepszym rozwiązaniem – stało się tak w przypadku wdrożenia OP – jest powierzenie tego zadania specjalistom do spraw modelowania, którzy z wykorzystaniem własnej wiedzy i doświadczenia oraz wiedzy eksperckiej klienta przygotują i dostarczą najlepsze, precyzyjnie dostrojone modele prognostyczne.
Tworzenie modeli prognostycznych jest procesem rozłożonym w czasie. Rozpoczyna się dokładną analizą danych oraz konsultacjami z ekspertami w prognozowanej dziedzinie. Koniec tego procesu jest trudny do określenia - ponieważ modele są używane codziennie, a środowisko, w którym działają, podlega zmianom. Wymaga to ciągłej współpracy pomiędzy twórcą modelu a jego użytkownikiem. Nawet gdy model wydaje się być dopracowany i „dojrzały”, może okazać się, że zmieniające się otoczenie oraz wiedza ekspercka użytkowników są podstawą do ulepszenia modelu.
Składnikiem niezbędnym do osiągnięcia sukcesu w prognozowaniu zapotrzebowania na gaz jest dostęp do danych historycznych o jak najwyższej jakości. Rzeczą oczywistą jest tutaj wiarygodność i dokładność pomiarów. Na drugim miejscu należy postawić kompletność danych. Jest to szczególnie istotne w prognozowaniu zjawisk z widoczną sezonowością, a do takich należy zapotrzebowanie na gaz. O ile w przypadku zjawisk niesezonowych braki danych można zazwyczaj po prostu pominąć, to niedostępność fragmentów pomiarów przepływu gazu jest bardzo dotkliwa dla jakości modelu, ponieważ tracona jest informacja niezbędna do odtworzenia charakterystyki sezonowości. Twórca modelu może w takim przypadku dostosowywać model albo uzupełniać braki sztucznymi danymi, ale nigdy nie jest to tak proste i tak skuteczne jak cierpliwe gromadzenie wszystkich możliwych danych przez długie lata.
Innym praktycznym aspektem znacznie wpływającym na jakość prognoz jest dostępność danych bieżących. Większość modeli w głównej mierze bazuje na informacji o zużyciu z dnia poprzedniego i niedalekiej przeszłości. Jeśli system telemetryczny jest niewydajny lub zawodny, te dane nie mogą być dostarczone do modelu na moment obliczania prognozy. Z tego powodu zapewnienie ciągłego dopływu danych bieżących jest elementem niezbędnie koniecznym do osiągnięcia pełnego sukcesu.
Skala problemu i zakres danych
Prognozowaniem zostało objęte 219 stacji gazowych pierwszego stopnia, będących punktami wyjścia z systemu przesyłowego, znajdujących się na terenie północno- wschodniej części Polski (Rysunek 1). Część stacji wchodzi w skład 24 zespołów zdefiniowanych w IRiESP OGP Gaz-System jako zbiór punktów wyjścia połączonych hydraulicznie po stronie sieci dystrybucyjnej lub instalacji odbiorcy końcowego. Stacje składają się łącznie z 343 ciągów gazowych. Każdą stację tworzy 1, 2 lub 3 ciągi występujące w różnych, zmieniających się w czasie konfiguracjach (równoległych, szeregowych lub hybrydowych). Każdy z nich dostarcza oddzielnego zestawu danych pomiarowych. Dla każdego ciągu dostępny był inny zakres danych historycznych, które zostały użyte do przygotowania modelu prognostycznego. Dobór zakresu zależał od kompletności i poprawności danych.
Podczas bieżącej pracy system wykonuje automatycznie 243 prognozy renominacyjne dziennie dla wszystkich stacji gazowych i wszystkich zespołów oraz dodatkowo w każdą środę 243 prognozy nominacyjne tygodniowe. Daje to około półtora tysiąca prognoz wykonanych, zarchiwizowanych i przetworzonych na potrzeby zestawień nominacyjnych i renominacyjnych w ciągu każdego tygodnia. Należy też wziąć pod uwagę możliwość ręcznego uruchamiania prognozowania podczas pracy operacyjnej.
Do realizacji prognozy zużycia gazu wykorzystano trzy typy danych. Są nimi: sygnały przepływu gazu dla ciągów, stacji oraz zespołów. Podstawowe („surowe”) dane zawarte są w ciągach. Pojedyncza stacja może składać się z jednego lub więcej ciągów, a zużycie dla pojedynczej stacji wyznacza się poprzez sumowanie kilku ciągów lub ich odpowiednie nałożenie na siebie. W celu automatycznego łączenia ciągów wprowadzono pomocniczy sygnał KUP (Konfiguracja Układów Pomiarowych), który dostarcza informację o konfiguracjach ciągów i pozwala na ich odpowiednie zagregowanie.
Sygnał jest to szereg wartości opisujących jedno zjawisko w równych odstępach czasu. Próbki sygnału mogą określać np. przyrosty, wartości chwilowe, lub w dowolny inny sposób reprezentować jego przebieg. Przykładem sygnału jest godzinowy przepływ gazu w wybranym punkcie pomiarowym.
Stacje tworzą zespoły, których zużycie wyznacza się poprzez zsumowanie przepływów z wszystkich stacji wchodzących w skład zespołu.
Oprócz historycznego zapotrzebowania na gaz, dane wejściowe tworzą także sygnały pogodowe. Należą do nich: temperatura minimalna, maksymalna i średnia oraz prędkość wiatru. Informacja o pogodzie jest różna dla trzech różnych regionów, na terenie których znajdują się stacje podlegające prognozowaniu. Te regiony to: Warszawa, Łódź oraz Białystok, stanowiące obszar działania trzech gazowni.
Utworzono również sztuczny sygnał o nazwie „Typ dnia”, którego wartość pozwala modelowi prognostycznemu odróżnić dni robocze od dni wolnych od pracy, a tym samym uwzględnić specyfikę świąt oraz tzw. długich weekendów. Rysunek 2 przedstawia przykładowy przebieg sygnału „Typ dnia”.
Wartości 1-7 tego sygnału odpowiadają kolejnym dniom tygodnia, od poniedziałku do niedzieli. Wartość 9 odpowiada dniom świątecznym wolnym od pracy, a wartość 8 – dniom, które ze względu na układ świąt składają się na długi weekend, ale same nie są świętem. Na przykład w sytuacji gdy w czwartek przypada święto (typ dnia = 9), zapotrzebowanie na gaz spada zazwyczaj również w piątek (typ dnia = 8). Gdy model matematyczny dostaje na wejściu wartość 8 dla piątku, wtedy „wie”, że ten dzień nie powinien być traktowany jak zwykły dzień roboczy (bo wtedy wartość sygnału wynosiłaby 5), ale jak dzień specjalny i odpowiednio koryguje wartość prognozy.
Wyniki analizy danych zapotrzebowania na gaz
Zależność od pogody i sezonowość
W procesie rozwoju modeli matematycznych badano zależność zużycia gazu od zachowania czynników pogodowych. Jedną z bardziej oczywistych zależności jest wpływ temperatury powietrza na zapotrzebowanie na gaz. Rysunek 3 obrazuje tę zależność, tzn. wpływ temperatury średniej na zużycie gazu dla wybranej stacji.
Ponieważ charakter powyższej zależności jest inny dla różnych zakresów temperatur, w przypadku niektórych modeli zastosowano aproksymację przedziałami liniową, jak na Rysunku 4.
Jak widać, dla wyższych temperatur zależność zużycia od temperatury prawie całkowicie zanika, co oczywiście ma wpływ na jakość uzyskiwanych prognoz. Z powodu zaniku wpływu temperatury model matematyczny opiera się niemalże wyłącznie na zjawisku okresowości zapotrzebowania na gaz. Dodatkowo w okresie letnim zużycie maleje, co bardziej uwydatnia błąd prognozy, jeśli wyrazi się go procentowo w stosunku do rzeczywistego zapotrzebowania.
W okresie zimowym zależność zapotrzebowania na gaz od warunków atmosferycznych nasila się, a dokładność prognozy zapotrzebowania w znacznym stopniu uzależniony jest od błędu prognozy temperatury.
Zapotrzebowanie na wiele rodzajów energii posiada charakterystykę okresową; tak też jest z zapotrzebowaniem na gaz. Daje się zaobserwować powtarzalność tego procesu zarówno z okresem rocznym, dobowym, jak i tygodniowym. Na Rysunku 5 przedstawiono przykład danych w granulacji godzinowej, na którym wyraźnie widać to zjawisko.
Potrzeby gospodarstw domowych i potrzeby przemysłowe
Obecność odbiorców przemysłowych na terenie danej stacji jest czynnikiem, który znacznie utrudnia uzyskiwanie trafnych prognoz przy obecnych uwarunkowaniach współpracy pomiędzy dostawcami gazu a odbiorcami przemysłowymi. Problemem, z którym trzeba się mierzyć, jest brak uregulowań umownych w zakresie przekazywania przez odbiorców informacji o planowanym odbiorze w postaci nominacji tygodniowych.
Odbiorcy przemysłowi nie podlegają tym samym wpływom co odbiorcy prywatni. Zużycie gazu przez tych ostatnich w znacznej mierze zależy od pory dnia i warunków atmosferycznych, co istotnie ułatwia przewidywanie wielkości zużycia. Odbiorcy przemysłowi nie podlegają w pełni wpływowi tych samych czynników. Dla uzyskania prognozy dobrej jakości celowe byłoby rozdzielenie prognozowania tych dwóch kategorii odbiorców, przy czym skuteczne prognozowanie zapotrzebowania dla przemysłu wymagałoby pewnej współpracy ze strony odbiorcy gazu, polegającej na deklaracji poziomu zużycia w najbliższej przyszłości. (Wymagałoby to pewnego nakładu pracy ze strony odbiorcy, ale mogłoby skutkować obniżeniem ceny sprzedawanego gazu.)
W obecnej sytuacji nieprzewidywalność odbiorców przemysłowych powoduje, że wyniki prognoz dla tych stacji, na terenie których przemysł ma duży udział w całkowitym odbiorze są obarczone większym błędem w porównaniu ze stacjami o odmiennej strukturze zapotrzebowania.
Efekty modelowania
Opracowane modele prognostyczne
W wyniku analizy danych pomiarowych i testowania różnych rozwiązań opracowano dwie klasy modeli, które dostarczają prognoz najwyższej jakości, a ich parametry uzyskuje się w wyniku procesu uczenia na podstawie danych poszczególnych stacji. Dodatkowo dla każdej stacji dostosowano w pewnym stopniu dobrany dla niej model, tak że klasy modeli otrzymały szereg swoich różniących się wersji. Skrypty wszystkich modeli zostały przygotowane w środowisku obliczeniowym R.
System skonfigurowany jest w taki sposób, że każda stacja jest codziennie prognozowana przez dwa modele, w odpowiednio dla niej dobranych wersjach. W wyniku testów porównawczych na danych historycznych jeden z tych modeli, uznany za lepszy, jest przypisany jako domyślny. Oznacza to, że jego wyniki są automatycznie przyjmowane jako dane do nominacji i renominacji. Wyniki drugiego modelu są monitorowane, tak aby w przypadku, gdy okaże się on dawać lepsze prognozy, można było przełączyć go w tryb domyślności.
Pierwszym z opracowanych modeli jest model regresyjny. W modelach opartych o algorytm regresji liniowej wyznaczana jest zależność pomiędzy zmienną zależną, (którą w naszym przypadku jest prognozowany poziom przepływu gazu) a zmiennymi niezależnymi, czyli przepływem historycznym i danymi pogodowymi. Model przyjmuje postać funkcji liniowej i powstaje poprzez dopasowanie linii prostej do zbioru danych uczących. Parametry poszukiwanej prostej wyznaczane są poprzez minimalizację błędu średniokwadratowego dla danego zbioru uczącego. W tym przypadku zbiór uczący stanowią dane historyczne o przebiegu zużycia wraz z danymi pogodowymi.
Opracowany model wykorzystuje do uczenia dane historyczne o długości równej 60 dni. Model uczony jest dynamicznie, co oznacza, że zbiór uczący jest wyznaczany niezależnie dla każdej kolejnej prognozy. Wykorzystuje dwa algorytmy prognozowania, z których pierwszy to regresja liniowa dla średniego dobowego poziomu przepływu gazu. Drugi algorytm opiera się na analizie szeregów czasowych, a jego zadaniem jest wyznaczenie dobowego profilu przepływu gazu. Każda z 24 godzin poszczególnych dób jest prognozowana na podstawie analizy odrębnego szeregu danych. Pełna prognoza realizowana jest przez zsumowanie wartości poziomu średniego oraz profili dobowych.
Drugim modelem jest model regresji grzbietowej. Regresja grzbietowa różni się od klasycznej zmodyfikowanym kryterium minimalizacji błędu przy dopasowywaniu linii prostej do zbioru danych. Opracowany model wykorzystuje do uczenia dane historyczne o długości równej 425 dni. Wykorzystuje dobową oraz tygodniową okresowość danych. Z uwagi na dużą ilość danych uczących stosowana jest regresja przedziałami liniowa. Parametry prostych regresji są wyznaczane dla podzbiorów danych utworzonych na podstawie wartości temperatury średniej dla odpowiednich regionów. Dla stacji z regionu warszawskiego wyróżnione zostały trzy podzbiory: poniżej 10ºC, pomiędzy 10ºC a 18ºC oraz powyżej 18ºC. Dla pozostałych regionów optymalny podział wyróżnia dwa podzbiory: powyżej 9ºC oraz poniżej 9ºC.
Skuteczny model powinien być tak skonstruowany, aby wykorzystywać jak najwięcej informacji. Z drugiej strony, zbytnia rozbudowa modelu może prowadzić do „przeuczenia”, czyli zbyt silnego dostosowania modelu do danego zbioru uczącego. To z kolei pogarsza wyniki modelu dla nowych danych wejściowych. Aby zrównoważyć te cechy modeli, do ich oceny jakościowej zastosowano tzw. kryteria informacyjne, np. kryterium Akaike.
Kryteria oceny modeli i osiągnięte wyniki
Podstawowym kryterium oceny opracowanych modeli było spełnienie wymagań określonych w Instrukcji Ruchu i Eksploatacji Sieci Przesyłowej, a więc utrzymanie się w granicach 10% błędu prognozy w stosunku do rzeczywistego wykonania. Dodatkowe, mniej „wymagające” kryterium zostało sformułowane jako tygodniowa średnia błędów dobowych nie wykraczająca powyżej 10%; to kryterium jest bardziej tolerancyjne dla sporadycznych przypadków ekstremalnych, tzn. kilkunastoprocentowy błąd jednego dnia jest kompensowany przez mniejsze błędy w pozostałych dniach tygodnia.
Dzięki ścisłej współpracy z klientem oba opisane kryteria zostały spełnione w prawie wszystkich przypadkach, przy czym obiekty, dla których nie udało się spełnić ww. kryteriów to stacje i zespoły z natury bardzo trudno prognozowalne. Należą do nich stacje o bardzo niskim średnim zużyciu oraz te obszary, na których duży odsetek poboru gazu jest przypisany do odbiorców przemysłowych, działających w sposób nieprzewidywalny.
W większości przypadków prognozy wygenerowane automatycznie są bliskie wykonaniom. Również w większości przypadków prognozy przygotowane przez ekspertów są lepsze od prognoz wykonanych automatycznie. Zaprezentowany wykres w celu utrzymania przejrzystości obejmuje jedynie 2 tygodnie danych, jednak powyższa tendencja utrzymuje się w całym zakresie prognozowania. I jest ona zgodna z oczekiwaniami zarówno TT jak i MSOG. System OP dostarcza kompletnych i bardzo dobrych jakościowo prognoz. Jednak w sytuacjach, gdy zabraknie danych wejściowych lub dzieje się coś nieprzewidzianego, niespotykanego w historii, tylko ekspert-operator może na bieżąco skorygować wyniki prognoz.
FUNKCJONALNOŚĆ APLIKACJI
Analiza i prezentacja danych
O tym, czy wdrożenie systemu informatycznego w przedsiębiorstwie zakończy się sukcesem, decyduje niejednokrotnie siła jego narzędzi do prezentacji wyników. System przyjmie się bowiem tylko wówczas, gdy zastosowana w nim wizualizacja danych będzie przemawiała do użytkownika końcowego i sprosta jego oczekiwaniom.
System OP doskonale sprawdził się pod tym kątem, dostarczając pracownikom MSOG szerokich możliwości analizy i prezentacji danych, zarówno z poziomu modułu gasLUXpro jak i gasLUXrep. Ponieważ każdy z modułów jest dedykowany do realizacji innych zadań w systemie, toteż zastosowane w nich mechanizmy wizualizacji danych nie są jednakowe. Pewne natomiast jest to, że możliwości obu modułów doskonale się uzupełniają i na dzień dzisiejszy pokryły one w stu procentach wszelkie potrzeby klienta w tym kontekście.
W początkowym stadium wdrożenia uwaga zespołu wdrożeniowego skupiła się na module gasLUXpro, gdyż stanowi on niejako serce systemu OP – systemu do prognozowania zapotrzebowania na gaz w sieci. Moduł gasLUXpro poprzez wykorzystanie odpowiednich danych wejściowych oraz szerokiej palety klas modeli prognostycznych realizuje to właśnie zadanie systemu. Moduł pozwala na podgląd i analizę zarówno danych historycznych - sygnałów wejściowych i prognoz - jak i bieżących wyników pracy. Dane mogą być podglądane w postaci tabelarycznej lub też w postaci wykresów, w dowolnym horyzoncie czasowym i w dowolnej granulacji (np. dane z zapotrzebowania na gaz w sieci zagregowane do kwartałów). Do pewnego momentu te możliwości systemu były wystarczające – pozwalały obserwować dane wejściowe i wyniki prognoz oraz skupić się na „uczeniu” modeli i uzyskiwaniu coraz to lepszych prognoz. Z czasem jednak pojawiła się konieczność tworzenia zestawień zawierających duże wolumeny danych, w określonej przez użytkownika formie i specyficznym układzie przestrzennym. Z pomocą przyszedł wówczas moduł raportujący gasLUXrep, którego zadaniem było wsparcie użytkownika w tworzeniu dowolnych zestawień i analiz w oparciu o dane zgromadzone w bazie danych systemu OP.
Wdrożenie modułu raportującego rozpoczęto od analizy wymagań użytkowników w tym zakresie. Na tym etapie pracownicy spółki przekazali zespołowi wdrożeniowemu wzorce około dwudziestu raportów niezbędnych im w codziennej pracy, których nie sposób było uzyskać w module gasLUXpro. Raporty te podzielone zostały na dwie grupy, w zależności od tego, czy dany raport dedykowany był realizacji bieżących zadań operacyjnych, czy też miał wspomagać użytkownika w analizie danych historycznych zgromadzonych w bazie archiwalnej. Następnie przystąpiono do utworzenia w systemie zestawu niezbędnych obszarów biznesowych, stanowiących warstwę pośrednią pomiędzy bazą danych, a użytkownikami modułu raportującego oraz wyposażono go w bogaty zestaw funkcji matematycznych, pozwalających użytkownikowi na konstruowanie w szablonie raportu dowolnych wyrażeń matematycznych, a tym samym dających mu możliwość zaimplementowania dowolnego algorytmu analitycznego. Wreszcie przystąpiono do implementacji wymaganych szablonów raportów. Szablon raportu stanowi niejako „przepis” na zawartość raportu, tj. na zakres, kontekst i sposób wyświetlenia danych - jest zbiorem reguł i wyrażeń nałożonych na wybrane przez użytkownika elementy obszaru biznesowego.
Prezentacja wyników
Rolą modułu gasLUXpro nie jest szeroko pojęte raportowanie, lecz wykonywanie prognoz. Dlatego jego możliwości w zakresie prezentacji wyników są w pewnym stopniu ograniczone w porównaniu do możliwości modułu gasLUXrep. Udostępnia on jednak szereg pomocnych funkcjonalności pomocnych w analizie danych i wyników prognoz.
O sile zaplecza graficznego modułu świadczy posiadany przez niego pakiet dostępnych opcji wykresów, pozwalających między innymi na:
• zmianę kolorów prezentowanych prognoz,
• zmianę typu wykresu prezentowanych wielkości (liniowy, słupkowy),
• skalowanie wykresu,
• zmiany skali na osiach w zależności od zaznaczonej wielkości na legendzie,
• zmiany granulacji prezentowanych danych.
Moduł zawiera też bogaty zestaw opcji wspierających prostą analizę uzyskanych wyników, między innymi możliwość otwierania dowolnej ilość okien z danymi czy też prezentowania kilku danych na jednym wykresie lub porównywanie ich w jednej tabeli (Rysunek 9).
Prognozy mogą być generowane w systemie na dowolny horyzont czasowy wskazany przez użytkownika, tj. „do przodu” lub „do tyłu” względem aktualnej doby. Wykonując prognozę danych „wprzód” użytkownik otrzyma jedynie wielkość prognozy. Dla danych prognozowanych „do tyłu” (tworzenie prognozy na okres historyczny), użytkownik otrzyma wielkość prognozy oraz dodatkowo rzeczywistą realizację danych.
Mając te dwie wielkości użytkownik może pokusić się o przeprowadzenie głębszej analizy prognoz. Moduł pozwala wówczas na stworzenia histogramu błędu, oraz wyświetlenia prostych funkcji agregujących i statystyk takich jak: poniżej zakresu, powyżej zakresu, niepoprawne, minimum, maksimum, absolutna średnia, absolutna średnia z bezwzględnych wartości, średnia, minimum z bezwzględnych wartości, maksimum z bezwzględnych wartości, średnia z bezwzględnych wartości, wariancja, skośność, kwantyl.
Możliwości dalszego przetwarzania prognoz
Dla dalszego przetwarzania prognoz wygenerowanych w module prognostycznym wykorzystano bogate możliwości jakie daje narzędzie raportujące gasLUXrep.
Moduł gasLUXrep jest narzędziem o bardzo szerokiej funkcjonalności, umożliwiającym ciągłe dostosowanie raportów zgodnie z życzeniem i indywidualnymi potrzebami użytkowników. Zapewnia on przede wszystkim:
• możliwość tworzenia dowolnych szablonów raportów z danych dostępnych w bazie danych systemu OP, szablony te są następnie dodawane do listy zdefiniowanych w systemie raportów i gotowe do wykorzystania w codziennej pracy; szablony te mogą być tworzone w formie wykresów i/lub tabel, przyjaznych użytkownikowi - w postaci zbliżonej kształtem i sposobem wyświetlania do powszechnie stosowanego arkusza kalkulacyjnego MS Excel;
• kontrolę postępu wykonywania raportu na etapie oczekiwania na jego wynik (pasek postępu wskazujący czas wykonywania się raportu);
• możliwość wydruku wyniku raportu – system dostarcza bogatych opcji skalowania wyniku wydruku oraz zmiany podziału stron; dla wsparcia wydruku raportów zawierających setki wierszy, system wyposażony jest w algorytm inteligentnego powtarzania nagłówków raportu na każdej stronie wydruku;
• możliwość budowania własnych stylów z użyciem bogatych opcji formatowania danych (w tym również możliwość nałożenia na określony zakres prezentowanych danych tzw. „czujki”, która poprzez wyeksponowanie danej wielkości innym kolorem, będzie informowała użytkownika o tym, że wielkość ta przekroczyła dozwoloną wartość danych lub też nie spełniania narzuconych dla niej wymagań);
• możliwość rozszerzania zestawu dostępnych w systemie obszarów biznesowych i funkcji matematycznych – z poziomu modułu administratora systemu;
• możliwość zapisania wyniku raportu do aplikacji Excel lub pliku tekstowego na zasadzie „What You See Is What You Get”;
• wsparcie użytkownika w pracy z raportami zawierającymi duży wolumen danych (np. z raportami zawierającymi kilkaset wierszy lub też kilkadziesiąt kolumn) – opcja blokowania komórek i poruszania się tyko w określonym obszarze raportu;
• kontrolę dostępu do systemu poprzez mechanizm przydzielania użytkownikom kont, haseł oraz przynależności do poszczególnych grup;
• kontrolę dostępu użytkownika/grupy na poziomie pojedynczego raportu, obszaru biznesowego oraz funkcji - opcja ta pozwala na kontrolowanie dostępu wybranych użytkowników lub całej grupy jednego oddziału spółki od innych jej oddziałów, przez co wspiera bezpieczną akwizycję programu do innych oddziałów klienta w rozproszonej strukturze przedsiębiorstwa.
Rola zestawień i wykresów w systemie OP
Każdy z raportów wypracowanych we współudziale zespołu wdrożeniowego i pracowników MSOG, jest niezwykle przydatny w pojedynczym, dziennym cyklu pracy systemu. Pulę dostępnych aktualnie raportów można sklasyfikować w kilka grup, gdzie każda z grup wspiera użytkowników w codziennej pracy, podczas realizacji następujących zadań:
• monitorowanie stanu zasilenia bazy danych systemu OP w dane pomiarowe i prognozy pogody (sprawdzanie czy dla danej stacji nie było braków w danych wejściowych w trakcie generowania prognozy),
• monitorowanie zmian w konfiguracji układów pomiarowych dla stacji (w szablonie raportu dodano odpowiedni algorytm „czujki”, która realizuje zadanie wykrywania zmiany stanu sygnału KUP – Rysunek 10),
• typowanie prognoz koniecznych do powtórzenia (wspomaganie weryfikacji poprawności i kompletności uzyskanych prognoz),
• raportowanie wielkości opłat z tytułu niedotrzymania nominacji (Rysunek 11),
• raportowanie uzyskanych nominacji / renominacji w formie gotowej do wysłania (raport stanowi zbiór określonych danych w postaci ustandaryzowanej „planszy” nominacji / denominacji , zgodnej z wymogami Instrukcji, którą można zapisać do aplikacji Excel lub w postaci pliku tekstowego i bez konieczności wykonywania jakichkolwiek zmian przesłać ją do PGNiG - Rysunek 12),
• graficzna prezentacja wpływu sygnałów wejściowych na uzyskane nominacje / renominacje
• wyznaczanie wielkości błędów prognozy i stopnia ich tolerancji (Rysunek 14),
• porównywanie wyników prognoz uzyskanych za pomocą różnych modeli,
• tworzenie statystyk trafności prognoz dla modeli,
• analiza danych historycznych i poszukiwanie korelacji między nimi (Rysunek 15).
Korygowanie danych w systemie OP
System OP może być zasilany w dane wejściowe na kilka różnych sposobów, między innymi poprzez pobieranie tych danych bezpośrednio z bazy systemów pomiarowych (np. TelWin) lub też zaimportowanie ich z plików tekstowych w formacie csv z poziomu interfejsu modułu gasLUXpro.
Dane pomiarowe udostępniane w systemie mogą być czasami niekompletne, w związku z czym gasLUXpro został wyposażony w mechanizm uzupełniania braków metodami statystycznymi. Dzięki temu model „uczy się” na pełnym zestawie danych historycznych, co znacząco wpływa na poprawę jakości jego prognoz.
W przypadku zasilenia aplikacji błędnymi danymi, istnieje możliwość ich skorygowania z poziomu interfejsu modułu prognostycznego. Poza danymi pomiarowymi modele prognostyczne mogą być zasilane prognozami (np. prognozy stacji używane do prognozowania zespołu), danymi pogodowymi, typami dni, sygnałami analitycznymi oraz innymi dowolnymi wielkościami potrzebnymi do poprawnego modelowania. Sygnałami analitycznymi określamy sygnały oparte na podstawie innych sygnałów znajdujących się w aplikacji, poprzez zastosowanie wyrażeń analitycznych i warunków logicznych. Dzięki możliwości tworzenia sygnałów analitycznych możemy uzyskać np. sygnał sumy zapotrzebowania na gaz w sieci z wybranych stacji.
Dla pełnej współpracy aplikacji z użytkownikiem odpowiedzialnym za prognozowanie zapotrzebowania na gaz w sieci, moduł prognostyczny umożliwia wprowadzanie do wygenerowanych prognoz tzw. korekty eksperckiej. Korektę ekspercką możemy wprowadzać zarówno w tabeli jak i na wykresie (Rysunek 16). W tabeli możemy wprowadzić korektę jako zmianę procentową lub jako zmianę wartości prognozowanej, natomiast na wykresie możemy wprowadzać zmianę wartości w postaci:
• korekty o wartość procentową,
• korekty o wartość ilościową,
• ustawienie konkretnej wartości.
Możliwości zarządzania danymi wykonań
Moduł gasLUXpro pozwala użytkownikowi na ustawienie automatycznego generowania prognoz lub na ich ręczne uruchamianie. Ze względu na ogromną liczbę stacji i zespołów podlegających nominacji / renominacji, ręczne wykonywanie wszystkich prognoz byłoby mało efektywne. Dlatego też wykorzystano tu mechanizm automatyczny. Został on skonfigurowany w taki sposób, że tuż po zasileniu bazy danych systemu OP w niezbędne dane pochodzące z systemów zewnętrznych (ok. 4 rano) uruchamiany jest proces automatycznego prognozowania dla całego zestawu stacji i zespołów. Dzięki temu już około godziny 7 rano użytkownicy systemu dysponują zestawem nominacji / renominacji, mogą go sprawdzić, autoryzować i z powodzeniem wysłać do PGNiG.
Zdarza się niekiedy, że wybrane wielkości nominacji / renominacji uzyskane w systemie nie są w danym dniu, dla danych stacji / zespołów zadowalające. Użytkownik, bazując na dodatkowych eksperckich informacjach (np. o nagłej i nieprzewidzianej zmianie sytuacji w tych stacjach / zespołach), może zdecydować o konieczności powtórzenia prognoz dla tych stacji. Prognozy te mogą być uruchomione ręcznie dla wybranej stacji / zespołu lub też dla całego zestawu stacji / zespołów.
Na etapie typowania prognoz przeznaczonych do powtórzenia, wykorzystywana jest odpowiednia grupa raportów, która realizuje zadanie wspomagania weryfikacji poprawności i kompletności uzyskanych prognoz. Poprzez system nałożonych „czujek” użytkownik potrafi bardzo szybko, jednym spojrzeniem na odpowiedni raport, wskazać grupę stacji dla których prognoza z jakichś przyczyn odbiega od normy i powinna być powtórzona. W trakcie wdrożenia w MSOG użytkownicy ustalili między sobą odpowiednią symbolikę kolorów, które pojawiając się w planszach danych, alarmują użytkownika o pewnych nieprawidłowościach. Przykładowo kolor niebieski czcionki oznacza przekroczenie przez prognozę 24-krotności wielkości mocy umownej dla danej stacji, kolor czerwony zaś oznacza, że prognoza odbiega znacząco od wielkości poboru dla tej stacji, wziętej z poprzedniej doby gazowej. Wykorzystanie tego typu mechanizmów gwarantuje doskonałe współdziałanie obu modułów systemu OP i świadczy o ich doskonałym, wzajemnym uzupełnianiu się.
Dzienny cykl pracy systemu
Dzienny cykl pracy systemu, oparty o dostarczone funkcjonalności systemu, został opracowany na podstawie zobowiązań nałożonych na zespół odpowiedzialny za przygotowanie nominacji oraz szeregu zewnętrznych ograniczeń. Rozpoczęcie cyklu jest warunkowane obecnością najnowszych danych pomiarowych z poprzedniego dnia oraz dostawą danych pogodowych. Z drugiej strony krytyczna jest godzina 10:00 rano, będąca terminem dostarczenia przez MSOG nominacji i renominacji do PGNiG. Istotnym punktem w czasie jest też godzina 7:00, przyjęta jako godzina rozpoczęcia pracy operatorów.
Cykl składa się z kilku etapów. Pierwszy z nich jest w pełni automatyczny i polega na zasileniu bazy najnowszymi dostępnymi danymi, przygotowaniu tych danych do wykonania prognoz – w szczególności uzupełnieniu braków i danych o złej jakości – oraz wykonaniu pełnego zestawu prognoz. Etap ten rozpoczyna się o godzinie 4:00 i kończy o 7:00. Dzięki temu w chwili rozpoczęcia dnia pracy gotowy jest już pełny zestaw najnowszych prognoz, które mogą zostać następnie przekazane do PGNiG lub – jeżeli tego wymagają – odpowiednio skorygowane przez ekspertów.
Drugi etap trwa od 7:00 do 10:00, czyli do godziny przekazania zestawienia nominacji do PGNiG. Jest to czas przygotowania ostatecznej wersji prognoz przez operatorów systemu. Z powodu nieprzewidzianych wydarzeń lub panujących rzeczywistych warunków (może to być np. informacja o przyłączeniu do stacji gazowej dużego odbiorcy przemysłowego, o awarii gazociągu itp.) prognozy mogą wymagać korekt. Kolejnym zadaniem operatora jest sprawdzenie poprawności zaimportowanych w nocy danych pomiarowych. Jeżeli pojawiły się problemy z kompletnością lub poprawnością danych, jest to czas na ich ręczne poprawienie. Następnie operator powtórnie wykonuje na poprawionych danych prognozę, której wyniki są natychmiast uwzględniane w raporcie nominacyjnym.
Trzeci i ostatni etap to czas wykonywania analiz, przygotowywania i wykonywania raportów, dalszego uzupełniania danych, wykonywania dodatkowych prognoz, porównywania wyników z rzeczywistymi wykonaniami – wszelkich zadań pozwalających na weryfikację pracy zespołu oraz na utrzymanie systemu w dobrej formie.
PRZYJĘTE ROZWIĄZANIA TECHNOLOGICZNE
Architektura IT
Architektura dostarczonego systemu jest trójwarstwowa i składa się z bazy danych, serwera i aplikacji klienckich. Serwer pracuje w systemie operacyjnym Linux RedHat 4.0 ES. Wykorzystana baza to Oracle 10g Standard Edition One. Aplikacje klienckie działają w systemie Windows 2000/XP.
Konfiguracja sprzętowa:
- Serwer IBM x236, 2 x Intel® Xeon™ 3.0 GHz
- 5 GB RAM
- Dyski twarde: 4 x 146 GB (2 x RAID 1) + 2 x 73 GB (RAID 1)
- System Operacyjny: Linux RedHat 4.0 ES
- Baza: Oracle 10g SE One
Część serwerowa działa w środowisku Linux, lecz nie jest to konieczność. Możliwe jest również instalowanie serwera w środowiskach UNIX Sun Solaris i Windows.
W celu zapewnienia możliwości swobodnego skalowania systemu ciężar procesu prognozowania został umieszczony po stronie aplikacji klienckiej modułu gasLUXpro. Proces ten nie jest wykonywany wewnątrz klienta gasLUXpro, lecz w środowisku obliczeniowym R, które jest zintegrowane z klientem. Środowisko to jest instalowane razem z aplikacją kliencką. Aby uprościć proces instalacji klienta, oprogramowanie R jest umieszczone jako jeden z komponentów instalatora aplikacji.
Do wykonywania automatycznych prognoz służy specjalna wersja klienta gasLUXpro – tak zwany autoklient. Jest to aplikacja bez interfejsu graficznego i jest zainstalowana na serwerze OP. Zaletą takiego podejścia jest możliwość zrównoleglenia wykonania automatycznych prognoz poprzez uruchomienie wielu autoklientów i umieszczenie ich na niezależnych serwerach. Autoklient jest mało wymagający jeżeli chodzi o zasoby serwera (wystarczy zwykły komputer osobisty), zatem zrównoleglenie automatycznego prognozowania jest mało kosztowne.
Wszystkie procesy zasilające bazę danymi zewnętrznymi oraz wykonujące przetwarzanie wewnętrzne (tzw. zasilacze) są monitorowane przez Moduł Detekcji Zdarzeń. Część każdego zasilacza odpowiedzialna za komunikację z MDZ jest zaimplementowana za pomocą PL/SQL. Natomiast część odpowiedzialna za samo przetwarzanie danych może, lecz nie musi być napisana w PL/SQL. W rzeczywistości wykorzystywane są różne technologie, zależnie od wymagań nakładanych przez źródło danych.
Zewnętrzne źródła danych i przepływ danych
Baza danych jest codziennie zasilana najnowszymi danymi pomiarowymi oraz prognozami pogody. Dostawcą danych pogodowych jest IMiGW. Dane mają postać plików ASCII, a komunikacja odbywa się za pomocą protokołu FTP. Dane pomiarowe dotyczące przepływu gazu oraz bieżących nastaw konfiguracyjnych pochodzą z aplikacji Telwin – systemu typu SCADA.
Każdy punkt pomiarowy zarejestrowany w systemie TelWin, którego dane są wymagane do prognozowania, ma swoje odwzorowanie w module gasLUXpro i jest reprezentowany przez oddzielny sygnał. W przypadku pojawienia się nowych punktów pomiarowych należy takie punkty skonfigurować w gasLUXpro podając w nagłówku sygnału odpowiedni identyfikator z systemu TelWin.
Po zakończeniu ładowania danych zewnętrznych, kolejnym krokiem jest wykonanie przetwarzania związanego z przygotowaniem danych. W praktyce zdarza się niestety, że dane pomiarowe okazują się niepełne lub złej jakości. W tym celu zastosowany został mechanizm, który uzupełnia dane estymując ich brakujące wartości. Estymacja oparta jest na wyszukaniu odpowiednich wartości w historii pomiaru z uwzględnieniem panujących podobnych warunków pogodowych. Dzięki temu modele prognostyczne mogą się oprzeć na danych historycznych, które w najgorszym przypadku są zbliżone do rzeczywistych. Wszystkie te procesy są automatyczne i monitorowane przez Moduł Detekcji Zdarzeń. MDZ pozwala na analizę logów ewentualnych błędów w procesach oraz – jeżeli jest to koniczne – na powtórzenie wykonania procesu.
Następnie tak przygotowane dane są wykorzystywane przez modele prognostyczne, które automatycznie generują prognozy. Podobnie, prognozy uruchamiane ręcznie w ciągu dnia wykorzystują te same dane. Ostatecznie wyniki prognoz trafiają do specjalnych wydajnych struktur bazodanowych dedykowanych dla systemu raportującego, zapewniających krótkie czasy odpowiedzi przy wykonywaniu raportów. Cały proces przepływu danych w systemie został zaprezentowany na Rysunku 18.
KORZYŚCI DLA MSOG (PGNiG)
Wdrożenie systemu prognostycznego dla Mazowieckiej Spółki Obrotu Gazem (taka nazwa obowiązywała przed restrukturyzacją, w chwili zakończenia wdrożenia) jest pierwszym – i jak do tej pory jedynym – tego typu udanym wdrożeniem w Polsce, w dziedzinie obrotu i dystrybucji gazu. Spośród sześciu spółek gazowniczych tylko MSOG zdecydowało się na zakup i wdrożenie takiego systemu. Decyzja okazała się bardzo trafna, a system oddany do użytku w kwietniu 2007 roku zapewnił swojemu właścicielowi szereg korzyści biznesowych.
Proces przygotowania prognoz nominacyjnych i renominacyjnych odbywa się automatycznie i obejmuje wszystkie stacje i zespoły stacji wymagające nominowania. Dzięki temu w chwili rozpoczęcia każdego dnia pracy operatorzy zastają gotowy zestaw nominacji.
Modele prognostyczne wymagają bardzo dobrej jakości danych historycznych, na których opierają swoje prognozy. Dzięki temu siłą rzeczy system gromadzi kompletną historię bardzo dobrze przygotowanych, spójnych danych pomiarowych, których źródłem jest zewnętrzna firma zajmująca się dystrybucją gazu – MOSD.
Modele zostały przygotowane w wyniku szczegółowej analizy danych historycznych i są precyzyjnie dobrane do każdego z prognozowanych obiektów. Zapewnia to wysoką jakość wykonywanych prognoz. Tak przygotowane zestawienia nominacyjne i renominacyjne podlegają dodatkowo w wybranych miejscach korektom eksperckim, a następnie są przekazywane do PGNiG. Analizy na danych historycznych wykazują, że nominacje zgłaszane przez MSOG są doskonałej jakości i prawie nigdy nie przekraczają określonego limitu błędu 10%.
Dzięki przeprowadzonemu wdrożeniu MSOG uzyskała zaawansowany system informatyczny, który zapewnia znacznie lepszą skuteczność i komfort pracy, centralizację i spójność danych, lepszą jakość wyników oraz łatwy, lokalny i zdalny dostęp do informacji. System prognostyczny, poza wniesioną przez swoje funkcjonalności wartością, otwiera drogę do dalszego rozwoju środowiska informatycznego firmy. Osiągnęła ona w tym zakresie wyższy, jak dotąd unikatowy w swojej dziedzinie poziom informatyzacji uzyskując gotowość do przyjęcia kolejnych rozwiązań jeszcze bardziej zwiększających efektywność pracy. Na koniec warto dodać, że system, pozostając w posiadaniu wartościowych danych, umożliwia udostępnienie ich do innych systemów, a także w razie potrzeby jest gotów do zintegrowania się z nowymi źródłami danych, które posiadaną informacją mogłyby jeszcze bardziej poprawić jakość wykonywanych prognoz lub w inny sposób usprawnić pracę operatorów.
Kategoria komunikatu:
Realizacje, aplikacje
- Dodał:
- Transition Technologies S.A.
Czytaj także
-
Monitorowanie korozji w instalacjach ciepłowniczych
Woda w układach ciepłowniczych pełni funkcję nośnika energii. To powszechnie wykorzystywane medium wykazuje określoną agresywność korozyjną w...
-
Zielona siła z Polski: Pionierskie pompy ciepła GeoPower
Polski producent, GeoPower , już od ponad 25 lat zmienia oblicze ekologicznego ogrzewania, wprowadzając na rynek innowacyjne pompy ciepła....
-
-
-
-
