Współczesna energetyka wiatrowa, mimo wielu sukcesów, stoi przed licznymi wyzwaniami, takimi jak ograniczenia wynikające z eksploatacji wiatrów o niskiej wysokości, wysoki koszt instalacji turbin wiatrowych czy kwestie środowiskowe i społeczne. W odpowiedzi na te problemy pojawiła się koncepcja Airborne Wind Energy (AWE) – technologii, która wykorzystuje latające platformy, takie jak latawce lub szybowce, połączone linami ze stacją naziemną, by przetwarzać energię mechaniczną wiatru na elektryczność.
Technologia AWE jest atrakcyjna przede wszystkim ze względu na możliwość wykorzystania wiatrów o dużej prędkości występujących na większych wysokościach, co potencjalnie prowadzi do wyższej wydajności energetycznej niż konwencjonalne turbiny wiatrowe. Dodatkowo, mniejsze i lżejsze konstrukcje tych urządzeń znacząco obniżają koszty produkcji oraz ich negatywny wpływ na środowisko. Jednakże, kontrolowanie tego typu systemów napotyka poważne trudności ze względu na zmienne warunki atmosferyczne i turbulentny charakter przepływów powietrza.
Tradycyjne metody sterowania, takie jak model-predictive control (MPC), są mocno zależne od dokładności przyjętych modeli i często nie sprawdzają się w dynamicznych i nieprzewidywalnych warunkach atmosferycznych. W tym miejscu szczególnie obiecującą alternatywą staje się uczenie ze wzmocnieniem (ang. Reinforcement Learning, RL) – technologia z dziedziny uczenia maszynowego, która nie wymaga wcześniejszego określenia szczegółowego modelu, lecz umożliwia agentowi zdobywanie doświadczenia poprzez interakcje ze środowiskiem, na podstawie otrzymywanych nagród.
W przedstawionej pracy autorstwa Lorenzo Basile, Marii Grazii Berni i Antonio Celaniego z ICTP i Uniwersytetu w Trieście, pokazano, że agenci AWE trenowani przy użyciu metod uczenia ze wzmocnieniem są w stanie skutecznie pozyskiwać energię nawet w bardzo trudnych warunkach turbulentnych przepływów atmosferycznych. Autorzy zastosowali algorytm TD3 (Twin Delayed Deep Deterministic Policy Gradient), należący do grupy metod Actor-Critic, który pozwala na efektywne operowanie w przestrzeniach ciągłych działań. RL umożliwiło bezpośrednią optymalizację strategii sterowania, uwzględniając jedynie minimalne informacje lokalne, takie jak kąt natarcia, prędkość względną wiatru oraz kąt przechylenia latawca.
System AWE w opisywanej pracy funkcjonuje w dwóch podstawowych fazach: fazie trakcji, podczas której latawiec rozwija linę, generując energię, oraz fazie retrakcji, gdy lina jest zwijana przy minimalnym zużyciu energii. Autorzy dodatkowo wprowadzili krótkie fazy przejściowe pomiędzy głównymi etapami, które miały na celu ograniczenie naprężeń mechanicznych. Wyniki badań wskazały, że agenci uczeni metodą RL potrafili generować energię o średniej mocy 25,38 kW podczas fazy trakcji, co pozwoliło uzyskać pozytywny bilans energetyczny całego cyklu operacyjnego.
Warto zauważyć, że trajektorie generowane przez RL wykazywały dużą efektywność, szczególnie podczas turbulentnych warunków, gdzie metody tradycyjne byłyby niewystarczające. Co więcej, podejście to umożliwiło znalezienie rozwiązań, które byłyby trudne do osiągnięcia za pomocą metod klasycznych ze względu na wysoką złożoność obliczeniową oraz wymagania dotyczące precyzyjnych modeli środowiska.
Mimo że przeprowadzone badania stanowią dowód koncepcyjny, dalszy rozwój technologii AWE opartej na uczeniu ze wzmocnieniem wymaga badań nad bardziej zaawansowanymi symulatorami (tzw. cyfrowymi bliźniakami) oraz dalszego udoskonalenia doboru parametrów uczenia. Przyszłe prace powinny również skupić się na integracji i automatyzacji wszystkich faz lotu, a także na zapewnieniu pełnej adaptacyjności systemu do różnych, nie tylko turbulentnych, warunków atmosferycznych.
Podsumowując, zaprezentowane wyniki sugerują, że uczenie ze wzmocnieniem może stanowić przełomową technologię w sterowaniu urządzeniami energetycznymi, zwłaszcza tam, gdzie konwencjonalne metody kontroli zawodzą ze względu na złożoność i nieprzewidywalność środowiska. Pozwala to optymistycznie patrzeć na przyszłość technologii Airborne Wind Energy jako jednej z efektywnych odpowiedzi na globalne wyzwani energetyczne.