Radość z wyzwania - Zeszyty Maryny
Menu Zamknij

Radość z wyzwania

radość z wyzwania

Czy musimy być aktywni na kwarantannie? Właśnie teraz naprawiać swoje życie, zaliczać kolejne kursy, spędzać całe dnie na swoim hobby? Nie, nie musimy. Ale jak akurat aktywna jestem i dziś opowiem Wam o wyzwaniu, które podjęłam.

Reinforcement Learning

Po polsku = uczenie ze wzmocnieniem. Krótko mówiąc, to jest grupa takich metod i algorytmów, które pozwalają komputerowi samodzielnie uczyć się, co ma robić, żeby osiągnąć podany mu cel. Na przykład jeśli zaprogramujemy robota, który zbiera śmieci, to dzięki uczeniu ze wzmocnieniem taki robot z czasem opracuje sobie strategię, według której będzie albo zbierał śmieci, albo wyrzucał swój przepełniony koszyk do dużego śmietnika, albo wracał do swojej stacji dokowania, żeby podładować baterię. I wszystkie te decyzje podejmie sam w czasie rzeczywistym, zupełnie bez naszego udziału. A celem będzie na przykład zebranie jak największej ilości śmieci w jak najkrótszym czasie, jednocześnie unikając kompletnego rozładowania baterii.

O uczeniu ze wzmocnieniem pisałam już kiedyś tutaj, gdzie możecie zobaczyć, jak można je wykorzystać do tworzenia linii fabularnych w historiach miłosnych.

Uczenie ze wzmocnieniem było na mojej liście “do zrobienia” (a raczej “do nauczenia się”) już prawie od roku. Dotychczas nie miałam jednak czasu, żeby się za to zabrać, bo całą moją energię pochłaniał doktorat. To, co zostało z tej energii, przeznaczałam na pracę nad powieścią. Teraz zaś, gdy jest ogólnoświatowa kwarantanna, kiedy jestem już po studiach, a jeszcze przed znalezieniem pracy, mam mnóstwo wolnego czasu i oprócz pisania powieści postanowiłam zająć się właśnie doszkalaniem się w kwestiach naukowych.

Kurs na Courserę

Dwa tygodnie temu rozpoczęłam czterokursową specjalizację z reinforcement learningu oferowaną przez Uniwersytet Alberty. Znalazłam ją na Courserze, gdzie można wybierać spośród tysięcy interesujących nas kursów. Teraz więc uczę się o wielorękich bandytach, procesach Markova i równaniach Bellmana, a przede mną jeszcze bardzo wiele ciekawych rzeczy.

Czy polecam kurs? Zdecydowanie nie każdemu. O ile część wizualna jest przygotowana w fajny sposób i dobrze uzupełnia wiedzę zdobytą podczas czytania podręcznika, to… No właśnie, podręcznik. Jest napisany w sposób zawiły, miejscami używa przestarzałej notacji, wiele nieoczywistych kwestii pozostawia niedopowiedzianych, a kwestie oczywiste tłumaczy po kilka razy w kolejnych paragrafach w coraz bardziej przekomplikowany sposób. Co tydzień trzeba przeczytać z niego około 10 stron. Strona kursu deklaruje, że powinno to zająć 30 minut. Przyznam, że każdorazowo zajmuje mi to 4-5 godzin, bo muszę długo zastanawiać się nad tym, co autor miał na myśli. Nie pomaga fakt, że podręcznik napisany jest dla osób biegłych w języku wyższej matematyki, którym wielu rzeczy nie trzeba już tłumaczyć. Ja niestety większość studiów spędziłam na kierunkach humanistycznych, a ostatnio na lekcji matematyki byłam w liceum 14 lat temu. Tak więc, no. Nie róbcie tego kursu, jeśli nie jesteście na bieżąco co najmniej z zaawansowanym rachunkiem prawdopodobieństwa.

Upadki…

Więc się złoszczę. Oj, jak bardzo ja się złoszczę! Dlatego, że uczenie ze wzmocnieniem to tak naprawdę bardzo prosty koncept. Więc kiedy czegoś nie rozumiem, czuję się jak kretynka. Kiedy w podręczniku napisano, że z rozważań w tej sekcji wynika taki-a-taki wniosek, a ja zupełnie nie potrafię połączyć tych dwóch kwestii. Kiedy źle zinterpretuję wyjaśnienia z początku rozdziału i po kilku stronach orientuję się, że coś mi nie gra, więc muszę się wracać i interpretować jeszcze raz. A nie wiem, jak to zrobić poprawnie, bo w sumie to nie mam pojęcia, o co autorowi chodzi. Kiedy pan profesor przez 20 minut robi wykład o tym, jak zdefiniować zarządzanie ciężarówkami jeżdżącymi po całym kraju jako problem uczenia ze wzmocnieniem i tłumaczy, jak ten problem rozwiązać – a ja wpuszczam jego słowa jednym uchem i wypuszczam drugim, bo mimo kolorowych grafik nie potrafię śledzić toku jego rozumowania. Kiedy nagle pojawiają się całki, a ja nie wiem, dlaczego. Kiedy test na koniec tygodnia zadaje mi podchwytliwe pytanie, a ja odpowiadam na nie prosto i odpowiedź jest źle, a przecież po (dużo głębszym) zastanowieniu miałam szanse odpowiedzieć dobrze.

Boże, jaka ja się czuję wtedy głupia. Moja samoocena natychmiast spada i odechciewa mi się robić cokolwiek.

…i wzloty

Ale jednak brnę dalej. Bo kiedy naprawdę przysiądę, to zaczynam rozumieć, co się dzieje na tych lekcjach. Czasem muszę dopytać Księcia, który jest po studiach inżynierskich, a on wtedy tłumaczy mi swoimi słowami i nagle wszystko staje się proste. (Żebyście widzieli, jak pięknie rozrysował mi obliczanie wartości oczekiwanej dla funkcji ciągłych i dyskretnych! ?) Kiedy już przerobię kolejny rozdział, spiszę sobie notatki i potem je czytam, to narracja jest spójna i logiczna. Czasem sama wyciągam wnioski – a jakiś czas później w kolejnym klipie pojawia się dokładnie ta sama uwaga, którą sobie samodzielnie zapisałam. Przeszłam już przez pierwszy z czterech kursów i jak sobie powtarzam materiał, to widzę, że jednak wszystko rozumiem.

(Tylko tych ciężarówek nie ogarnęłam, no ale to chyba już trudno ?).

Gdy wyzwanie rzuci los

Dawno nie stałam przed tak trudnym wyzwaniem. Większość zajęć na moich studiach była łatwa. Może czasem było mnóstwo materiału do wykucia (OMG pismo japońskie). Może czasem było przynudzanie. Czasem zaś było mnóstwo pracy, z której niewiele wynikało, bo przedmiot był mało ważny. Dwa lata temu byłam też na zajęciach po drugiej stronie spektrum – takich zupełnie poza moją ligą, na których tylko mechanicznie robiłam notatki, a cały materiał tłumaczył mi potem mój Książę.

(W sumie szkoda, że tak niewiele ogarniałam z tego przedmiotu, bo okazało się, że ta wiedza doskonale by mi się teraz przydała do reinforcement learningu. No, ale jeśli ktoś całe 90 minut liczy całki z greckiego alfabetu i nie tłumaczy, dlaczego to robimy, to cóż mogę poradzić ?‍♀️).

Więc mimo całej złości i mimo nieustannego łańcucha upadków, odczuwam też dużą satysfakcję. Bo muszę się mocno postarać, żeby ten kurs zaliczyć, i czuję się potem jak po dobrym treningu. Podejmuję wysiłek i jestem zmęczona, ale nie jest to wysiłek próżny. Widzę jego efekty; widzę, jak przyrasta moja wiedza z tej dziedziny. Widzę, że zdaję cotygodniowe testy i że notatki mi się klarują. Jeszcze trochę czasu minie, zanim zacznę się poruszać płynnie w tej całej matematyce, ale ten moment powoli się zbliża. W dodatku od bardzo dawna chciałam rozwinąć swoje matematyczne umiejętności i ten kurs będzie do tego doskonałym wstępem.

Podsumowując, specjalizacja jest dość trudna, ale nie na tyle, żeby nie dało się jej ogarnąć. I dla mnie właśnie w tym leży duża część jej wartości. Łatwe rzeczy nie dają satysfakcji. Zbyt trudne rzeczy nie dają motywacji. Te kursy zaś leżą gdzieś pośrodku. Żeby przez nie przejść, muszę zmobilizować dawno uśpione siły. To lubię najbardziej – dojść do granicy, za którą już prawie, prawie chcę zrezygnować… ale jeśli jednak się nie poddam i doprowadzę sprawę do końca, to satysfakcja i wyciągnięte korzyści są nie do opisania.

Więc mimo niezłej harówki, takich właśnie wyzwań życzę każdemu! ?

Podziel się tym wpisem w mediach społecznościowych

Powiązane wpisy

Powiadamiaj o
Powiadom o
guest

1 Komentarz
najstarszy
najnowszy oceniany
Inline Feedbacks
View all comments
trackback

[…] zajęcia w szkole czy na uczelni oznaczały nowe wyzwania. Oraz nowe przygody. Czy przedmiot będzie ciekawy? Co będziemy na nim […]