Du lyssnar på: Förstärkningsinlärning
Notering: vi håller på att bygga upp funktionen. Så allt är ännu inte klart. Bättre navigation och transkription är på väg.
Vi lade ut våra första episoder 1997, innan det ens fanns något som hette podcast. Sedan dess har vi lagt ut över 400 föredrag och diskussioner. 2004 sände vi vår sista avsnitt över 88,9 MHz i Stockholm. Sedan dess har podden legat i träda. Men nu är den tillbaka som arkiv.
Människan har känt till hur man tämjer djur sedan urminnes tider. Men hur tämjer man en robot? Eller rättare sagt : hur lär man en robot att göra det man vill att den ska göra? Belöningar och bestraffningar kan faktiskt även användas här!
Transkriptionen är automatiskt genererad och kan innehålla fel.
Klicka på en replik för att höra den.
Förstärkningsinlärning.
Man brukar säga att för att få en åsna att göra vad man vill så måste man använda både morot och piska.
Men kanske kommer vi i framtiden att säga att för att få en robot att göra vad man vill måste man använda batterier och kanske med bestraffningsknapp.
Som djurtränare har sedan lång tid vetat att vill man träna ett djur så kan man ge det belöningar och bestraffningar.
Hundägare ger sina hundar godis när de har gjort något duktigt eller ett berömande ord och skäller ut dem när de gör något dåligt.
Djuren lär sig att skaffa sig mycket belöningar och uppför sig förhoppningsvis på det sätt man önskar.
Det här kallas förstärkningsinlärning och man har forskat mycket om det här till exempel med duvor som försöksdjur.
Man har provat att träna dem att reagera på signaler och även ett så enkelt djur som en duva är kapabelt att göra ganska komplicerade trick för att få sina belöningar.
Men man kan som sagt fundera på om det inte kan användas för att lära upp robotar också.
Problemet med robotar är att de måste lära sig hur man handlar rätt.
Man kan tänka sig att en robot bedömer varje situations värde och sedan handlar den på det sätt som ger den bästa nya situationen.
Om roboten står inför ett val så väljer den det val den tycker är bra.
Men hur ska den veta vilka val som är bra om vi tänker oss till exempel en städrobot som ska gå runt från rum till rum?
Det är ganska svårt att programmeringen är färdig och fixa värden.
Man kan istället göra att roboten får prova sig för och se om den får en belöning eller bestraffning.
Den lär sig helt enkelt den förväntade belöningen om den gör olika saker och också värdet av att komma till nya situationer.
Man kan tänka sig att roboten får prova sig fram.
Till att börja med så faller den mest omkull och får en bestraffning av att det gör ont.
Men med tiden lär den sig stå och gå omkring.
Då kan man börja ge en belöning av varje gång den lyckas städa lite grann i rummet.
Och då lär den sig att tillstånd där den gör handlingar som städar ger belöningar.
Och med tiden lär den sig att städa.
Man tränar alltså upp den genom att ge ganska enkla signaler.
Det här är inte alltid så enkelt att genomföra i praktiken.
Roboten får till exempel inte alltid välja den bästa handlingen.
Ibland måste den prova något nytt slumpmässigt för att utforska.
I annat fall fastnar den i vad som tidigare gick bra.
Roboten måste ha rätt tidshorisont.
Om den tar och alltid gör det den direkt får en belöning för.
Så kommer den kanske inte klara av mer långsiktiga planer.
Som att ta sig genom huset och städa hela.
Utan kommer bara stanna på det ställe där den får en enkel belöning.
Har den för lång tidshorisont kanske den lär sig opraktiska beteenden.
Så kanske kommer i framtiden vi ha städrobotar och annan utrustning som man tränar upp.
De kommer delvis förprogrammerade från fabriken.
Men också få lite träning i hemlet.
Naturligtvis får man se upp så att man inte av misstag råkar knuffa till dem.
Och de lär sig att undvika en.
Eller lär sig att gömma sig så att de inte behöver få några jobbiga order.
För att ladda ner föredragen till din dator istället för att bara lyssna på dem, högerklickar du på länken “Ladda ner föredraget” och väljer “Spara som” eller motsvarande för din webbläsare.