DeepMind: Google's kunstmatige superbrein

In januari 2014 kocht Google voor 400 miljoen pond het vrij onbekende bedrijf DeepMind Technologies. Google heeft de laatste jaren veel interesse in Kunstmatige Intelligentie: in 2011 werd het Google Brain project gelanceerd en in 2013 heeft het in samenwerking met NASA het QuantumArtificial Intelligence Lab opgericht. DeepMind is een Engels bedrijf dat in 2010 is opgericht door neurowetenschapper, schaakmeester en game-ontwikkelaar (van onder meer Theme Park) Demis Hassabis, game-ontwikkelaar en AI programmeur Shane Legg en ondernemer Mustafa Suleyman. Het houdt zich bezig met artificiële intelligentie en heeft het programma Deep Q-Network (DQN) ontwikkeld, nu ook wel bekend als Google DeepMind. Het bedrijf werd onder meer gefinancierd door Elon Musk van Tesla Motors en SpaceX en internetondernemer en aandeelhouder van Facebook, Peter Thiel.






Kunstmatige intelligentie geïnspireerd door de neurowetenschap
Het bedrijf DeepMind heeft tot doel om de algemene intelligentie (AGI) te doorgronden en computers zelf te laten leren. De ontwikkelaars gebruiken inzichten op het gebied van de neurowetenschap om de kunstmatige intelligentie van het systeem te ontwikkelen. Het is de bedoeling dat DeepMind geen specifieke taken zal oplossen, maar breed inzetbaar zal zijn.

Het Deep Q-netwerk maakt gebruik van een combinatie van ondersteund leren (reinforcement learning), dit is een vorm van machinaal of automatisch leren (machine learning) en diepe neurale netwerken (deep neural networks). Dat betekent dat het leert van zijn omgeving door het te verkennen (ondersteund leren) en dat het ruwe gegevens kan omzetten in begrijpelijke patronen (diepe neurale netwerken), zoals het herkennen van afbeeldingen in pixels. Dit laatste is vergelijkbaar met de functie van de neuronen in onze hersenen: het netwerk is via nodes (vergelijkbaar met de neuronen in de hersenen) met elkaar verbonden. Er moet worden vastgesteld onder welke voorwaarden een node een signaal aan een andere node moet doorgeven. Het kan hierdoor van informatie leren zonder dat de mens hem een doel heeft gesteld of helpt door aanwijzingen te geven. Apple's Siri maakt hier onder andere ook gebruik van. Dit in tegenstelling tot de meeste traditionele kunstmatige intelligente programma's, zoals IBM's Watson, waarbij eerst vele gegevens worden ingevoerd, voordat deze iets leren.


Atari-spelletjes
Het bedrijf DeepMind had een algoritme (een combinatie van instructies voor de computer) gemaakt dat Atari spelletjes leerde spelen. Het moest de spelletjes zonder enige kennis van de spelregels leren spelen. Via het analyseren van de pixels op het scherm moest het erachter komen welke patronen (bijvoorbeeld de afstand tussen de objecten op het scherm) de beste highscore opleverden. Bij iedere actie die het systeem ondernam, werd het systeem verteld of de score hoger, lager of niet veranderd was. Door het spel herhaaldelijk te spelen, leerde het systeem zijn prestaties te verbeteren. Op deze manier leert het programma meer als een mens of dier en volgt het geen voorgeprogrammeerde instructies op. Volgens oprichter en neurowetenschapper Demis Hassabis bootst DeepMind de hippocampus na. De hippocampus is het hersendeel dat een belangrijke rol speelt bij het opnemen van nieuwe informatie.

Het algoritme was in staat om menselijke tegenspelers in meer dan 30 Atari spelletjes, waaronder de klassieker Pong, Space Invaders, Breakout en Asteroids te verslaan. Eén van de spelletjes waarbij het nog niet is gelukt, is Pacman. Dit komt doordat Pacman meer complex denkwerk vereist, zoals het verkennen van de omgeving, het kunnen plannen en navigeren. In het wetenschappelijke tijdschrift Nature zetten de ontwikkelaars hun werkwijze uiteen.

In deze video's wordt getoond hoe het Deep Q-Network na vele keren spelen de beste strategie van Breakout (na 600 pogingen) en Space Invaders heeft ontdekt:

AlphaGo
In 2015 heeft DeepMind (in dit geval AlphaGo genoemd) met het eeuwenoude Chinese spel Go van Europees kampioen Fan Hui gewonnen. Van 9 tot en met 15 maart 2016 nam AlphaGo het op tegen de achttienvoudige Zuid-Koreaanse wereldkampioen, Lee Se-dol. De wedstrijden waren live te volgen op YouTube. AlphoGo heeft deze wedstrijd met 4-1 gewonnen. Begin januari 2017 onthulde DeepMind dat het in het geheim aan een verbeterde versie van AlphoGo heeft gewerkt en online met de beste Go-spelers van de wereld (waaronder Ke Jie, Gu Li en Lee Sedol) heeft gespeeld. AlphaGo won 50 van de 51 wedstrijden. Dit spel werd lange tijd beschouwd als één van de grootste uitdagingen binnen de Kunstmatige Intelligentie. In 1997 versloeg IBM's Deep Blue wereldkampioen schaken Garry Kasparov. In tegenstelling tot schaken moeten er bij het spel Go niet tientallen maar honderden mogelijke zetten worden overwogen. Go-spelers doen een groot beroep op hun intuïtie. Brute rekenkracht is hierbij niet genoeg. In het wetenschappelijke tijdschrift Nature wordt uitgelegd hoe de ontwikkelaars dit hebben bereikt.

In november 2016 kondigde DeepMind een samenwerking met de makers van het spel StarCraft aan. Volgens het bedrijf zal DeepMind door het spelen van de complexe game StarCraft strategieën leren die mensen ook in de werkelijke wereld gebruiken.

AlphaGo Zero
In oktober 2017 is er een opvolger van AlphaGo geïntroduceerd, AlphaGo Zero. In tegenstelling tot AlphaGo, die het spel Go leerde door duizenden wedstrijden van Go-spelers te analyseren, heeft Alphago Zero het spel geleerd zonder verdere gegevens dan de spelregels. Al na 72 uur was AlphaGo Zero in staat zijn voorganger te verslaan.

In deze video wordt er achter de schermen van DeepMind gekeken i.v.m. het programma AlphaGo dat een professionele Go-speler heeft verslagen:

StarCraft II

Op januari 2019 werd bekend dat DeepMind, in dit geval AlphaStar geheten, in december 2018 twee topspelers van het real-time strategy computerspel StarCraft II, van ontwikkelaar Blizzard, heeft verslagen. In het spel moeten complexe beslissingen worden genomen, gebaseerd op vorige zetten in het spel. Spelers van dit spel moeten veel op hun instinct en intuïtie vertrouwen, wat het nog moeilijker maakt voor een computer om te winnen. Voorafgaand aan de wedstrijden heeft AlphaStar  wel meer dan 200 jaar aan ervaring in het spel opgebouwd.

Een ethische commissie

Het spel Go

Eén van de eisen die het bedrijf DeepMind bij de overname stelde, was dat Google een ethische commissie zou instellen om misbruik van de technologie te voorkomen en dat de technologie niet gebruikt mag worden voor militaire of spionage doeleinden. Daarnaast is het team bezig met het ontwikkelen van een kill switch, om te voorkomen dat een robot met AI iets kan doen dat de mens schaadt.

Het doel van DeepMind
Het is de bedoeling om het systeem verder te laten leren door het onder meer 3D spelletjes en simulaties te laten spelen. Een streven van DeepMind is om het systeem onder meer toe te passen op het gebied van klimaat en gezondheidszorg (op het gebied van de diagnostiek) en de robotica. Er wordt bijvoorbeeld al gewerkt aan een technologie die zal bijdragen aan de bestrijding van kanker en sinds kort wordt Deep Mind ook ingezet om vroegtijdig oogaandoeningen (zoals macula degeneratie en retinopathie) op te sporen. Hoogstwaarschijnlijk zal het eerst worden toegepast op producten van Google, onder andere op het gebied van zoeken (via spraak en tekst), vertaling, Google Plus, YouTube (om de zoekfunctie te verbeteren en betere aanbevelingen te kunnen doen) en zelfrijdende auto's.

Lees ook:

• De toepassingen van IBM's supercomputer Watson 
• Wat is Kunstmatige Intelligentie of Artificial Intelligence?
• Robotica pionier of Dr. Frankenstein: Hiroshi Ishiguro
• Robots: geen toekomst maar werkelijkheid in Japan

_________________________________________________________________________
Bronnen:
Cuthbertson, A. (2015, 24 september). Google DeepMind artificial intelligence can beat humans at 31 video games but can\'t master Pac-Man. Geraadpleegd van http://www.ibtimes.co.uk/google-deepmind-artificial-intelligence-can-beat-humans-31-video-games-cant-master-pac-man-1521035

Korjus, K., Kuzovkin, I., Tampuu, A., & Pungas, T. (2014, 25 september). Artificial General Intelligence that plays Atari video games: How did DeepMind do it? Geraadpleegd vanhttp://robohub.org/artificial-general-intelligence-that-plays-atari-video-games-how-did-deepmind-do-it/

Mohan, G. (2015, 25 februari). Is playing \'Space Invaders\' a milestone in artificial intelligence? Geraadpleegd van http://www.latimes.com/science/sciencenow/la-sci-sn-computer-learning-space-invaders-20150224-story.html

Mundy, J. (2015, 19 juni). What is Google DeepMind? Geraadpleegd van http://www.trustedreviews.com/opinions/what-is-google-s-deepmind

Rodgers, P. (2015, 28 februari). Google\'s DeepMind Masters Atari Games. Geraadpleegd van http://www.forbes.com/sites/paulrodgers/2015/02/28/googles-deepmind-masters-atari-games/#5c6b36572485

Rowan, D. (2015, 22 juni). DeepMind: inside Google\'s super-brain. Geraadpleegd van http://www.wired.co.uk/magazine/archive/2015/07/features/deepmind/viewall

Shead, S. (2015, 12 juni). Google DeepMind: What is it, how does it work and should you be scared? Geraadpleegd van http://www.techworld.com/personal-tech/google-deepmind-what-is-it-how-it-works-should-you-be-scared-3615354/

Twilley, N. (2015, 25 februari). Artificial Intelligence Goes to the Arcade. Geraadpleegd van http://www.newyorker.com/tech/elements/deepmind-artificial-intelligence-video-games

Afbeelding bordspel Go: By Luis de Bethencourt from Madrid, Spain (go  Uploaded by Partyzan_XXI) [CC BY 2.0 (http://creativecommons.org/licenses/by/2.0)], via Wikimedia Commons