Beveilig je data science modellen in Azure 

In dit artikel leggen we uit hoe je je data science modellen op Azure goed kunt beveiligen. Daarbij richten we ons op de volgende onderwerpen: 

• Wat zijn machine learning model aanvallen? 
• Waarom bestaan machine learning model aanvallen?
• Wat is de impact van een hack?
• Hoe voorkom en beperk je data science model aanvallen?

Ben je benieuwd naar de mogelijkheden van data science, maar weet je niet waar je moet beginnen? Wij raden je aan te beginnen met ons inleidende artikel zodat je vertrouwd kan raken met data science. Of leer eerst hoe je je huidige data science-omgeving op Azure kan beveiligen.

Wat zijn machine learning model aanvallen? 

Zoals je misschien al geraden hebt, is een machine learning model attack een aanval op je machine learning model. Laten we eens in de huid kruipen van een hacker om te begrijpen wat zo'n aanval is en waarom dit soort aanvallen überhaupt bestaan. 

Een hacker kan jouw data science modellen aanvallen om verschillende redenen, tijdens verschillende fasen. We kunnen machine learning model aanvallen in drie pijlers verdelen, (1) Confidentiality Attacks, (2) Integrity Attacks, en (3) Availability Attacks. 

1. Confidentiality Attacks - Vertrouwelijkheidsaanvallen

Bij deze aanval gaat het erom gevoelige informatie uit je data science systeem te halen op basis van je model.

Een voorbeeld van een vertrouwelijkheidsaanval is een Model Stealing-aanval. Deze aanval vindt plaats in de productiefase van jouw machine-learning model. Wanneer je een model van een concurrent hebt gevonden dat je wilt hebben of gebruiken, kan je dit doelmodel aanvallen door het te bevragen met 'monsters' en kijken hoe het reageert. Je kunt het doelmodel reverse engineeren als de reacties zijn wat je verwacht.   

2. Integrity Attacks - Integriteitsaanvallen

Deze aanval wil dat het model een fout maakt door het model stilletjes voor de gek te houden. Je zult merken dat jouw model een rood verkeerslicht plotseling als groen classificeert, wat verkeersproblemen kan veroorzaken. 

Een voorbeeld van een integriteitsaanval is een Evasion Attack. Deze aanval vindt plaats tijdens de inferencingfase van jouw data science model. De aanval richt zich op het creëren van valse input voor je model. Voor het model 'lijkt' het op standaard input. Maar in werkelijkheid is de gegeven informatie menselijkerwijs onmogelijk. Deze aanval is gebruikelijk in computer vision api, waar afbeeldingen worden gebruikt. Wat er gebeurt, is dat de pixels van een afbeelding worden veranderd vlak voordat deze wordt geüpload in de computer vision API. Dit zorgt ervoor dat de computer vision API het resultaat niet classificeert zodra je de 'veranderde pixel'-afbeelding hebt geüpload. Neem bijvoorbeeld een kat, deze wordt door jouw model niet langer als kat geclassificeerd, wat enorme problemen kan veroorzaken.

3. Availability Attacks - Beschikbaarheidsaanvallen

Deze aanval is erop gericht je hele systeem plat te leggen. Je zou gegevens kunnen vergiftigen tot het punt dat de manier waarop je machine learning model leert zo verkeerd is dat het model zelf rotzooi is. Er zit dus niets anders op dan het uit te schakelen. 

Een voorbeeld van een beschikbaarheidsaanval is een Data Poisoning aanval. Deze aanvallen vallen de integriteit van jouw modellen aan door de impact te wijzigen. Deze aanval is gericht op het creëren van input die worden geaccepteerd als trainingsgegevens voor jouw model, maar die niet als trainingsgegevens zouden moeten worden genomen. Je kunt je vast voorstellen dat wanneer jouw terabytes aan beeldgegevens in jouw opslag of database zitten, wanneer iemand 'verkeerde' of vergiftigde beelden toevoegt die jouw model zal gebruiken voor training, dit waarschijnlijk niet zal opvallen. Je model wordt nu dus getraind met vergiftigde gegevens, wat gevolgen heeft voor de juistheid van je voorspellingsresultaten.

Lees hier de meer over de bedreigingsmodellen in AI-/ML-systemen

Waarom modelaanvallen voor machine learning bestaan 

Hoewel al deze soorten aanvallen eng lijken, kunnen we ons afvragen: waarom zouden we data science modellen überhaupt aanvallen? De reden waarom iemand jouw data science model zou aanvallen, hangt grotendeels af van het type aanval. Laten we, om dit te begrijpen, een paar voorbeelden bekijken:

• Een aanvaller zou zijn tijd om zijn eigen modellen te ontwikkelen willen verkorten. In dat geval zouden ze een Model Stealing aanval gebruiken en proberen jouw model te dupliceren.
  
  
• Sommige aanvallers hebben een meer financieel motief. Organisaties betalen goed geld voor mensen die data poisoning aanvallen uitvoeren tijdens de training van je model om ervoor te zorgen dat zodra het model wordt ingezet, het robuuster is.
  
  
• Andere door organisaties gehuurde aanvallers hebben een motief van integriteit dat ze willen bereiken. Zij kunnen aanvallen doen om de robuustheid van het ingezette model te waarborgen.

Wat is de impact van een hack? 

De impact van een hack op jouw data science modellen kan financiële schade of reputatieschade zijn.  

Financiële impact 

Ten eerste kan een hack een enorme financiële impact hebben. Denk er maar eens over na. Wie wil dat eindeloze rechtszaken van slachtoffers jouw bankrekening leegtrekken. Bijvoorbeeld: je werkt in een bedrijf waarbij veiligheid cruciaal is en afhankelijk van nauwkeurige classificatie van beelden (laten we automatisch gebroken botten classificeren op MRI-beelden). Zo'n aanval kan zorgen voor een verkeerde classificatie van je MRI-beelden, waardoor een patiënt een verkeerde diagnose krijgt en zijn gezondheid in gevaar komt.

Reputatieschade 

Een aanval op je model kan ertoe leiden dat je aansprakelijk wordt gesteld om vele redenen, waaronder discriminatie of inbreuk op de privacy. Deze leiden uiteraard tot grote reputatieschade. Door verkeerde trainingsgegevens op te nemen, zal jouw model bijvoorbeeld alleen negatieve advertenties tonen aan bepaalde mensen op basis van hun religie of erfelijkheid. 

Hoe voorkom en beperk je een data science model aanval?

Gezien de enorme impact die een machine learning model hack kan hebben, willen we deze aanvallen zo goed mogelijk proberen te voorkomen! 

Dit geldt ook voor het beveiligen van data science modellen. Dus, hoe kunnen we aanvallen voorkomen in plaats van ons alleen bezig te houden met de nasleep? Helaas is er niet één oplossing, of een 100% gegarandeerde preventie. Maar gelukkig zijn er stappen die we kunnen nemen om onze data science-modellen veiliger te maken. Denk aan de volgende concepten: 

• Processen 
• Testen 
• Gegevensbeveiliging 
• Diversiteit 

Processen

Zorg er allereerst altijd voor dat je beveiligingsprocessen hebt voor noodgevallen en een algemene cyberbeveiligingsstrategie. Zorg voor een goed ontwikkeld en getest incidentenherstelproces, zodat je weet wat je moet doen als je bent aangevallen. Creëer controles die de verwerking van jouw model kunnen vertragen of stoppen, zodat je kunt beginnen met het debuggen van classificeerders. Overweeg ook effectbeoordelingen te maken en weet wie je moet informeren als het fout gaat. Gelukkig voor ons heeft Microsoft hier een gids die we kunnen gebruiken.

Testen

Ten tweede moet je ervoor zorgen dat je jouw modellen uitgebreid hebt getest voordat je ze in productie neemt. Jouw model moet robuust zijn; creëer daarom tijdens de training inputs die verkeerde reacties van het model oproepen. Zorg ervoor dat je over mechanismen voor de opsporing van anomalieën beschikt zodra je jouw model in gebruik hebt genomen.  Bovendien moet je bij de ontwikkeling van jouw modelpijplijn een penetratietest uitvoeren om na te gaan welke fase van jouw pijplijn kwetsbaar is.  

Gegevensbeveiliging 

Ten derde moet je ervoor zorgen dat je jouw gegevens goed hebt geverifieerd en gecontroleerd. Zorg er tijdens de training voor dat je inclusieve gegevens gebruikt. Zorg er daarnaast voor je deze gegevens goed beveiligt, door gevoelige datasets te anonimiseren. Wees bewust van het gebruik van openbare datasets, of open-source sets, omdat die moeilijker te beveiligen zijn. Richt je waar mogelijk op datasets die door geverifieerde bedrijven zijn gebruikt.  

Diversiteit 

Tot slot: maak en draai meerdere modellen om aanvallen te herkennen. Verschillende modellen kunnen een andere focus hebben op aanvallen, zoals attributen, classificeerders of bestandstypen. Deze diversiteit zorgt voor robuustheid, waardoor het voor aanvallers moeilijker wordt zwakke plekken in jouw MLOps-systeem te vinden.   

Naast deze concepten zijn er hulpmiddelen beschikbaar die helpen de veiligheid van jouw machine-learning modellen te beoordelen. Je kunt bijvoorbeeld Counterfit gebruiken om de beveiliging van jouw machine-learning modellen te beoordelen. Counterfit creëert een generieke automatisering laag voor het beoordelen van de beveiliging. De tool is een cloud-omgeving met gegevens die door iedereen kan worden gebruikt. Het helpt je bij het uitvoeren van beveiligingsrisicobeoordelingen om ervoor te zorgen dat jouw modellen betrouwbaar en robuust zijn en kunnen worden vertrouwd. Als je meer wilt weten, bekijk dan deze pagina over diversiteit.

Conclusie 

Dit artikel is je opstap geweest in het begrijpen en herkennen van data science modelaanvallen. We hebben je een idee gegeven van hoe je een modelaanval kunt beperken en strategisch kunt aanpakken. Lijkt het alsof er veel te doen is? Geen paniek! Bij Intercept staan we klaar om je te helpen bij het vinden en bouwen van oplossingen om aanvallen te voorkomen! Met de DLM-aanpak pakt Intercept jouw Data Science project stap voor stap aan. Samen met onze Data Scientist begeleiden wij je door jouw business vereisten en vertalen we dit naar een Data Design. Dit Data Design vormt de blauwdruk voor jouw Data Science project. 

Plan een afspraak om vast te stellen welke uitdagingen je wilt oplossen met Data Science.