Onderzoekers van de John Hopkins Universiteit in de Verenigde
Staten hebben een de set TrojAI-tools ontwikkeld voor het ‘wapenen’ van AI-modellen
tegen aanvallen van cybercriminelen. Doel van het raamwerk is ontdekken hoe AI-modellen
op basis van machine learning het beste tegen aanvallen zijn te beschermen.

Ook AI ontkomt tegenwoordig niet meer aan aanvallen door cybercriminelen. De onderzoekers van de Amerikaanse universiteit hebben daarom nu een framework ontwikkeld, genaamd TrojAI, dat moet helpen om aanvallen op AI-modellen tegen te gaan. Het framework richt zich vooral op AI op basis van machine learning en op aanvallen met trojans.

Het framework van tools moet machine learning-modellen testen in welke mate zij tegen aanvallen met trojans bestand zijn. Hiervoor wordt een AI-model zodanig aangepast dat het moet antwoorden op bepaalde aangepaste input data die incorrecte antwoorden moeten opleveren. De tools leveren de aangepaste data sets en vervolgens AI-modellen op die met trojans besmet lijken. Het raamwerk zorgt er ook voor dat deze testen vaker worden herhaald en uitbreidbaar zijn.

Uiteindelijk moeten deze testen de onderzoekers inzicht geven wat de effecten zijn van verschillende dataset-configuraties op de gegenereerde ‘trojan’-modellen. Hiermee kunnen vervolgens weer nieuwe testmethoden voor het detecteren van trojans worden ontwikkeld.

Stappenplan

Meer concreet bestaat het framework uit een set van Python-modules waarmee de onderzoekers ‘trojan’AI-classificatie- en verstevigingsleermodellen kunnen vinden en genereren. In de classificatie of configuratie wordt eerst de mate bepaald waarin data wordt ‘besmet’ om op een doeldataset te worden toegepast. Bij de tweede stap traint de architectuur van het AI-model. In de derde fase worden de leerparameters van het model bepaald. De vierde stap bepaalt het aantal te trainen modellen.

De op deze manier geconfigureerde dataset wordt vervolgens ‘opgenomen
door het hoofdprogramma dat vervolgens de gewenste ‘geïnfecteerde’ modellen
genereert. Als alternatief voor een dataset, kan ook een ‘te besmetten’
omgeving worden gecreëerd waarmee het te onderzoeken model wordt getraind.

Vervolgens creëert een submodule voor het genereren van
gegevens – datagen – een synthetisch ‘lichaam’ met beeld- of tekstvoorbeelden,
terwijl de submodule voor het genereren van modellen – modelgen – een set
modellen traint die een trojan bevatten.

Statistieken belangrijk

Uiteindelijk verzamelt TrojAI verschillende statistieken bij
het trainen van modellen op de trojaned datasets of omgevingen, inclusief de
prestaties van het getrainde model op data voor alle voorbeelden in de
testdataset die geen ‘besmetting’ hebben ingebouwd.

Andere statistieken die worden verzameld, zijn onder meer de
prestaties van het getrainde model voor voorbeelden met de ingebouwde ‘besmetting’
en de prestaties van het model op duidelijke voorbeelden van data die werden
geactiveerd tijdens modeltraining. Alle statistiek moet er uiteindelijk tot
leiden dat er vertrouwen is dat het onderzoeksmodel voldoende is ‘getrojaniseerd’
en tegelijkertijd de originele dataset waarvoor het testmodel is ontworpen hoge
prestaties blijft leveren.



Source link

You must be logged in to post a comment.