„Im Gegensatz zu regulären Softwaretests kann man nicht einfach den Code eines neuronalen Netzwerks überprüfen, um festzustellen, ob es sicher ist“, erklärt Inti De Ceukelaire, Chief Hacker Officer beim Crowdsourcing-Sicherheitsanbieter Intigriti, gegenüber CSO. “Selbst wenn es mit sauberen, hochwertigen Daten trainiert wurde, kann es sich dennoch seltsam verhalten. Das macht es schwierig zu wissen, wann man genug getestet hat.“
KI-Tools bieten oft eine komplexe Lösung für ein einfaches Problem. Tester konzentrieren sich möglicherweise nur auf das, was das Tool tun soll, und übersehen andere Funktionen. „Ein Übersetzungs-Tool könnte beispielsweise dazu gebracht werden, eine PDF-Datei mit bösartigem Code zu öffnen oder auf interne Dateien zuzugreifen und diese für jemanden außerhalb des Unternehmens zu übersetzen“, so De Ceukelaire.
Unternehmen sollten die Implementierung von speziell für KI entwickelten Adversarial-Test-Frameworks in Betracht ziehen.