Ένα phishing email που εσύ θα πετούσες στα σκουπίδια με την πρώτη ματιά μπορεί να ξεγελάσει τον AI βοηθό που διαβάζει το inbox σου. Αυτό προειδοποιεί η εταιρεία κυβερνοασφάλειας Malwarebytes.
Ο κίνδυνος λέγεται prompt injection. Χάκερ, ή ακόμα και κακόβουλοι AI agents, κρύβουν μέσα στο μήνυμα οδηγίες γραμμένες για το AI του παραλήπτη. Όπως εξηγεί η Malwarebytes σε ανάρτηση στο blog της, το κείμενο συνήθως είναι κρυμμένο ώστε να μη το βλέπει ο άνθρωπος. Το σύστημα AI όμως μπορεί κανονικά να το διαβάσει και να το επεξεργαστεί.
Η λύση δεν είναι να ζητάμε από τους χρήστες να κοιτάνε πιο προσεκτικά τα email τους. Οι εταιρείες που φτιάχνουν τους βοηθούς πρέπει να σχεδιάσουν προσεκτικά πώς το AI διαβάζει τα μηνύματα και ποιες πληροφορίες κρατά από αυτά.
«Το πραγματικό πρόβλημα είναι ότι το μοντέλο δεν ξεχωρίζει το κείμενο που πρέπει να διαβάσει από τις οδηγίες που πρέπει να ακολουθήσει», είπε στη Malwarebytes ο Apollo Raines, developer στην υπηρεσία AI code review ShipItClean. Κατά τον ίδιο, κάθε εταιρεία πρέπει να αφαιρεί το κρυμμένο περιεχόμενο πριν φτάσει στο μοντέλο. Όποιος ήδη προσέχει τα ύποπτα email πρέπει, όπως λέει, να μάθει να μην εμπιστεύεται ούτε τον AI βοηθό του.
Το ότι τα μοντέλα AI είναι ευάλωτα στο prompt injection το ξέρουμε εδώ και χρόνια. Ο κίνδυνος μεγαλώνει τώρα που βοηθοί όπως το Muse της Meta χρησιμοποιούνται από εκατομμύρια ανθρώπους. Αυτοί οι βοηθοί εκτελούν αυτόνομα σειρές εργασιών, χωρίς επίβλεψη. Παρόμοια κενά έχουν ήδη βρεθεί σε browsers με AI. Στο Moltbook, ένα κοινωνικό δίκτυο μόνο για AI, εμφανίστηκαν μάλιστα bots που πουλούσαν επιθέσεις prompt injection το ένα στο άλλο.
Η Malwarebytes δεν ζητά να εγκαταλείψει κανείς τα εργαλεία AI για το email. Ζητά όμως από τους χρήστες να σκεφτούν τι εμπιστεύονται στο AI και ποια δικαιώματα του δίνουν. Για ενέργειες με μεγάλο αντίκτυπο, όπως οι πληρωμές ή η αλλαγή των στοιχείων πληρωμής ενός προμηθευτή, η εταιρεία συστήνει να απαιτείται έγκριση από άνθρωπο.
Ο Raines περιγράφει την κατάσταση ως «κούρσα εξοπλισμών», στην οποία «κάθε νέο κόλπο κωδικοποίησης είναι και μια νέα τρύπα».
Σχόλια