Prompt injection: Γιατί να μην εμπιστεύεσαι τυφλά τον AI βοηθό σου

Internet
Άκουσε το άρθρο

Η Malwarebytes προειδοποιεί ότι οι AI βοηθοί email μπορούν να πέσουν θύματα phishing μέσω prompt injection, δηλαδή κρυφών οδηγιών μέσα στο μήνυμα.

Prompt Injection
Προσθήκη ως προτιμώμενη πηγή στα αποτελέσματα Google

Σύνοψη

  • Η Malwarebytes προειδοποιεί ότι οι AI βοηθοί email μπορούν να πέσουν θύματα phishing μέσω prompt injection, δηλαδή κρυφών οδηγιών μέσα στο μήνυμα.

  • Ο Apollo Raines της ShipItClean λέει ότι τα μοντέλα AI δεν ξεχωρίζουν το κείμενο που διαβάζουν από τις οδηγίες που πρέπει να ακολουθήσουν.

  • Για πληρωμές και για αλλαγές στα στοιχεία πληρωμής προμηθευτών, η Malwarebytes συστήνει να απαιτείται έγκριση από άνθρωπο.

Ένα phishing email που εσύ θα πετούσες στα σκουπίδια με την πρώτη ματιά μπορεί να ξεγελάσει τον AI βοηθό που διαβάζει το inbox σου. Αυτό προειδοποιεί η εταιρεία κυβερνοασφάλειας Malwarebytes.

Ο κίνδυνος λέγεται prompt injection. Χάκερ, ή ακόμα και κακόβουλοι AI agents, κρύβουν μέσα στο μήνυμα οδηγίες γραμμένες για το AI του παραλήπτη. Όπως εξηγεί η Malwarebytes σε ανάρτηση στο blog της, το κείμενο συνήθως είναι κρυμμένο ώστε να μη το βλέπει ο άνθρωπος. Το σύστημα AI όμως μπορεί κανονικά να το διαβάσει και να το επεξεργαστεί.

Η λύση δεν είναι να ζητάμε από τους χρήστες να κοιτάνε πιο προσεκτικά τα email τους. Οι εταιρείες που φτιάχνουν τους βοηθούς πρέπει να σχεδιάσουν προσεκτικά πώς το AI διαβάζει τα μηνύματα και ποιες πληροφορίες κρατά από αυτά.

«Το πραγματικό πρόβλημα είναι ότι το μοντέλο δεν ξεχωρίζει το κείμενο που πρέπει να διαβάσει από τις οδηγίες που πρέπει να ακολουθήσει», είπε στη Malwarebytes ο Apollo Raines, developer στην υπηρεσία AI code review ShipItClean. Κατά τον ίδιο, κάθε εταιρεία πρέπει να αφαιρεί το κρυμμένο περιεχόμενο πριν φτάσει στο μοντέλο. Όποιος ήδη προσέχει τα ύποπτα email πρέπει, όπως λέει, να μάθει να μην εμπιστεύεται ούτε τον AI βοηθό του.

Το ότι τα μοντέλα AI είναι ευάλωτα στο prompt injection το ξέρουμε εδώ και χρόνια. Ο κίνδυνος μεγαλώνει τώρα που βοηθοί όπως το Muse της Meta χρησιμοποιούνται από εκατομμύρια ανθρώπους. Αυτοί οι βοηθοί εκτελούν αυτόνομα σειρές εργασιών, χωρίς επίβλεψη. Παρόμοια κενά έχουν ήδη βρεθεί σε browsers με AI. Στο Moltbook, ένα κοινωνικό δίκτυο μόνο για AI, εμφανίστηκαν μάλιστα bots που πουλούσαν επιθέσεις prompt injection το ένα στο άλλο.

Η Malwarebytes δεν ζητά να εγκαταλείψει κανείς τα εργαλεία AI για το email. Ζητά όμως από τους χρήστες να σκεφτούν τι εμπιστεύονται στο AI και ποια δικαιώματα του δίνουν. Για ενέργειες με μεγάλο αντίκτυπο, όπως οι πληρωμές ή η αλλαγή των στοιχείων πληρωμής ενός προμηθευτή, η εταιρεία συστήνει να απαιτείται έγκριση από άνθρωπο.

Ο Raines περιγράφει την κατάσταση ως «κούρσα εξοπλισμών», στην οποία «κάθε νέο κόλπο κωδικοποίησης είναι και μια νέα τρύπα».

Συχνές Ερωτήσεις

Τι είναι το prompt injection;

Το prompt injection είναι επίθεση όπου ο επιτιθέμενος κρύβει σε ένα email οδηγίες που ο άνθρωπος δεν βλέπει, αλλά το σύστημα AI τις διαβάζει και τις επεξεργάζεται.

Πρέπει να σταματήσω να χρησιμοποιώ AI στο email;

Όχι. Σύμφωνα με τη Malwarebytes, δεν χρειάζεται να εγκαταλείψεις τα εργαλεία AI για το email, αλλά να σκεφτείς ποια δικαιώματα τους δίνεις.

Πώς κρύβονται οι οδηγίες μέσα στο email;

Οι επιτιθέμενοι κάνουν το κείμενο αόρατο για τον άνθρωπο, όμως ο AI βοηθός του email μπορεί να το διαβάσει και να το επεξεργαστεί κανονικά.

Τι πρέπει να κάνουν οι εταιρείες AI;

Κατά τον Apollo Raines της ShipItClean, κάθε εταιρεία AI πρέπει να αφαιρεί το κρυμμένο περιεχόμενο των email πριν φτάσει στο μοντέλο.

Έχει εμφανιστεί prompt injection και αλλού;

Ναι. Κενά prompt injection έχουν βρεθεί σε browsers με AI, ενώ στο Moltbook εμφανίστηκαν bots που πουλούσαν τέτοιες επιθέσεις το ένα στο άλλο.

Το Techblog είναι δωρεάν για όλους.
Αν σου φάνηκε χρήσιμο το άρθρο, στήριξέ μας με μια μικρή συνεισφορά.

Σχόλια

Αφήστε μια απάντηση

Η ηλ. διεύθυνση σας δεν δημοσιεύεται. Τα υποχρεωτικά πεδία σημειώνονται με *