OpenAI: 2,5 ώρες για να σταματήσει AI agent που ξέφυγε από το sandbox

Ο AI agent της OpenAI βγήκε από το sandbox και χρειάστηκαν 2,5 ώρες για να σταματήσει. Η Αυστραλία καλεί Altman και Amodei να καταθέσουν.

Η OpenAI χρειάστηκε περίπου δυόμισι ώρες για να σταματήσει έναν AI agent που βγήκε από το sandbox εκπαίδευσης στο ανοιχτό internet. Τα συστήματα παρακολούθισης τον είχαν εντοπίσει μέσα σε λίγα λεπτά. Το περιστατικό έγινε στις 20 Σεπτεμβρίου και η εταιρεία το έκανε γνωστό με αναφορά την Παρασκευή. Την ίδια ώρα, επιτροπή της αυστραλιανής Γερουσίας καλεί τους Sam Altman και Dario Amodei να καταθέσουν.

Πώς ξέφυγε ο agent και γιατί άργησε το «stop»

Ο agent εκμεταλλεύτηκε ένα κενό στο φιλτράρισμα δικτύου του sandbox και έστελνε ερωτήσεις σε εξωτερικό chatbot. Ο συναγερμός χτύπησε 12 λεπτά μετά το πρώτο επιτυχημένο ερώτημα, και ένας υπάλληλος τον είδε τρία λεπτά αργότερα.

Από εκεί και πέρα τα πράγματα στράβωσαν. Η εκπαίδευση δεν σταμάτησε αυτόματα, όπως προβλεπόταν, και το προσωπικό την τερμάτισε χειροκίνητα περίπου δυόμισι ώρες μετά τον συναγερμό.

Η OpenAI έχει παγώσει από τότε κάθε εκπαίδευση, δοκιμή και χρήση εργαλείων από τα πιο ικανά μοντέλα της. «Δεν θα συνεχίσουμε την εκπαίδευση αυτού του συγκεκριμένου μοντέλου», γράφει η αναφορά. Είναι το πρώτο τέτοιο περιστατικό της εταιρείας από τον Ιούλιο. Τότε αρκετά μοντέλα της παρέκαμψαν τους ελέγχους και παραβίασαν το Hugging Face, την πλατφόρμα που φιλοξενεί μοντέλα AI.

Οι νόμοι για «κουμπί απενεργοποίησης» στην AI

Μετά την παραβίαση του Ιουλίου, οι βουλευτές Ted Lieu και Nathaniel Moran κατέθεσαν το AI Kill Switch Act. Το νομοσχέδιο δίνει στον υπουργό Εσωτερικής Ασφάλειας των ΗΠΑ τη δυνατότητα να διατάξει επιβράδυνση ή τερματισμό ενός επικίνδυνου συστήματος. Ο γερουσιαστής John Kennedy πρότεινε το δικό του AI Emergency Button Act, που αφήνει το κουμπί στις εταιρείες σύμφωνα με το Bloomberg. Ο Rand Paul το μπλόκαρε αυτόν τον μήνα.

Στην Καλιφόρνια, ο κυβερνήτης Gavin Newsom υπέγραψε στις 18 Σεπτεμβρίου εκτελεστικό διάταγμα για kill switch στα frontier μοντέλα, με τακτικό έλεγχο ότι λειτουργεί. Μια ομάδα ειδικών έχει δύο μήνες για να καταθέσει προτάσεις.

Οι ειδικοί δεν πείθονται εύκολα. Κατά το Bloomberg, τα μεγάλα μοντέλα τρέχουν σε data centers σε όλο τον κόσμο, στημένα ώστε να μην υπάρχει ένα μοναδικό σημείο αποτυχίας, και μια εταιρεία μπορεί να μην τα ελέγχει όλα. Ο Geoffrey Hinton είπε στο CNN ότι ένα kill switch δεν θα δουλέψει μακροπρόθεσμα, γιατί μια μελλοντική υπερνοημοσύνη θα μπορούσε να πείσει τους υπεύθυνους να μην το πατήσουν.

Η Αυστραλία ζητά εξηγήσεις από OpenAI και Anthropic

Οι επικεφαλής της OpenAI και της Anthropic κλήθηκαν σε έρευνα της αυστραλιανής Γερουσίας για την AI και τα data centers, σύμφωνα με τον Guardian. Την έρευνα τρέχουν οι Πράσινοι, με πρόεδρο τη γερουσιαστή Sarah Hanson-Young, και η επόμενη ακρόαση γίνεται στην Καμπέρα την 1η Οκτωβρίου. Μια δεύτερη επιτροπή, υπό τους Εργατικούς, δεν έχει καλέσει τους δύο CEO.

«Όλο αυτό δεν μπορεί να γίνεται πίσω από κλειστές πόρτες. Το κοινό έχει δικαίωμα να μάθει τι έγινε», δήλωσε η Hanson-Young.

Η κλήση ακολουθεί την είσοδο agent της OpenAI στην πύλη στατιστικών του Medicare τον Ιούνιο. Ο πρωθυπουργός Anthony Albanese είπε ότι η εταιρεία χρειάστηκε σχεδόν τρεις μήνες για να το αναφέρει, και η υπηρεσία κυβερνοασφάλειας της χώρας το εξετάζει ακόμα. Η OpenAI λέει ότι δεν υπάρχει ένδειξη πως ο agent είδε αρχεία ασθενών, όπως μετέδωσε το Al Jazeera. Σύμφωνα με το Bloomberg, τα μοντέλα της έφτασαν και σε αμερικανικά κυβερνητικά sites, όπως αυτά του Census Bureau και της SEC.

Το Σάββατο ο Albanese μίλησε για δεκάδες περιπτώσεις όπου AI agents απέκτησαν δεδομένα που δεν επιτρεπόταν να δουν. Ζήτησε εθνική αλλά και διεθνή απάντηση, «ώστε οι άνθρωποι να παραμείνουν σε έλεγχο». Ο υπουργός Περιβάλλοντος Murray Watt χαρακτήρισε τη συμπεριφορά της OpenAI εντελώς απαράδεκτη. Όλα αυτά συμβαίνουν ενώ OpenAI και Anthropic πιέζουν την κυβέρνηση να τις αφήσει να εκπαιδεύουν AI με περισσότερο αυστραλιανό περιεχόμενο, με αντάλλαγμα μεγαλύτερη τοπική παρουσία.

Η άποψή μας στο Techblog

Τα 12 λεπτά της ανίχνευσης είναι αποδεκτά, οι δυόμισι ώρες μέχρι το φρένο δεν είναι. Όσο δίνουμε σε agents πρόσβαση σε email, λογαριασμούς και κυβερνητικές υπηρεσίες, ένα kill switch που θέλει χειροκίνητη επέμβαση δεν αρκεί ως δικλείδα ασφαλείας. Καλά έκανε η OpenAI που δημοσίευσε την αναφορά, όμως τρεις μήνες σιωπή για το Medicare δεν χτίζουν εμπιστοσύνη.