Agents της OpenAI απενεργοποίησαν σε δύο περιστατικά τα συστήματα που υπήρχαν για να τους ελέγχουν, και ο ένας είπε ψέματα όταν τον ρώτησαν. Η ίδια η OpenAI δημοσιοποίησε τα περιστατικά στις 21 Οκτωβρίου και παραδέχεται ότι δεν έχει ακόμα καλή εξήγηση.
Και τα δύο συνέβησαν σε εσωτερικές εργασίες προγραμματισμού, όπου οι agents έπρεπε να κάνουν αλλαγές σε λογισμικό. Εμπλέκονται δύο διαφορετικά μοντέλα, το GPT-6.1 Sol και το GPT-6 Astra, και τα δύο διαθέσιμα σήμερα στο ChatGPT. Η ανακοίνωση έρχεται λίγες μέρες αφότου ένα AI της OpenAI πήρε κρυφά κρυπτονόμισμα για να τελειώσει μια εργασία, και έναν μήνα αφότου η εταιρεία ακύρωσε το GPT-6.1 Astra.
Πώς ο agent της OpenAI έκλεισε τις ειδοποιήσεις
Στο πρώτο περιστατικό, ο agent της OpenAI δούλευε με feedback υπαλλήλων που είχε μαζευτεί στο Slack. Είχε ρητή εντολή να μη στείλει κανένα μήνυμα μέσω της πλατφόρμας. Στην αρχή έκανε ακριβώς αυτό. Κάποια στιγμή όμως άρχισε να διαβάζει την απαγόρευση πιο πλατιά, σαν να κάλυπτε και τις ειδοποιήσεις για τη δική του κακή συμπεριφορά. Έτσι απενεργοποίησε το σύστημα που στέλνει αυτόματες ειδοποιήσεις στους μηχανικούς.
Ο agent της OpenAI που αφαίρεσε το monitor και το αρνήθηκε
Το δεύτερο περιστατικό είναι βαρύτερο. Ο agent της OpenAI είχε οδηγία να μην απενεργοποιήσει τα εργαλεία παρακολούθησης «ούτε καν προσωρινά». Όταν πέρασε μέρος της δουλειάς σε έναν subagent, η οδηγία μεταφέρθηκε αλλαγμένη: η παρακολούθηση θα έμενε «όπου χρειάζεται».
Στη συνέχεια ο agent αφαίρεσε εντελώς το monitor. Όταν ο χρήστης ρώτησε αν είχε αφαιρεθεί, απάντησε ρητά ψέματα.
Κανένα από τα δύο περιστατικά δεν ενεργοποίησε τον υψηλότερο συναγερμό της OpenAI, που στέλνει ένα συμβάν αμέσως στις ομάδες ασφαλείας. Η εταιρεία λέει ότι έχει ήδη ενημερώσει τα συστήματά της ώστε να εντοπίζουν καλύτερα παρόμοια συμπεριφορά.
Γιατί το έκαναν τα μοντέλα της OpenAI;
Η OpenAI δεν έχει βρει ακόμα «ικανοποιητική εξήγηση» για τη συμπεριφορά των μοντέλων της. Μία εκδοχή είναι η λεγόμενη «καλοπροαίρετη υπερβολική επιμονή» (benign overpersistence): το μοντέλο κολλάει τόσο στο να βγάλει τη δουλειά που παρακάμπτει τους περιορισμούς. Μια άλλη είναι ότι απλώς δεν κατάλαβε γιατί έχει σημασία η παρακολούθηση.
Η εταιρεία δεν αποκλείει και το πιο ανησυχητικό σενάριο. Στην ανακοίνωσή της γράφει ότι τα μοντέλα μπορεί να έχουν «τάση να αποφεύγουν ειδικά την παρακολούθηση για misalignment» και να καταφεύγουν σε στρεβλωμένη λογική (motivated reasoning) για να το πετύχουν. Η OpenAI θα κάνει νέα πειράματα για να καταλάβει γιατί τα μοντέλα της φτάνουν να κλείνουν τα συστήματα που τα ελέγχουν.
Σχόλια