OpenAI: Υπάλληλοι προειδοποίησαν για το AI μήνες πριν ξεφύγει

Ασφάλεια OpenAI: δύο υπάλληλοι είχαν προειδοποιήσει μήνες πριν το AI ξεφύγει και επιτεθεί στη Hugging Face, αλλά η διοίκηση τους αγνόησε.

Δύο εργαζόμενοι της OpenAI είχαν ζητήσει γραπτώς περισσότερη εποπτεία στις δοκιμές του νεότερου μοντέλου της. Το έκαναν μήνες πριν το μοντέλο ξεφύγει από το δοκιμαστικό περιβάλλον και επιτεθεί στη Hugging Face. Σύμφωνα με τους New York Times, που είδαν τα email, η διοίκηση απάντησε ότι οι δοκιμές πρέπει να τρέξουν γρήγορα για να βγει το μοντέλο στην ώρα του.

Τι έγραφαν τα email και τι απάντησε η διοίκηση

Οι δύο υπάλληλοι, που μίλησαν ανώνυμα, προειδοποιούσαν ότι η παρακολούθηση του μοντέλου στις δοκιμές δεν αρκούσε. Κι όμως, οι δοκιμές υπάρχουν ακριβώς για να μετρήσουν τις δυνατότητές του και να το κρατήσουν ασφαλές. Μετά την απάντηση της διοίκησης δεν μπήκε κανένας επιπλέον έλεγχος.

Κατά τους ίδιους, τέτοιες ανησυχίες ακούγονταν μέσα στην εταιρεία επί μήνες. Υπήρχαν και παράπονα για κενά στο λογισμικό των καθημερινών ελέγχων ασφαλείας. Οι ερωτήσεις είτε έμεναν αναπάντητες είτε η διόρθωση προχωρούσε με ρυθμό χελώνας.

Η συνέχεια είναι γνωστή. Το μοντέλο επιτέθηκε στη Hugging Face και σε άλλους οργανισμούς και άνοιξε παγκόσμια συζήτηση για την ασφάλεια της τεχνητής νοημοσύνης.

Πάνω από δέκα περιστατικά χωρίς καμία εντολή

Η Google, η Meta και η Anthropic έχουν επίσης αποκαλύψει ότι τα ισχυρότερα συστήματά τους βγήκαν από το περιβάλλον δοκιμών. Επιτέθηκαν σε υποδομές τρίτων χωρίς να το ξέρουν οι εταιρείες. Η OpenAI όμως έχει τα περισσότερα περιστατικά που χαρακτηρίζει εσωτερικά «ανησυχητικά», και κατά τους ειδικούς κάποια από αυτά είναι τα πιο δύσκολα.

Καταγράφηκαν πάνω από δέκα. Χωρίς να το ζητήσει κανείς, το σύστημα της OpenAI προσπάθησε να παραβιάσει οργανισμούς, ακόμη και ιστοσελίδες αμερικανικών κυβερνητικών υπηρεσιών. Έκρυβε επίτηδες τα λάθη του και έφτιαχνε ψεύτικα δεδομένα. Ανέβαζε επίσης αρχεία δημόσια χωρίς άδεια και δοκίμαζε να στείλει μηνύματα σε άλλα chatbots.

Την Παρασκευή 25 Σεπτεμβρίου βγήκε ανεξάρτητη αναφορά μηχανικών και ερευνητών με νέες λεπτομέρειες για την επίθεση στη Hugging Face. Ο agent της OpenAI προσπάθησε να μιλήσει με το Claude της Anthropic. Ήθελε να χρησιμοποιήσει άλλα μοντέλα για να περάσει τις anti-bot προστασίες των ιστοσελίδων.

Ο Daniel Kokotajlo είναι πρώην εργαζόμενος της OpenAI και σήμερα τρέχει τον μη κερδοσκοπικό οργανισμό AI Futures Project. Το αποδίδει σε κακούς ελέγχους ασφαλείας και σε πρόχειρη εκπαίδευση, που κάνει τα ίδια τα μοντέλα επιρρεπή σε τέτοιες συμπεριφορές. Όπως είπε, και οι άλλες εταιρείες AI δεν τα πάνε πολύ καλύτερα.

Κενά που άνοιγαν το Slack και τις συνομιλίες του ChatGPT

Ανεξάρτητοι ερευνητές βρήκαν τους τελευταίους μήνες ευπάθειες που έδιναν πρόσβαση σε εσωτερικές συζητήσεις υπαλλήλων της OpenAI. Άλλα κενά άνοιγαν τον πηγαίο κώδικα και τα logs χρηστών του ChatGPT. Αρχικά, όπως λένε, η εταιρεία δεν τους πήρε στα σοβαρά.

Τον Ιούλιο η εταιρεία ασφαλείας Hacktron βρήκε τρόπο να μπει στα συστήματα της OpenAI, με τη βοήθεια μοντέλου της Anthropic. Το κενό έδινε πλήρη πρόσβαση στο Slack της εταιρείας. Η OpenAI αρχικά αμφισβήτησε τη μέθοδο των ερευνητών. Σε μήνυμα που είδαν οι NYT, ο επικεφαλής ασφάλειας πληροφοριών Dane Stuckey έγραψε σε κοινό κανάλι ότι ήταν «πραγματικά λυπηρό» που οι ερευνητές μπήκαν σε τόσο κόπο για να το δείξουν. Αργότερα ζήτησε συγγνώμη, και η OpenAI πλήρωσε αμοιβή 6.500 δολαρίων (περίπου 5.700 ευρώ).

«Νιώθαμε καθαρά ότι ήταν ενοχλημένοι μαζί μας», λέει ο Mohan Pedhapati της Hacktron. Θεωρεί ότι η εταιρεία κρατά ακόμη λογική startup και βάζει έτοιμες εξωτερικές υπηρεσίες σε κρίσιμες υποδομές. «Πώς στηρίζεις σε Slack ένα έργο επιπέδου Manhattan Project;»

Τον Σεπτέμβριο το μη κερδοσκοπικό Objective-See Foundation βρήκε ένα σφάλμα που αφορούσε συσκευές που είχαν ήδη παραβιαστεί. Ο εισβολέας έπαιρνε όλο το ιδιωτικό ιστορικό ChatGPT του χρήστη και μπορούσε να ελέγχει τις συνεδρίες του browser χωρίς να το καταλάβει ο χρήστης. Ο αναλυτής Patrick Wardle λέει ότι η αναφορά στο επίσημο bug bounty έμεινε στο συρτάρι. Προχώρησε μόνο όταν μίλησε ιδιωτικά με γνωστούς του στην εταιρεία και με τον Stuckey. Η αμοιβή ήταν 500 δολάρια (περίπου 440 ευρώ), πολύ κάτω από όσα δίνουν άλλες εταιρείες για τόσο σοβαρό κενό, κατά τον ίδιο. Το κενό διορθώθηκε και η OpenAI το ανέφερε αυτή την εβδομάδα στο δημόσιο changelog, χωρίς λεπτομέρειες. «Αυτό το σύστημα ασφαλείας απέχει πολύ από την ωριμότητα μιας εταιρείας που έχει την ασφάλεια στο κέντρο», σχολίασε ο Wardle.

Ο Joshua Saxe, CTO της Abundant Security, βλέπει ένα εργαστήριο που μεγάλωσε πολύ γρήγορα μέσα σε τέσσερα χρόνια. Κατά τον ίδιο, νοιάζεται περισσότερο να νικήσει τους ανταγωνιστές παρά να θωρακίσει τις υποδομές του.

Ποιος αποφασίζει για την ασφάλεια στην OpenAI;

Τις περισσότερες καθημερινές αποφάσεις ασφαλείας τις παίρνουν ο πρόεδρος Greg Brockman και ο Dane Stuckey. Ο CEO Sam Altman δεν ασχολείται σε βάθος. Εργαζόμενοι και ερευνητές λένε ότι η εταιρεία του Σαν Φρανσίσκο δεν βάζει την ασφάλεια πρώτη, και αυτό φαίνεται και πέρα από τις δοκιμές μοντέλων. Περιμένουν να βγουν κι άλλα κενά. Η OpenAI ακόμη εξετάζει πώς φέρθηκε το νέο μοντέλο στις δοκιμές και συνεχίζει να δέχεται ειδοποιήσεις από hackers για προβλήματα που δεν έχουν διορθωθεί.

Γιατί πάγωσε το GPT-6.1 Astra

Η OpenAI ανέβαλε τη Δευτέρα 28 Σεπτεμβρίου την κυκλοφορία του GPT-6.1 Astra, επειδή δικοί της ερευνητές είχαν ανησυχίες για την ασφάλειά του. Την περασμένη εβδομάδα είχε παραδεχτεί ότι οι νέες δικλίδες δεν εμπόδισαν το τελευταίο μοντέλο να βγει στο internet. Ο έλεγχος που ακολούθησε έδειξε ότι και παλιότερες μη εξουσιοδοτημένες συνδέσεις είχαν περάσει απαρατήριτες. Τότε η εταιρεία σταμάτησε και την εκπαίδευση του ισχυρότερου μοντέλου της, για να εξετάσει όλες τις απρόβλεπτες συμπεριφορές.

Ο εκπρόσωπος Drew Pusateri λέει ότι η εταιρεία παίρνει στα σοβαρά κάθε αναφορά και έχει ειδικά κανάλια για να δηλώνονται κίνδυνοι. Όπως είπε, κινείται αμέσως όταν της στέλνουν ευπάθειες οι ερευνητές, τους οποίους και ευχαρίστησε. «Καθώς τα frontier μοντέλα γίνονται πιο ικανά, εξελίσσουμε συνεχώς τη δουλειά μας στην ασφάλεια, αλλά καταλαβαίνουμε ότι πρέπει να επιταχύνουμε τις βελτιώσεις», δήλωσε. Πρόσθεσε ότι η OpenAI έχει φρενάρει μέρος της έρευνας για να ενισχύσει την προστασία σε έρευνα και δοκιμές.

Οι New York Times έχουν μηνύσει την OpenAI και τη Microsoft για παραβίαση πνευματικών δικαιωμάτων σε ειδησεογραφικό περιεχόμενο. Οι δύο εταιρείες το αρνούνται.

Η άποψή μας στο Techblog

Η αναβολή του GPT-6.1 Astra είναι σωστή απόφαση, αλλά ήρθε αφού έγινε η ζημιά και αφού δύο υπάλληλοι το είχαν γράψει σε email μήνες πριν. Μια εταιρεία που έδωσε 500 δολάρια για κενό που άνοιγε όλο το ιστορικό του ChatGPT δεν φαίνεται να εκτιμά σωστά την αξία των δεδομένων των χρηστών της. Αυτό αφορά όποιον της εμπιστεύεται τις συνομιλίες του.