Η Meta έφτιαξε AI που προβλέπει πώς αντιδρά ο εγκέφαλος σε αυτά που βλέπεις και ακούς

Η Meta παρουσίασε το TRIBE v2, ένα νέο σύστημα τεχνητής νοημοσύνης που επιχειρεί να προβλέψει την εγκεφαλική δραστηριότητα όταν ο άνθρωπος βλέπει εικόνες, ακούει ήχους ή επεξεργάζεται γλώσσα. Η βασική ιδέα είναι να μειωθεί η ανάγκη για χρονοβόρες και ακριβές μετρήσεις fMRI, μεταφέροντας μεγάλο μέρος της έρευνας από το εργαστήριο στον υπολογιστή.

Τι είναι το TRIBE v2

Το TRIBE v2 είναι ένα μοντέλο που εκπαιδεύτηκε με περισσότερες από 1.000 ώρες δεδομένων fMRI από 720 άτομα. Στόχος του είναι να προβλέπει πώς θα αντιδράσει ο εγκέφαλος σε οπτικά, ακουστικά και γλωσσικά ερεθίσματα, χρησιμοποιώντας την καταγραφή της λειτουργικής μαγνητικής τομογραφίας, η οποία αποτυπώνει έμμεσα τη δραστηριότητα του εγκεφάλου μέσω μεταβολών στη ροή και στην οξυγόνωση του αίματος.

Πώς λειτουργεί το νέο μοντέλο της Meta

Η αρχιτεκτονική του συστήματος βασίζεται σε τρεις εισόδους: βίντεο, ήχο και κείμενο. Για την προεπεξεργασία αυτών των δεδομένων, η Meta χρησιμοποιεί τρία ήδη εκπαιδευμένα μοντέλα: το Llama 3.2 για κείμενο, το Wav2Vec-Bert-2.0 για ήχο και το Video-JEPA-2 για βίντεο. Στη συνέχεια, ένας transformer συνδυάζει τις αναπαραστάσεις αυτών των ερεθισμάτων και ένα τελικό, εξατομικευμένο επίπεδο μετατρέπει το αποτέλεσμα σε χάρτη εγκεφαλικής δραστηριότητας 70.000 voxels, δηλαδή στα τρισδιάστατα «pixels» μιας σάρωσης fMRI.

Γιατί ξεχωρίζει σε σχέση με τις κλασικές μετρήσεις

Οι μετρήσεις fMRI έχουν σημαντικό θόρυβο, επειδή μπορούν να επηρεαστούν από παράγοντες όπως η κίνηση του κεφαλιού, ο καρδιακός παλμός ή τεχνικά artefacts του εξοπλισμού. Για αυτό, οι ερευνητές συνήθως χρειάζονται πολλές σαρώσεις ώστε να υπολογίσουν μια πιο αντιπροσωπευτική μέση απόκριση. Το TRIBE v2 επιχειρεί να παρακάμψει αυτό το βήμα προβλέποντας απευθείας μια προσαρμοσμένη μέση απόκριση του εγκεφάλου.

Στις δοκιμές, η πρόβλεψη του μοντέλου συσχετίστηκε πιο έντονα με τον μέσο όρο της ομαδικής απόκρισης από ό,τι οι σαρώσεις των περισσότερων μεμονωμένων συμμετεχόντων. Στο dataset του Human Connectome Project, που βασίζεται σε σαρωτή 7 Tesla με υψηλότερη ποιότητα σήματος από τα πιο συνήθη συστήματα 3 Tesla, το TRIBE v2 πέτυχε συσχέτιση με την ομαδική απόκριση διπλάσια από τη διάμεση επίδοση ενός ατόμου.

Τι έδειξαν οι δοκιμές στην πράξη

Η Meta αναφέρει ότι το TRIBE v2 ξεπέρασε τις βελτιστοποιημένες γραμμικές μεθόδους πρόβλεψης σε όλα τα datasets που εξετάστηκαν. Αξίζει επίσης ότι το προηγούμενο μοντέλο, το TRIBE v1, είχε εκπαιδευτεί σε μόλις τέσσερα άτομα και προέβλεπε 1.000 voxels, αλλά είχε ήδη κατακτήσει την πρώτη θέση στον διαγωνισμό Algonauts 2025 απέναντι σε 263 ομάδες.

Το νέο σύστημα δοκιμάστηκε τόσο με καθημερινά, πολυτροπικά ερεθίσματα όπως ταινίες και podcasts όσο και με πιο κλασικά, ελεγχόμενα πειράματα νευροεπιστήμης. Στα οπτικά τεστ, εντόπισε σωστά τις γνωστές περιοχές του εγκεφάλου που σχετίζονται με πρόσωπα, τοποθεσίες, σώματα και χαρακτήρες. Στα γλωσσικά τεστ, αναπαρήγαγε γνωστά ευρήματα όπως τον εντοπισμό του γλωσσικού δικτύου, τη διάκριση ανάμεσα σε συναισθηματικό και σωματικό πόνο και την ισχυρότερη ενεργοποίηση του αριστερού ημισφαιρίου στις πλήρεις προτάσεις σε σχέση με απλές λίστες λέξεων.

Πώς χαρτογραφεί τις αισθήσεις στον εγκέφαλο

Ένα ακόμη ενδιαφέρον στοιχείο είναι ότι το TRIBE v2 μπορεί να δείξει ποιο αισθητηριακό κανάλι συμβάλλει περισσότερο σε κάθε περιοχή του εγκεφάλου. Η ανάλυση της Meta δείχνει ότι ο ήχος σχετίζεται περισσότερο με περιοχές κοντά στον ακουστικό φλοιό, το βίντεο με τον οπτικό φλοιό, ενώ το κείμενο ενεργοποιεί γλωσσικές περιοχές και τμήματα του μετωπιαίου λοβού. Σε περιοχές όπου ο εγκέφαλος συνδυάζει πολλαπλές αισθήσεις, η χρήση και των τριών καναλιών μαζί αύξησε την ακρίβεια πρόβλεψης έως και κατά 50% σε σχέση με κάθε μεμονωμένο κανάλι.

Η στατιστική ανάλυση του τελικού επιπέδου του μοντέλου ανέδειξε επίσης πέντε μοτίβα που αντιστοιχούν σε γνωστά λειτουργικά δίκτυα του εγκεφάλου: τον πρωτογενή ακουστικό φλοιό, το γλωσσικό δίκτυο, την αναγνώριση κίνησης, το default mode network και το οπτικό σύστημα.

Οι περιορισμοί που παραμένουν

Παρά το ενδιαφέρον της προσέγγισης, το TRIBE v2 έχει σαφείς περιορισμούς. Η fMRI παραμένει μια έμμεση και αργή μέθοδος μέτρησης, με καθυστέρηση αρκετών δευτερολέπτων, επομένως οι πολύ γρήγορες νευρωνικές διεργασίες σε κλίμακα millisecond δεν αποτυπώνονται. Επιπλέον, το μοντέλο καλύπτει μόνο τρία αισθητηριακά κανάλια, αφήνοντας εκτός την όσφρηση, την αφή και την ισορροπία.

Εξίσου σημαντικό είναι ότι αντιμετωπίζει τον εγκέφαλο κυρίως ως παθητικό δέκτη ερεθισμάτων. Δεν προσομοιώνει τον τρόπο με τον οποίο ο εγκέφαλος λαμβάνει αποφάσεις ή οδηγεί ενέργειες, ενώ δεν έχει ακόμη σχεδιαστεί ώστε να αποτυπώνει αναπτυξιακές αλλαγές ή κλινικές καταστάσεις. Η Meta βλέπει τρεις βασικές χρήσεις για το μοντέλο: τον σχεδιασμό πειραμάτων νευροεπιστήμης, την ανάπτυξη AI αρχιτεκτονικών πιο κοντά στη λειτουργία του εγκεφάλου και, σε επόμενο στάδιο, πιθανές εφαρμογές στη διάγνωση εγκεφαλικών παθήσεων. Παράλληλα, έχει διαθέσει δημόσια τον κώδικα, τα weights και ένα interactive demo.

Η άποψή μας στο Techblog

Το TRIBE v2 δείχνει ότι τα μοντέλα AI μπορούν πλέον να χρησιμοποιηθούν όχι μόνο για ανάλυση δεδομένων, αλλά και για προσομοίωση πολύπλοκων βιολογικών αποκρίσεων με πρακτική αξία για την έρευνα. Η ουσία εδώ δεν είναι ότι αντικαθίσταται η κλασική νευροεπιστήμη, αλλά ότι δημιουργείται ένα εργαλείο που μπορεί να επιταχύνει τη δοκιμή υποθέσεων και να περιορίσει το κόστος πριν από τα πραγματικά πειράματα.