Η κυρία Τζόνσον, ήταν 30 ετών δασκάλα, προπονήτρια βόλεϊ και μητέρα ενός βρέφους, όταν εξαιτίας εγκεφαλικού επεισοδίου, παρέλυσε και έχασε την ομιλία της.
Την Τετάρτη, οι επιστήμονες αποκάλυψαν μια καινοτόμα λύση, προκειμένου να βοηθήσουν την ίδια και άλλους ασθενείς να μιλήσουν ξανά. Νευροεπιστήμη και τεχνητή νοημοσύνη, έκανα… «θαύματα», αφού τα εμφυτευμένα ηλεκτρόδια αποκωδικοποίησαν τα εγκεφαλικά σήματα της κυρίας Τζόνσον καθώς προσπαθούσε σιωπηλά να πει προτάσεις. Η τεχνολογία μετέτρεψε τα σήματα του εγκεφάλου της σε γραπτή και φωνητική γλώσσα και επέτρεψε σε ένα avatar στην οθόνη του υπολογιστή να λέει τις λέξεις και να δείχνει χαμόγελα, σφιγμένα χείλη και άλλες εκφράσεις.
Η έρευνα, που δημοσιεύτηκε στο περιοδικό Nature, καταδεικνύει την πρώτη φορά που οι προφορικές λέξεις και οι εκφράσεις του προσώπου συντέθηκαν απευθείας από εγκεφαλικά σήματα, λένε οι ειδικοί. Η κυρία Τζόνσον επέλεξε avatar, ένα πρόσωπο που μοιάζει με το δικό της και οι ερευνητές επιχειρούν να αναπτύξουν τη φωνή του avatar.
«Με άφησε να νιώσω σαν να ήμουν και πάλι ολόκληρος άνθρωπος», μου έγραψε η κυρία Τζόνσον, 48 ετών σήμερα, όπως αποκαλύπτει ο επικεφαλής καθηγητής της έρευνας.
Σε προηγμένο στάδιο οι επιχειρήσεις πραγμάτωσης
Ο στόχος είναι να βοηθηθούν άτομα που δεν μπορούν να μιλήσουν λόγω εγκεφαλικών επεισοδίων ή καταστάσεων όπως η εγκεφαλική παράλυση και η αμυοτροφική πλευρική σκλήρυνση. Για να λειτουργήσει, το εμφύτευμα της κυρίας Τζόνσον πρέπει να συνδεθεί με καλώδιο από το κεφάλι της σε έναν υπολογιστή, αλλά η ομάδα της και άλλοι αναπτύσσουν ασύρματες εκδόσεις. Τελικά, οι ερευνητές ελπίζουν ότι οι άνθρωποι που έχουν χάσει την ομιλία τους μπορούν να συνομιλήσουν σε πραγματικό χρόνο μέσω ηλεκτρονικών εικόνων του εαυτού τους που μεταδίδουν τόνο, κλίση και συναισθήματα όπως χαρά και θυμό.
«Αυτό που είναι πολύ συναρπαστικό είναι ότι μόνο από την επιφάνεια του εγκεφάλου, οι ερευνητές μπόρεσαν να πάρουν πολύ καλές πληροφορίες σχετικά με αυτά τα διαφορετικά χαρακτηριστικά της επικοινωνίας», δήλωσε ο Δρ Παράγκ Πατίλ, νευροχειρουργός και βιοϊατρικός μηχανικός στο Πανεπιστήμιο του Μίσιγκαν.
Η εμπειρία της κυρίας Τζόνσον αντικατοπτρίζει τη γρήγορη πρόοδο της νέας τεχνολογίας. Πριν από δύο χρόνια, η ίδια ομάδα δημοσίευσε έρευνα στην οποία ένας παράλυτος άνδρας, χρησιμοποίησε ένα απλούστερο εμφύτευμα και αλγόριθμο για να δημιουργήσει 50 βασικές λέξεις όπως «γεια σου» και «πεινασμένος» που εμφανίζονταν ως κείμενο σε έναν υπολογιστή, αφού προσπάθησε να τα πει.
Το εμφύτευμα τώρα, έχει σχεδόν τα διπλάσια ηλεκτρόδια, αυξάνοντας την ικανότητά του να ανιχνεύει εγκεφαλικά σήματα από αισθητηριακές και κινητικές διεργασίες που σχετίζονται με την ομιλία και συνδέονται με το στόμα, τα χείλη, τη γνάθο, τη γλώσσα και τον λάρυγγα. Οι ερευνητές εκπαίδευσαν την εξελιγμένη τεχνητή νοημοσύνη να αναγνωρίζει όχι μεμονωμένες λέξεις, αλλά ηχητικές μονάδες, που μπορούν τελικά να σχηματίσουν οποιαδήποτε λέξη.
«Είναι σαν ένα αλφάβητο ήχων ομιλίας», είπε ο David Moses, ο διευθυντής του έργου.
Ενώ το παλαιότερο σύστημα παρήγαγε 15 έως 18 λέξεις το λεπτό, το νέο ποσοστό ήταν 78, χρησιμοποιώντας μια πολύ μεγαλύτερη λίστα λεξιλογίου. Η τυπική ομιλία είναι περίπου 160 λέξεις το λεπτό.
Όταν οι ερευνητές άρχισαν να εργάζονται μαζί της, δεν περίμεναν να δοκιμάσουν το avatar ή τον ήχο. Αλλά τα πολλά υποσχόμενα αποτελέσματα έδωσαν «το πράσινο φως για να πούμε, «Εντάξει, ας προσπαθήσουμε τα πιο σκληρά πράγματα, ας το κάνουμε», είπε ο Δρ Μόουζες.
Προγραμμάτισαν επομένως, έναν αλγόριθμο για την αποκωδικοποίηση της εγκεφαλικής δραστηριότητας σε ακουστικές κυματομορφές, παράγοντας φωνητική ομιλία.
Σε συνεργασία με μια εταιρεία που παράγει κινούμενα σχέδια προσώπου, οι ερευνητές προγραμμάτισαν το avatar με δεδομένα για τις κινήσεις των μυών. Στη συνέχεια, η κυρία Τζόνσον προσπάθησε να κάνει εκφράσεις προσώπου ώστε να δείξει χαρούμενη, λυπημένη και έκπληκτη, σε υψηλή, μεσαία και χαμηλή ένταση. Προσπάθησε επίσης να κάνει διάφορες κινήσεις στο σαγόνι, τη γλώσσα και τα χείλη. Τα αποκωδικοποιημένα σήματα του εγκεφάλου της μεταφέρθηκαν στο πρόσωπο του avatar.
Μέσω του avatar, είπε, «Νομίζω ότι είσαι υπέροχος» και «Πώς σου φαίνεται η τεχνητή φωνή μου;».
«Το να ακούς μια φωνή παρόμοια με τη δική σου είναι συναισθηματικό», είπε η κυρία Τζόνσον στους ερευνητές.
Αυτή και ο σύζυγός της, Γουίλιαμ, ταχυδρομικός υπάλληλος, κατάφεραν να συνομιλήσουν. Είπε μέσω του avatar: «Μη με κάνεις να γελάω». Ρώτησε πώς ένιωθε για τις ευκαιρίες των Toronto Blue Jays. «Όλα είναι πιθανά», απάντησε εκείνη.
Το πεδίο κινείται τόσο γρήγορα που οι ειδικοί πιστεύουν ότι οι ομοσπονδιακά εγκεκριμένες ασύρματες εκδόσεις ενδέχεται να είναι διαθέσιμες μέσα στην επόμενη δεκαετία. Διαφορετικές μέθοδοι μπορεί να είναι ακόμα πιο χρήσιμες για ορισμένους ασθενείς.
Την Τετάρτη, το Nature δημοσίευσε επίσης μια μελέτη άλλης ομάδας που περιελάμβανε ηλεκτρόδια εμφυτευμένα βαθύτερα στον εγκέφαλο, ανιχνεύοντας δραστηριότητα μεμονωμένων νευρώνων. Η μέθοδός τους μπορεί να είναι πιο ακριβής αλλά λιγότερο σταθερή επειδή τα μοτίβα πυροδότησης συγκεκριμένων νευρώνων μπορούν να μετατοπιστούν.
Το σύστημά τους αποκωδικοποιούσε προτάσεις με 62 λέξεις το λεπτό που ο συμμετέχων, προσπάθησε να χρησιμοποιήσει αυξημένο λεξιλόγιο. Αυτή η μελέτη δεν περιελάμβανε avatar ή αποκωδικοποίηση ήχου.
Και οι δύο μελέτες χρησιμοποίησαν προγνωστικά γλωσσικά μοντέλα για να βοηθήσουν να μαντέψουν λέξεις σε προτάσεις. Τα συστήματα δεν ταιριάζουν μόνο με λέξεις, αλλά «ανακαλύπτουν νέα γλωσσικά μοτίβα», καθώς βελτιώνουν την αναγνώριση της νευρικής δραστηριότητας των συμμετεχόντων, δήλωσε η Melanie Fried-Oken, ειδική στην υποστηρικτική τεχνολογία ομιλίας στο Πανεπιστήμιο Υγείας & Επιστήμης του Όρεγκον, η οποία συμβουλεύτηκε τη μελέτη του Stanford.
Καμία προσέγγιση δεν ήταν απολύτως ακριβής. Όταν χρησιμοποιούν μεγάλα σύνολα λεξιλογίου, αποκωδικοποιούσαν εσφαλμένα μεμονωμένες λέξεις.
Οι ειδικοί τονίζουν ότι αυτά τα συστήματα δεν διαβάζουν το μυαλό ή τις σκέψεις των ανθρώπων. Ωστόσο, η ανάγνωση μυαλού μπορεί τελικά να είναι δυνατή, εγείροντας ζητήματα ηθικής και ιδιωτικότητας, σύμφωνα με τον Δρ Fried-Oken.
Η αποφασιστικότητα ήταν πάντα μέρος της φύσης της Τζόνσον κι αυτό έπιαξε ξεχωριστό ρόλο, από την πρώτη φορά που επικοινώνησε με την ερευνητική ομάδα μέσω του συζήγου της, όταν εκείνος το 2021, της έδειξε το άρθρο της προηγούμενης μελέτης τους.
Η κυρία Τζόνσον επικοινώνησε μαζί με email που συντάχθηκαν με το πιο στοιχειώδες βοηθητικό σύστημα που χρησιμοποιεί στο σπίτι. Φορά γυαλιά οράσεως με αντανακλαστική κουκκίδα που στοχεύει σε γράμματα και λέξεις στην οθόνη του υπολογιστή.
Είναι αργό όμως, επιτρέποντάς της να παράγει μόνο 14 λέξεις το λεπτό. Αλλά είναι πιο γρήγορος από τον μόνο άλλο τρόπο που μπορεί να επικοινωνήσει στο σπίτι: χρησιμοποιώντας έναν πλαστικό πίνακα επιστολών.
Το προσωπικό της έργο
Η αδυναμία να έχουν ελεύθερες συζητήσεις τους απογοητεύει. Όταν συζητάμε λεπτομερή θέματα, ο κ. Τζόνσον μερικές φορές λέει κάτι και λαμβάνει την απάντησή της μέσω email την επόμενη μέρα.
«Η Ann ήταν πάντα πολύ ομιλιτική στη ζωή, ένα εξωστρεφές, κοινωνικό άτομο που του αρέσει να μιλάει, και εγώ όχι», είπε, αλλά το εγκεφαλικό της «έκανε τους ρόλους να αντιστραφούν, και τώρα υποτίθεται ότι είμαι ο ομιλητής».
Η κυρία Τζόνσον δίδασκε μαθηματικά γυμνασίου υγεία και φυσική αγωγή και προπονούσε βόλεϊ και μπάσκετ όταν έπαθε εγκεφαλικό, ενώ έκανε ζέσταμα για να παίξει βόλεϊ. Μετά από ένα χρόνο σε νοσοκομείο και κέντρο αποκατάστασης, επέστρεψε στο σπίτι με τον 10χρονο θετό γιο της και την 23 μηνών κόρη της, η οποία έχει πλέον μεγαλώσει χωρίς να θυμάται να ακούει τη μητέρα της να μιλάει, είπε ο κ. Τζόνσον.
Για πέντε χρόνια μετά το εγκεφαλικό, ήταν τρομοκρατημένη. «Νόμιζα ότι θα πέθαινα ανά πάσα στιγμή», έγραψε, προσθέτοντας, «Το μέρος του εγκεφάλου μου που δεν ήταν παγωμένο ήξερε ότι χρειαζόμουν βοήθεια, αλλά πώς θα επικοινωνούσα;»
Σταδιακά, η επιμονή της επανήλθε στην επιφάνεια. Αρχικά, «οι μύες του προσώπου μου δεν δούλευαν καθόλου», έγραψε, αλλά μετά από περίπου πέντε χρόνια, μπορούσε να χαμογελάσει κατά βούληση.
Τρέφονταν εξ ολοκλήρου με σωλήνα για περίπου μια δεκαετία, αλλά αποφάσισε ότι ήθελε να δοκιμάσει στερεά τροφή.
Όταν η κυρία Τζόνσον έμαθε ότι χρειάζονταν σύμβουλοι τραυμάτων μετά από ένα θανατηφόρο δυστύχημα με λεωφορείο στο Σασκάτσουαν το 2018, αποφάσισε να παρακολουθήσει ένα μάθημα πανεπιστημιακής συμβουλευτικής στο διαδίκτυο.
Ο στόχος της παραμένει να βοηθά τους επιζώντες από τραύματα.
Έχει κερδίσει και κάτι άλλο. Μετά το εγκεφαλικό, «πόνεσα πολύ όταν έχασα τα πάντα», έγραψε. «Είπα στον εαυτό μου ότι δεν θα ξαναβάλω τον εαυτό μου στη σειρά για αυτή την απογοήτευση».
Τώρα, «Νιώθω ότι έχω ξανά δουλειά», έγραψε.
Εξάλλου, η τεχνολογία την κάνει να φαντάζεται ότι είναι στον «Πόλεμο των Άστρων»: «Έχω συνηθίσει κάπως να έχω τα μυαλά μου στα ύψη».
