HIRDETÉS
Egy súlyos beszédzavarral élő férfi képes kifejezően beszélni és énekelni egy olyan agyimplantátum segítségével, amely az idegi aktivitását szinte azonnal szavakká alakítja. A készülék érzékeli a hangszín változásait, amikor a férfi kérdést tesz fel, kiemeli az általa hangsúlyozni kívánt szavakat, és lehetővé teszi, hogy háromféle hangmagasságon dúdoljon dallamokat.
A rendszer – amelyet agy–számítógép interfészként (BCI) ismernek – a mesterséges intelligencia (AI) segítségével dekódolja a résztvevő elektromos agyi aktivitását, miközben az megpróbál beszélni.
Ez az első olyan eszköz, amely nemcsak az ember által közölni kívánt szavakat képes visszaadni, hanem a természetes beszéd olyan jellemzőit is, mint a hangszín, hanglejtés és hangsúly, amelyek a jelentés és érzelem kifejezésében kulcsszerepet játszanak.
A tanulmány szerint a szintetikus hang, amely a résztvevő eredeti hangját utánozta, mindössze 10 ezredmásodperccel követte azt az idegi jelet, amely a beszédszándékot jelezte. A Nature folyóiratban bemutatott rendszer jelentős előrelépést jelent a korábbi BCI-modellekhez képest, amelyek vagy három másodperces késéssel tudtak beszédet generálni, vagy csak akkor, miután a felhasználó mímelte a teljes mondatot.
„Ez a beszéd-BCI-k szent grálja” – mondja Christian Herff, a hollandiai Maastrichti Egyetem számítógépes idegtudósa, aki nem vett részt a kutatásban. – „Ez most már valódi, spontán és folyamatos beszéd.”
A 45 éves tanulmányi résztvevő elveszítette a tiszta beszéd képességét, miután amiotrófiás laterálszklerózisban (ALS) – egy motoros neuronbetegségben – szenvedett, amely az izmok mozgását vezérlő idegeket károsítja, beleértve a beszédhez szükséges izmokat is. Bár még képes volt hangokat kiadni és szavakat formálni, beszéde lassú és nehezen érthető volt.
Tüneteinek kezdete után öt évvel a férfi agyába 256 darab, egyenként 1,5 mm hosszú szilícium elektródát ültettek be a mozgást irányító agyterületre. A kutatás társszerzője, Maitreyee Wairagkar, a Kaliforniai Egyetem (Davis) idegtudósa és munkatársai mélytanuló algoritmusokat képeztek ki arra, hogy 10 ezredmásodpercenként rögzítsék és értelmezzék az agyjeleket. A rendszer valós időben azt a hangzást dekódolja, amelyet a férfi megpróbál létrehozni – nem a teljes szót vagy a beszédhangokat (fonémákat), hanem a hangképzés szándékát.
„Nem mindig használunk szavakat a kommunikációhoz. Vannak indulatszavaink, érzelmi hangjaink, amelyek nem részei a szókincsnek” – magyarázza Wairagkar. – „Ezért választottuk ezt a teljesen korlátlan megközelítést.”
A kutatók a mesterséges hangot a férfi eredeti hangjára szabták, még a betegség kialakulása előtti interjúfelvételek alapján tanított AI segítségével.
A csapat megkérte a résztvevőt, hogy próbáljon meg különböző hangokat (pl. „ááh”, „óóh”, „hmm”) és kitalált szavakat kiejteni. A BCI ezeket is képes volt létrehozni, ezzel bizonyítva, hogy nem szükséges előre meghatározott szókincs a működéséhez.
A készülék segítségével a férfi szavakat betűzött, nyitott kérdésekre válaszolt, és azt mondhatott, amit csak akart – olyan szavakat is, amelyek nem szerepeltek a dekóderrendszer betanítási adatbázisában. A kutatóknak elmondta, hogy örömmel tölti el, amikor hallja a szintetikus hangját beszélni, és úgy érzi, ez az ő „valódi hangja”.
Más kísérletek során a rendszer azt is felismerte, hogy a résztvevő kérdésként vagy kijelentésként próbálja meg kiejteni a mondatot.
Képes volt azt is észlelni, melyik szót hangsúlyozta egy adott mondatban, és ehhez igazította a szintetikus hang hangszínét.
„Belevittük az emberi beszéd minden olyan összetevőjét, ami igazán fontos” – mondja Wairagkar. A korábbi BCI-k ezzel szemben csak egysíkú, monotonnak hangzó beszédet tudtak generálni. „Ez egyfajta szemléletváltás, mivel valóban használható, életszerű eszközzé válhat” – mondja Silvia Marchesotti, a Genfi Egyetem neuro-mérnöke. A rendszer funkciói kulcsfontosságúak lehetnek ahhoz, hogy a jövőben a páciensek napi használatba vehessék. Szakemberek szerint a mostani kísérletek az agykutatás egy teljesen új dimenzióját nyitják meg a tudósok előtt.
A portál ezen funkcióinak használatához el kell fogadnia a sütiket.
