A szem a lélek tükre. A tekintetből sok mindent próbálnak kikövetkeztetni az emberek, de az agykutatók számára is érdekes lehet, hogy egy kísérleti helyzetben hova néz a kísérleti résztvevő. A szemmozgás-követés a kognitív pszichológia egyik fontos módszere, fontos például a figyelmi folyamatok, a döntéshozás, és a képzelet vizsgálatában is. A szemmozgás-követést agyi képalkotással is szívesen párosítanák a kutatók, ez azonban időigényes és költséges jelenleg. Egy német kutatócsoport olyan módszert fejlesztett ki, amivel minimális előkészületet igényel a szemmozgások követése funkcionális mágneses rezonancia képalkotással (fMRI).
A szemmozgás-követés teljesen természetes dolog. Az ember spontán követi társai tekintetét, hogy tudja, azok mire fordítják figyelmüket. Még az állatok között is vannak fajok, melyek érzékenyek erre a társas információra. A tekintet követése a tudomány számára is érdekesnek bizonyult. Az első szemmozgás követéses vizsgálatot a francia szemész, Luis Émile Javal végezte 1879-ben. Javal azt vizsgálta, hogyan mozog a szem olvasás közben. A vizsgálathoz egy tükröt helyezett egy könyv egyik lapjára, majd a kísérleti résztvevő háta mögül figyelte egy nagyító segítségével, hogyan mozognak a résztvevő szemei, miközben olvas. Azt a meglepő megfigyelést tette, hogy olvasás közben a tekintet nem egyenes vonalban halad végig a szövegen, hanem ugrál, gyors mozdulatokkal fókuszál a szöveg pontjaira (ezeket a mozdulatokat nevezik szakkádoknak).
Mire jó a szemmozgás követése?
A XX. század elején is volt néhány érdekes próbálkozás a szemmozgás követésére. Egy kutató például olyan kontaktlencsét készített, melyhez egy alumíniumból készült pálcácska volt rögzítve, ennek segítségével figyelte meg a szemek mozdulatait. Kissé talán extrém megoldás, de az tény, hogy manapság is a közvetlenül a szemre helyezhető eszközök produkálják a legpontosabb méréseket. A XX. század derekán elterjedtek az elektrofiziológiai módszerek is, amikkel a szemmozgást is lehetséges követni. A 40-es években tört előre az elektroenkefalográfia, amellyel az agy által létrehozott elektromos jeleket rögzítik. A módszert hamar elkezdték az alvás vizsgálatára használni és egy ilyen kísérlet során fedezték fel amerikai kutatók, hogy az alvás bizonyos szakaszaiban a szemek szüntelenül mozognak.
Később aztán megjelentek kamerás módszerek is, melyek a szemekről készült felvételek alapján határozzák meg a tekintet irányát. A szem visszaveri az infravörös sugárzást, és vannak olyan rendszerek is, melyek ez alapján számítják ki hova fókuszálnak a szemek. Manapság akár már a laptopok beépített webkamerájával is lehetséges követni a szemmozgásokat, noha egyelőre ez még nem kifejezetten pontos.
A szemmozgás követését manapság előszeretettel használják a marketingben, illetve a felhasználói felületek kialakítása (“user interface design” – UX) területén. A szemmozgások alapján következtetni lehet arra, hogy egy bizonyos vizuális felületen mi ragadja meg az ember tekintetét. Ez hasznos azoknak, akik hatékony reklámokat vagy könnyen kezelhető, felhasználóbarát, interaktív felületeket igyekeznek létrehozni.
A szemmozgások azonban a tudomány számára is fontosak, hiszen következtetni lehet belőlük például a figyelmi folyamatokra, de akár az agyműködés bizonyos részleteire is (pl. a pupilla átmérőjének változásai összhangban vannak egy agytörzsi sejtcsoport aktivitásával). Röviden tehát a szemmozgások betekintést adhatnak az elmében zajló folyamatokra, vagy akár az agy élettani állapotára is.
Szemmozgás követés mágneses rezonanciával?
Noha a szemmozgás-követés számos fontos eredményt hozott a XX. század második felében, 2000 környékén az emberi résztvevőkkel végzett kísérletezésben átvette a vezető szerepet az agyi képalkotás. A képalkotás máig az egyik legfontosabb módszer az agykutatásban, hiszen a segítségével közel valós időben követhető az emberi agy aktivitása, miközben a kísérleti résztvevők különféle feladatokat végeznek el.
A képalkotó eljárások az agyi vérátáramlás megváltozását követik valójában, ez alapján lehet következtetni az idegi tevékenység fokozódására. A pozitron emissziós tomográfia (PET) a vérbe juttatott radioaktív anyagok eloszlását, a funkcionális mágneses rezonancia képalkotás pedig a hemoglobin oxigént kötő és nem kötő változatának arányát méri. Manapság az fMRI egyeduralkodó, hiszen a PET radioaktív anyagok testbe juttatását igényli, ami valamelyest veszélyezteti az egészséget. Persze az fMRI használatának is megvannak a maga hátulütői: a résztvevőnek mozdulatlanul kell feküdnie egy rendkívül zajos csőben. Ennek megfelelően az fMRI vizsgálatokban jellemzően valamilyen egyszerű ingerbemutatás zajlik, például képeket néznek a kísérleti résztvevők. Az ilyen jellegű feladatoknál fontos lehet tudni, hogy a bemutatott ingerek mely részeit nézik a kísérleti résztvevők. A szemmozgás-követő berendezéseket azonban nem egyszerű dolog beépíteni a mágneses rezonanciás gépekbe. Egy német kutatócsoport viszont egy lassan 20 éves vizsgálat eredményei alapján felvetette, hogy talán az fMRI felvételekből is lehetséges lenne megállapítani a tekintet irányultságát.
2002-ben, amikor az fMRI világhódító útjára indult az agykutatásban, publikáltak egy anyagot, mely szerint az fMRI felvételek alapján meghatározható a szemek állása. A kutatók kalibrációs módszereket alkalmazva viszonylag jól tudták közelíteni a tekintet irányultságát és arra is felhívták a figyelmet, hogy a szemek követésével kiszűrhető a szemmozgásokból eredő zaj az fMRI felvételekben. A német kutatók ezen felbuzdulva a legmodernebb mesterséges intelligencián alapuló módszerekkel felvértezve vágtak neki az fMRI-s szemmozgáskövetésnek.
DeepMReye: mély neurális hálózat elemzi a mágneses rezonanciás felvételeket a szemmozgásokat kutatva
A kutatók először néhány résztvevő segítségével rögzítettek fMRI felvételeket, miközben azok a képernyő előre meghatározott pontjaira fókuszálták tekintetüket. Az így gyűjtött adatot egy mesterséges neurális háló trenírozására használták. A mesterséges neurális háló egy tanuló algoritmus. Amennyiben az algoritmus feldolgozhat olyan információt, például képeket, amelyekhez hozzá van rendelve egy elvárt kimenet, például hogy a kijelző mely pontjára fókuszál éppen a tekintet, akkor az algoritmus képessé válik újabb képek esetében a tekintet irányának meghatározására.
Pontosan ez történt ebben a vizsgálatban is. A kutatók ezután a “kiképzett” hálót 6 másik adatsoron is kipróbálták, melyekhez szintén tartozott a szemmozgásokra vonatkozó adat. Az eredmények szerint a DeepMReye névre keresztelt hálózat az esetek többségében nagyjából 1 fokos hibával határozta meg a szemek állását. Ez az eredmény kifejezetten jó, a kamerás rendszerek valamivel 1 fok alatti teljesítményt nyújtanak. A módszer óriási előnye, hogy nem igényel extra erőfeszítést azokon túl, amik az fMRI használatához egyébként is szükségesek. Ráadásul lehetséges, hogy a korábbi adatsorokon is használható lesz a DeepMReye. A szemek ugyanis minden fMRI felvételen szerepelnek és úgy tűnik, hogy a hálózat az esetek jelentős részében nagy biztossággal meg tudja állapítani a szemek helyzetét, sőt arra vonatkozólag is ad becslést, hogy mennyire megbízhatók az eredményei. Ez számos vizsgálatban lehet kimagaslóan fontos, hiszen a tekintet elárulhatja, hogy éppen a vizuális tér mely részletét dolgozza fel a kísérleti személy. A módszer ráadásul arra is lehetőséget ad, hogy nagyobb biztossággal szűrjék ki az fMRI felvételekből a szemmozgásból adódó jeleket.
A módszer ugyan nem olyan pontos, mint a legmodernebb szemmozgás-követő berendezések, de a szakértők szerint ezen azzal is sokat lehet javítani, ha egy-egy vizsgálat előtt néhány személlyel elvégeznek egy kalibrációs mérést. Ezen adatok alapján a DeepMReye feltehetőleg már elfogadható pontossággal tudná meghatározni a tekintet irányát a további adatokon is. A DeepMReye idői felbontása persze messze elmarad a modern kamerás rendszerekétől, azonban rengeteg időt és pénzt spórolhat a kutatóknak, ha nem kell az fMRI vizsgálataikhoz külön szemmozgás követő rendszert alkalmazniuk, ráadásul lehetséges már meglévő adatokat is újraelemezni a módszerrel. A DeepMReye tehát egy jelentősnek ígérkező technológiai újítás az agykutatásban, amit a mesterséges intelligencián alapuló számítástechnikai módszerek szültek.
Ez a cikkem az Élet és Tudomány 2021/49. számában, az Agyi aktualitások rovatban jelent meg.
