Experimentelle und theoretische Studien 538
Echtzeit-Eye Tracking - Grundlagen und Lö sungsprinzipien B. Jean', H. Kaz,nierczak2, Th. Grunert', H.-J. Thiel'
Zusammenfassung
Die Verfolgung (Tracken) und Quantifizierung von Augenbewegungen in Echtzeit ist Voraussetzung zur automatischen Laserpositionierung zu diagnostischen und therapeutischen Zwecken. Die LOsungsprinzipien einer auf herkommlichen Sensoren basierenden TV-Bildanalyse werden vorgesteilt: Kontrasttracken und Objekt-Korrelations- oder Mustererkennungstracken werden a!s Verfahrensweise erlautert und anhand von Beispielen illustriert. Die Objektkorrelationstechnik erweist sich dabei a!s besser geeignetes Verfahren. Der Einflul3 variabler Systemparameter für das Verfolgen retina!er Strukturen wird beschrieben. Die mit einem (noch nicht optimierten) experimentellen Hardware-Tracker durchgefuhrten automatischen Zielverfolgungsversuche authentischer Augenbewegungen erbrachten Trackerfolge von weit uber 90%, während eine geubte Versuchsperson nur ca. 10% erreicht. Real Time Eye Tracking — Prerequisites
and Principles of Solution Tracking and quantification of eye movements in real time is a prerequisite for future computer assisted laser positioning for diagnostic or therapeutic purposes. Principles of TV-image processing are described: tracking of contrasts and pattern recognition
tracking by object correlation; their relevance for tracking retinal targets is illustrated using authentic video material. For practical use, the pattern recognition technique qualifies better. The influence of the systems variable parameters on retinal target pursuence is described. Automatic target pursuence of authentic eye movements reached tracking success rates well above 90 Wa thus outperforming manual tracking by one order of magnitude.
I. Einleitung
Das Konstanthalten der Raumbeziehung zwischen der Untersuchungs- oder Behandlungseinheit und dem Patientenauge ist fur automatische MeB-, Diagnose- und Behandlungsverfahren eine unabdingbare Vor-
aussetzung. In der Geschwindigkeit und Komplexitat (Mikrosakkaden) der nicht unterdruckbaren Relativbewegun-
gen von Auge, Kopf und Behandlungsgerat findet die menschliche Hand eine auch durch Training nicht uberwindliche Grenze. Neue keratorefraktionschirurgische Verfahren, die in Vorbereitung sind (Laserkeratomileusis, Corneal reshaping), stellen an die Nachfuhrung von Laserdelivery-Systemen Anforderungen, die manuel! nicht mehr zu erfUllen sind (5).
II. Material und Methode Anhand authentischer Videoaufnahmen vom Augenhintergrund, aufgenommen mit einer modifizierten Funduskamera (Zeiss FK 50) mit Restlichtverstarkerkamera (Bosch TYC-9A), wurden identische Szenen aus Uber 100000 VideoHaibbildern mit den Methoden des Kontrast- und des Objektkorrelationstrackens untersucht. Mit Hilfe eines experimenteilen Hardware-Trackers wurden Augenbewegungsszenen mit typischen Bewegungssequenzen qualitativ und quantitativ untersucht. Dabei wurde die Frage gestelit, inwieweit die 0g. Verfahren fur die Zielverfolgung retinaler Strukturen bei den gegebenen Form- und Kontrastverhaltnissen sowie vorgegebenen Sensoreigerischaften anwendbar sind.
System-A nforderungen
Em Nachfuhren (Tracken) mul3 für therapeutische Mailnahmen in Echtzeit erfolgen. Tracken mit zeitlichem Versatz ist technisch einfach und preisgtinstig, fur Behandlungsverfahren aber nutzlos.
Die zweite, für den praktischen Gebrauch wesentliche Bedingung ist die optische (optoelektronische) Darstellung der Behandlungsregion: der Arzt muLl ,,sehen was er tut". Diese Bedingung fuhrt zu Laserscanning- oder TV-Sensoren und
damit allen MOglichkeiten und Einschrankungen der Fernsehnorm, Spezialsensoren ausgenommen. Zwei verschiedene Leistungen sind — im technischen Sinne — gefragt: Zielerfassung und Nachftihrung. Im Mensch-Maschine-System ist die manuelle Nachfuhrung (z. B. des Laserzielstrahls) nur bei Iangsamer Zielbewegung moglich, wahrend die Zielerkennung sehr einfach ist. Em technisches System gewichtet die Probleme anders: die Zielerkennungsleistung ist komplex und aufwendig, die NachfUhrung relativ einfach.
1987 haben wir em Echtzeit-Eye Tracking vorgestellt (3, 4); fruhere Versuche von verschiedenen Forschungsgruppen waren bezuglich der Echtzeitfahigkeit negativ verlaufen
(10) oder hatten sich our ansatzweise der Frage zugewandt (1,7). Kiln. Mbl. Augenheilk. 198 (1991) 538—543
1991 F. Enke Verlag Stuttgart
Dieses Dokument wurde zum persönlichen Gebrauch heruntergeladen. Vervielfältigung nur mit Zustimmung des Verlages.
Universitats-Augenklinik Tubingen (Abt. I: Prof. Dr. H.-J. Thiel) 2Forschungsinstitut fur Informationsverarbeitung und Mustererkennung, Ettlingen 5
K/in. Mbl. A ugenheilk. 198 (1991) 539
Echtzeit-Eye Tracking - Grund/agen und LOsungsprinzipien Ziel
Z ei t
Ziel
Zeit
t .At
[KORRELATIONS -TRACKER - PRINZIPJ
Zi.I
a
Zi.I
Zeit
Zqt
konstont Schwe(Ie
I
I I
I
I
b zli)1 gleitende signalobhdngige) Schwelle
z)i-x)
klx)
x
IMax k(x)j
— —
x1,:x0
WvW
C
gewichtete (ortsabhängige) Schwel le
Kreuzkorrelotion:
KIt)
S(f)Z*(f)
Autokorrelation:
k0t0
FoJt I Z12) für sz
Abb. 1
Signa)schweteri-Verlauf be m KontrastTracken a) konstante, b) gleitende (signalabhangige), C) gewichtete ortsabhdngige Schwelle
!k(x) s(x). z(x)J
Spektroldarstellung.
Abb. 2 Prinzip des Objekt-Korrelat:ons-Trackens einer moglichen Zielbewegung erwartet wird, verschoben und in
Fur automatische Zielverfolgung sind mehrere Strategien mOglich; die wichtigsten sind
1. Kontrast-Tracken 2. Mustererkennungs-Tracken
jeZler X-Position werden die Signale des Zieles mit denen der Bildinformation multipliziert (Abb. 2). Für jeden Bildpunkt des Suchbereiches, dessen Mittelpunkt mit der letzten gefundenen Zielposition ubereinstimmt, wird dabei eine Kreuzkorrelation aus der abgelegten Zielansicht und der neuen, in der laufenden Szene
dargebotenen Zielansicht erstelit, die dreidimensional einem Beim einfachen Kontrast-Tracken werden Ziele durch jene Sensorsignale entdeckt und verfolgt, die einen vorgegebenen Schwellenwert uberschreiten. Die Schwelle kann dabei konstant (a), gleitend (b) oder durch em Nebenkriterium gewichtet (c) definiert sein.
,,Gebirge" von Korrelationswerten entspricht. Das Maximum der Korrelation definiert dabei die Lokalisation des abgespeicherten Zieles. Die Scharfe des Korrelationsmaximums hangt ab von der Wahi der ZielfenstergroBe und der Ahnlichkeit der Zielform des abgespeicherten Ziels mit der Zielansicht der aktuellen Szene. Urn Ziele auch bei schwankenden Signalpegein und unterschiedlicher Signalintensitat wiedererkennen zu konnen, werden alle Si-
Wird die Kontrastschwelle gleitend ausgelegt, so kann em relatives Signairnaxirnurn als Ziel erkannt werden (Abb.
werden so normiert, daB bei Signalidentitat von Ziel und Bildsignal in der Deckungslage der Korrelationskoeffizient kma, = 1 er-
1. Kontrast- Tracken
1, b). Die Zieldefinition ist einfach; sie lautet ,,uberschwellig". Da am Fundus nur eine kontraststarke Region (Nervus opticus) vorhanden ist, kann auch ncr eine Signatur verfolgt werden; die unabhangige, simultane Verfolgung mehrerer Signaturen, (wie sie zum Erkennen von Rotations- und Translationselementen erforderlich ist), kann so nicht bewerkstelligt werden.
gnale auf ihre Mitteiwerte bezogen und die Korrelationswerte
reicht wird. In der Praxis liegen zielrelevante Maxima bei kO,7. III. Ergebnisse 1. Bewertung von Bildszenen
Durch EinfUhrung von Nebenkriterien wie Orts-
In technischen Anwendungen der Objektkorrelation unbekannte Phariomene wie Lidschlag (das gungselement usw. oder Einbeziehung von Anderungsflchen urn Objekt verschwindet) oder vagabundierende Reflexe das Zielgebiet, ist es moglich, die Zielkonfidenz zu erhdhen. Der durch Teilreflexion an den brechenden Medien (PurkyneAufwand aber steigt exponentiell und nahert sich der zweiten Bilder) der vorderen Augenabschnitte beeinflussen wesentlich die der automatischen Zielverfolgung zugrunde MOglichkeit: gewichtung (ortsabhangige Schwelle), Filterung der digitalen Sensorsignale nach verschiedenen Kriterien wie GroI3e, Bewe-
liegende Bildverarbeitungsstrategie. 2. Mustererkennungs- Tracken
Hier wird die Objektkorrelationstechnik (2, 8) angewandt, urn retinale Ziele zu tracken.
Alle gebrauchlichen Sensoren, CCD-Kameras, Lowlight-Videokameras oder das LaserscanningOphthalmoskop erzeugen entweder durch ihren separaten Beleuchtungsstrahlengang oder ihre konfokale Optik er-
Nach erfolgter Zielauswahl in einer Einwei- hebliche vagabundierende Reflexe an den optischen sungsphase (,,teaching phase") kann die Verfolgung eines Zieles durch einfache Formbewertung mittels Korrelation vorgenommen werden, weiche zwar entsprechend aufwendig, jedoch verfahrensmal3ig einfach zu realisieren ist. Bei der Korrelation wird die im vorausgegangenen Bud ermittelte Verteilung der Zielsignale z(i) Uber den Bildsuchbereich (x), in dem das Ziel aufgrund
Grenzflächen der brechenden Medien oder im Tränenfilm.
Im Folgenden werden einige Bildszenen aus authentischen Zielverfolgungssequenzen mit on-line dargebotenen Entscheidungsparametern vorgestelit.
Dieses Dokument wurde zum persönlichen Gebrauch heruntergeladen. Vervielfältigung nur mit Zustimmung des Verlages.
I
540 K/in. Mb/. Augenheilk. 198 (1991)
Abb. 3 Gleiches Videohalbbild ri dci aLitomatlschen Zielverfolgung a) mit Kontrast-Trackverfahren: das Ziel geht verloren bi mit Oblekt-Korrelation
Abb. 4 Szerie fiLlS Zielverfolgurig mit Objektkorrelatiori. eiri vagabundierender Reflex dhnlicher Form und GrORe wird ignoii e rt
Abb. 5 Ziel-Verlust-Erkennung beim Objekt-Korrelations-Trakken
Beispie/ 1: Abbildung 3a und b zeigen die tionsmaximums konstatiert. Dieses fallt - in hexadezima!er Angabe — (siehe MAXI = 0001) weit unter die Korrelalationsmode (b). In beiden Szenen wurde der Tracker auf tionsschwelle (THRE = 2000). Die aktuelle Zielansicht ist
gleiche Szene (siehe Videotimer) einer Augenbewegungssequenz, getrackt im Kontrastmode (a) und im Objektkorre-
der abgespeicherten so ,,unahnlich", daB der ermittelte maximale Wert fur den Korre!ationskoeffizienten unterIm Konirast-Track-Verfahren (a) wird der schwellig bleibt. Das System erkennt daraus den ZielverN. opticus zugunsten des helleren Reflexes verlassen (die lust und geht in PrRdiktion (=PRED; Angabe in der VergroBerung des Fensters ist em sekundarer Effekt, der 2. Zeile; Abb. 5). hier nicht weiter berucksichtigt werden soil). den N. opticus (wie in b) als Ziel manuel! eingewiesen.
Beispiel
4. In Abbildung 6a und b sind
Im Objekt-Korrelationsverfahren (b) wird zwei 12:40 sec auseinanderliegende (Videotimer) Szenen nicht maximale Helligkeit sondern Objektform und GroI3e der gleichen Zie!verfolgungssequenz dargesteilt. Abb. a bewertet: Das System ignoriert den Lichtreflex. zeigt, in welcher Position das Zie!fenster aufgesetzt wurde. Durch eine zu groBe Austauschrate (s. 2.2) setzt eine Beispie/ 2: Auch bei ,,Ahnlichkeit" zweier ,,Drift" nach oben ci Der schleichende Zielver!ust wird Ziele im gleichen Bi!d (N. opticus und kreisrunder Licht- besonders gravierend — vom System nicht erkannt. Es verreflex ähnlicher GroBe) verfo!gt das Objektkorrelations- bleibt im Zustand ,TRAC' (siehe 2. Zeile im Monitor-Disverfahren unbeirrt das Ziel (Abb. 4). Der maximale Kor- play). re!ationskoeffizient (MAXI) liegt weit Uber der Korre!ationsschwe!le (THRE).
Beispie/ 3: Der Verlust des Zielobjektes (N. opticus) durch Verdecken wahrend des Lidschlags wird hier vom System anhand des errechneten Korrela-
Dieses Dokument wurde zum persönlichen Gebrauch heruntergeladen. Vervielfältigung nur mit Zustimmung des Verlages.
L•
Ic
1.. —.
.tLI IS I I
F
r.
c.
B. Jean und Mitarb.
Echtzeit-Eye Tracking — Grundiagen und Losungsprinzipien
Kiln. Mb!. Augenheiik. 198 (1991) 541
kehren, sind ungeeignet. Durch Autokorrelation kann cine optimale Signatur auch automatisch bestirnmt werden. Die ,,zu behandeinde" Stelle kann uber einen off-set der Koordinaten in bezug auf die optimale Signatur bestimmt werden. Auch die Ortsauflosung des Sensors, die für Laserscanner urn 40 o hoher ist als für low light video- oder CCD-Sensoren, bestimmen die Signaturgute. 2.2. Austauschrate (ATR)
In der technischen Anwendung, z.B. für Navigationsaufgaben, erlaubt die ATR eine periodische Auffrischung des Speicherinhaltes und kompensiert so cine rasche Anderung der Zielsicht, z. B. bei schnellbewegten Objekten. Beim Tracken ophthalmologischer Ziele wie
Abb. 6
Drdt" des Fensters bei ZLI hoher Austauschrate bem Objekt-Korrelatrons-Tracken. Das System erkennt den Zielverlust nicht
Strukturen der vorderen Augenabschnitte oder der Netzhaut solite die ATR=0 sein. Bei periodischem Austausch der abgespeicherten Zielansicht kann es zu einer ,,Drift" des Zielfensters und damit Zielverlust kommen, ohne daB das System dies erkennt. Erfolgt die Auffrischung des Speichers gar aus einem Halbbild, weiches das Ziel gar nicht zeigt (siehe Abb. 3), dann geht das System in Ausgangsstellung zuruck und erwartet erneute manuelle Emweisung. Eine ATR>0 ist in ophthalmologischer Zielverfolgung nur sinnvoll, wenn sich — wie im technischen Betrieb — die Zielansicht andert, wie z. B. bei Laserkoagulation im Zielfenster oder beim Tracken einer Region während Fluoresceinpassage. Ob entsprechende Uberbrukkungsstrategien dann tatsächlich die Drift verhindern, bedarf weiterer Untersuchungen. 2.3. Der Erwartungsbereich (EWB)
2. Variable System parameter beim
Je grol3er der EWB ist, desto grol3er die Chance, groBe Bewegungen verfolgen zu konnen, desto grol3er aber auch der Rechenaufwand. Dabei geht der Die dem Tracker zur Zielverfolgung ange- ffnungswinkel der Sensoroptik mit em; er bestimmt die botene Bildsequenz spiegelt zunächst die Sensoreigen- Pixeluberstreichung bei einer gegebenen Bewegung des schaften wider. Auflosung, Offnungswinkel der Aufnah- Zieles. Bei 45 Aufnahmewinkel der Sensoroptik muB der meoptik und Beleuchtungseigenschaften (konfokale Be- EWB mindestens 57 entsprechen. Die erforderliche leuchtung der Laserscanner) beeinflussen die Eigenschaf- Grof3e des EWB kann aus authentischen Videoaufnahmen ten der Bilder. bestimmt werden. Die GrOBe des EWB ist begrenzt durch die Rechengeschwindigkeit. Für Echtzeitbetrieb muI3 die Hinzu kommen die typischen Form- und Korrelation innerhaib von 0,015 sec berechnet sein. Je Kontrasteigenschaften retinaler Strukturen. Beide zusam- kleiner die FenstergroBe (siehe 2.4), desto graBer kann der men definieren die technischen Randbedingungen für die EWB gewahlt werden. Bei einer Bewegung, die groBer ist Zielverfolgungsaufgabe. Es gilt für die Zielverfolgung als der Suchbereich, wird keine Korrelation mehr errechophthalmologischer Strukturen die variablen Systempara- net. So wird der Zielverlust erkannt. Der EWB wird vormeter eines Objektkorrelationstrackers zu optimieren. Im zugsweise synchron mit der letzten Signatur-Position einzelnen gehen folgende Elemente in die Optimierungs- verschoben. strategie em: Korreiations- Tracken retina/er Strukturen
2.1. SignaturgQte
2.4. FenstergrOjie (FG)
Die FG muD abhangig von den StrukturDie durch das Zielfenster ausgewh1te elementen der retinalen Signaturen gewahit werden. DaStruktur wird als Signatur bezeichnet.
mit ist sie auch abhangig vom Aufnahmewinkel des Sensors. Sie darf nicht in der gleichen GrOl3enordnung oder kleiner gewahlt werden als die abgebildeten Strukturele-
Dieses Dokument wurde zum persönlichen Gebrauch heruntergeladen. Vervielfältigung nur mit Zustimmung des Verlages.
Komplexe, gut unterscheidbare, kontrastreiche Strukturmerkmale (GefaBkreuzungen, GefäBe am Papillenrand) sind geeignete Signaturen zum Korrelationstracken. Strukturlose Netzhautstellen, Gefäl3abschnitte, die in ahnlicher Form an anderen Stellen im Bud wieder-
542 K/in. Mb!. Augenheilk. 198 (1991)
B. Jean und Mitarb.
sches ,,Gebirge" aus ermittelten Korrelationskoeffizienten eines autheritischen rehnalen Zieles
1. sie ist beruhrungsfrei 2. sie kann flexibel auf verschiedene Ziele eingewiesen werden 3. sie erlaubt eine Bildstabilisierung auf Netzhautstruktu-
ren 4. sie lauft unter Sichtkontrolle des Zielgebietes ab 5. sie ist echtzeitfahig. Aus den hier aufgefUhrten Losungsprinzipien für automatische Zielverfolgung ergibt sich, daB zum Verfolgen retinaler Ziele die Methoden des Objektkorrelations-Trackens besser geeignet sind als reines KontrastTracken. Ahnliches ergab sich für die Formelemente des auBeren Auges. Die Echtzeitfahigkeit dieses Verfahrens
-I
I
wurde 1987 anhand authentischer Augenbewegungsse-
quenzen nachgewiesen (3, 4). Typische retinale Strukturen konnen dabei mit bekannten Sensoroptiken (Video-lowlight-Fundus-Kamera, Rodenstock-Laserscanning-Ophthalmoskop) erfaflt, einem experimentellen Trackcomputer (Hardware-Tracker) ubergeben und automatisch vermente des unterliegenden Zieles. Die FG bestimmt die folgt werden. Bei sequentiellem Vorgehen ist die BestimSteilheit des Korrelationsgebirges und damit die Defini- mung der Korrelationsmaxima gegenwärtig nur durch eine tion des Korrelationsmaximums (kmax, Abb. 2, Abb. 7). spezielle Hardware in Echtzeit moglich. Die Fenstergrol3e legt auch die Zahi der zu berechnenden Korrelationskoeffizienten fest. Bei einer FG von 20 x 20 Pixel sind 400, bei einer FG von 100 x 100 Pixel schon 10000 Rechnungen erforderlich. Uber den dazu erforderlichen Zeitbedarf ist auch die maximale GröBe des Erwartungsbereiches (2.3) festgelegt. Je kleiner die Fenstergrol3e, desto steiler das Korrelationsgebirge, desto bes-
ser die Maximumdefinition (siehe Abb. 7). Formeigenschaften der Signatur, die Ahnlichkeit der Zielansicht vor und nach Bewegung und die Fenstergrol3e legen zusammen die Topographie des Korrelationsgebirges fest. Bei kleiner FenstergroBe kann es zu sog. Nebengipfeln kommen, die das System falsch positive Zielentscheidungen fallen lassen. Fin typisches Korrelationsgebirge ist in Abbildung 7 dargestellt.
2.5. Fensterform (FF)
Durch Zusammenfassen mehrerer kleiner Fenster in definierter Ortsbeziehung zueinander konnen Strukturen verfolgt werden, die für em einzelnes grol3es Fenster ungeeignet sind (z. B. zu flaches Korrelationsgebirge); dabei kann der Rechenaufwand wesentlich kleiner sein als bei grol3er FG unter Erhaltung eines steilen Korrelationsmaximums mit gut definiertem Gipfel (5, 6).
IV. Diskussion
In Computersimulationen (6) liel3en sich Optimierungsstrategien für die variablen GroBen (2.2, 2.4, 2.5) in bezug auf das Korrelations-Gebirge bestimmen. Das Optimieren einer Zielverfolgungseinrichtung auf bewegte Ziele des Auges ist von herausragender Bedeutung. Grobe Fehileistungen, wie in den Bildbeispielen I und 4 dargestellt, sind die Folge, wenn technische Randbedingungen der Augenbewegung nicht hinreichend beachtet werden. Authentische Augenbewegungsszenen wurden unter teilweiser Berucksichtigung dieser Ergebnisse einer automatischen Zielverfolgung unterzogen. Dabei wurden Trackerfolge Uber 90% erreicht. Die manuellen Nachfuhrerfolge in der gleichen Szene lagen nach ausgiebigem Training bei 6 bis 10¾ (5), also eine GroBenordnung darunter.
Die bei automatischer Zielverfolgung anfallenden Zielpositionen in Form der durchlaufenen X/YKoordinaten (Pos. X, Pos. Y) konnen einem geeigneten Laserdelivery-System digital ubergeben und zur Laserstrahlpositionierung genutzt werden.
Die automatische Zielverfolgung mit den Methoden der Objektkorrelation ist em Schritt hin zur computerunterstUtzten Laserpositionierung zu therapeutischen Zwecken. Die dazu erforderlichen hohen Zielverfolgungsleistungen sind Gegenstand komplexer KompromiB-
Unter den typischen Beleuchtungsbedin- Strategien, auf die andernorts detaillierter eingegangen gungen einer Fundus-TV-Aufnahme oder einer Laserscan- wird. ning-Ophthalmoskopie treten provozierte Augenbewegungen auf (5, 6), die Mikrosakkaden (11) ähnlich sind.
Die bisher in den Grundlagenwissenschaften gebrauchlichen Methoden der Blickrichtungsmessung sind für eine praktikable therapeutische Laserpositionierung nicht geeignet. Die hier erlauterte Methode der Zielverfolgung (und damit auch der Blickrichtungsmessung) mit Hilfe von Mustererkennungsverfahren vereinigt 5 entscheidende Elemente:
Anmerkung: Die Autoren danken den Firmen Daimler-Benz, TST und IBM fur materielle Unterstutzung, der Firma Polaroid fur Bereitstellung einer Freeze-Frame-Anlage.
Dieses Dokument wurde zum persönlichen Gebrauch heruntergeladen. Vervielfältigung nur mit Zustimmung des Verlages.
Abb. 7 Typi-
KIm. Mb!. A ugenheilk. 198 (1991) 543
Echtzeit-Eye Tracking — Grundlagen und LOsungsprinzipien
Literatur
241 2
Bohner, M.: Objektvermittlung in Bildfolgen. In: Erfassung und ma-
schinelle Verarbeitung von Bildern. Kazmierczak, H., New York, Springer, 1980, 126—133
Jean, B., H. Kazmierczak: Em Tracker für die Ophthalmologie. Kiln. Mbl. Augenheilk. 191 (1987) 89—168
Jean, B., H. Kazmierczak: Pattern Recognition Eye Tracking. Lasers in Ophthalmol. 1 (1987) 197—204
Jean, B., T. Seiler, Th. Grunert, H. Kazmierczak: Automatic target 6
Kazmierczak, H.: Automatische Zielverfolgung. Bericht Nr. 56, 10
Forsch.-lnstitut fur lnformationsverarbeitung und Mustererkennung, Ettlingen 6, 1978 Timberlake, G. T., H. D. Crane: Eye tracker stabilized photocoagulalion. ARVO Abstracts 26th Suppl., Invest. Ophthalnsol. Vis. Sci. (1985) 38
Rentschler, I., H. Schober: Die Entstehung des Netzhautbildes. In: 0. H. Ganer, K. Kramer, R. Jung: Physiologie des Menschen, Bd. III. Urban und Schwarzenberg, München—Wien—Baltimore, 1978
Manuskript erstmals eingereicht 10. 1. 1990, zur Publikation in der vorliegenden Form angenommen 14. Il. 1990
pursuence in Ophthalmology — Is it necessary? (in Vorbereitung)
B.. Erhohung der 2-D-Zielkonfidenz in der ophthalmologischen Laserchirurgie mit Hilfe der optischen Bildsuperposition und der automatischen Zielverfolgung. Habilitationsschrift, Tubingen (1990) Jean,
Kavai, H., S. Tam ura, K. Kani, K. Kariya: Eye movement analysis system using fundus images. Pattern Recognition 19 (1986) 77—87
Priv. -Doz. Dr. B. Jean Univ.-Augenklinik, Abs. I Schleichstr. 12 7400 Tubingen
Dieses Dokument wurde zum persönlichen Gebrauch heruntergeladen. Vervielfältigung nur mit Zustimmung des Verlages.
de Castro, E., G. Crishhi, C. Morandi, M. Vascotto: Towards a television ophthalmoscope with compensation of involuntary eye movements. Acta XXV Concilium Ophthalmologicum, Roma, 1986, 238—
Kazmierczak, H. (Hrsg.): Erfassung und maschinelle Verarbeitung von Bildern. Springer, New York, 1980
Echtzeit-Eye Tracking - Grundlagen und Lö sungsprinzipien B. Jean', H. Kaz,nierczak2, Th. Grunert', H.-J. Thiel'
Zusammenfassung
Die Verfolgung (Tracken) und Quantifizierung von Augenbewegungen in Echtzeit ist Voraussetzung zur automatischen Laserpositionierung zu diagnostischen und therapeutischen Zwecken. Die LOsungsprinzipien einer auf herkommlichen Sensoren basierenden TV-Bildanalyse werden vorgesteilt: Kontrasttracken und Objekt-Korrelations- oder Mustererkennungstracken werden a!s Verfahrensweise erlautert und anhand von Beispielen illustriert. Die Objektkorrelationstechnik erweist sich dabei a!s besser geeignetes Verfahren. Der Einflul3 variabler Systemparameter für das Verfolgen retina!er Strukturen wird beschrieben. Die mit einem (noch nicht optimierten) experimentellen Hardware-Tracker durchgefuhrten automatischen Zielverfolgungsversuche authentischer Augenbewegungen erbrachten Trackerfolge von weit uber 90%, während eine geubte Versuchsperson nur ca. 10% erreicht. Real Time Eye Tracking — Prerequisites
and Principles of Solution Tracking and quantification of eye movements in real time is a prerequisite for future computer assisted laser positioning for diagnostic or therapeutic purposes. Principles of TV-image processing are described: tracking of contrasts and pattern recognition
tracking by object correlation; their relevance for tracking retinal targets is illustrated using authentic video material. For practical use, the pattern recognition technique qualifies better. The influence of the systems variable parameters on retinal target pursuence is described. Automatic target pursuence of authentic eye movements reached tracking success rates well above 90 Wa thus outperforming manual tracking by one order of magnitude.
I. Einleitung
Das Konstanthalten der Raumbeziehung zwischen der Untersuchungs- oder Behandlungseinheit und dem Patientenauge ist fur automatische MeB-, Diagnose- und Behandlungsverfahren eine unabdingbare Vor-
aussetzung. In der Geschwindigkeit und Komplexitat (Mikrosakkaden) der nicht unterdruckbaren Relativbewegun-
gen von Auge, Kopf und Behandlungsgerat findet die menschliche Hand eine auch durch Training nicht uberwindliche Grenze. Neue keratorefraktionschirurgische Verfahren, die in Vorbereitung sind (Laserkeratomileusis, Corneal reshaping), stellen an die Nachfuhrung von Laserdelivery-Systemen Anforderungen, die manuel! nicht mehr zu erfUllen sind (5).
II. Material und Methode Anhand authentischer Videoaufnahmen vom Augenhintergrund, aufgenommen mit einer modifizierten Funduskamera (Zeiss FK 50) mit Restlichtverstarkerkamera (Bosch TYC-9A), wurden identische Szenen aus Uber 100000 VideoHaibbildern mit den Methoden des Kontrast- und des Objektkorrelationstrackens untersucht. Mit Hilfe eines experimenteilen Hardware-Trackers wurden Augenbewegungsszenen mit typischen Bewegungssequenzen qualitativ und quantitativ untersucht. Dabei wurde die Frage gestelit, inwieweit die 0g. Verfahren fur die Zielverfolgung retinaler Strukturen bei den gegebenen Form- und Kontrastverhaltnissen sowie vorgegebenen Sensoreigerischaften anwendbar sind.
System-A nforderungen
Em Nachfuhren (Tracken) mul3 für therapeutische Mailnahmen in Echtzeit erfolgen. Tracken mit zeitlichem Versatz ist technisch einfach und preisgtinstig, fur Behandlungsverfahren aber nutzlos.
Die zweite, für den praktischen Gebrauch wesentliche Bedingung ist die optische (optoelektronische) Darstellung der Behandlungsregion: der Arzt muLl ,,sehen was er tut". Diese Bedingung fuhrt zu Laserscanning- oder TV-Sensoren und
damit allen MOglichkeiten und Einschrankungen der Fernsehnorm, Spezialsensoren ausgenommen. Zwei verschiedene Leistungen sind — im technischen Sinne — gefragt: Zielerfassung und Nachftihrung. Im Mensch-Maschine-System ist die manuelle Nachfuhrung (z. B. des Laserzielstrahls) nur bei Iangsamer Zielbewegung moglich, wahrend die Zielerkennung sehr einfach ist. Em technisches System gewichtet die Probleme anders: die Zielerkennungsleistung ist komplex und aufwendig, die NachfUhrung relativ einfach.
1987 haben wir em Echtzeit-Eye Tracking vorgestellt (3, 4); fruhere Versuche von verschiedenen Forschungsgruppen waren bezuglich der Echtzeitfahigkeit negativ verlaufen
(10) oder hatten sich our ansatzweise der Frage zugewandt (1,7). Kiln. Mbl. Augenheilk. 198 (1991) 538—543
1991 F. Enke Verlag Stuttgart
Dieses Dokument wurde zum persönlichen Gebrauch heruntergeladen. Vervielfältigung nur mit Zustimmung des Verlages.
Universitats-Augenklinik Tubingen (Abt. I: Prof. Dr. H.-J. Thiel) 2Forschungsinstitut fur Informationsverarbeitung und Mustererkennung, Ettlingen 5
K/in. Mbl. A ugenheilk. 198 (1991) 539
Echtzeit-Eye Tracking - Grund/agen und LOsungsprinzipien Ziel
Z ei t
Ziel
Zeit
t .At
[KORRELATIONS -TRACKER - PRINZIPJ
Zi.I
a
Zi.I
Zeit
Zqt
konstont Schwe(Ie
I
I I
I
I
b zli)1 gleitende signalobhdngige) Schwelle
z)i-x)
klx)
x
IMax k(x)j
— —
x1,:x0
WvW
C
gewichtete (ortsabhängige) Schwel le
Kreuzkorrelotion:
KIt)
S(f)Z*(f)
Autokorrelation:
k0t0
FoJt I Z12) für sz
Abb. 1
Signa)schweteri-Verlauf be m KontrastTracken a) konstante, b) gleitende (signalabhangige), C) gewichtete ortsabhdngige Schwelle
!k(x) s(x). z(x)J
Spektroldarstellung.
Abb. 2 Prinzip des Objekt-Korrelat:ons-Trackens einer moglichen Zielbewegung erwartet wird, verschoben und in
Fur automatische Zielverfolgung sind mehrere Strategien mOglich; die wichtigsten sind
1. Kontrast-Tracken 2. Mustererkennungs-Tracken
jeZler X-Position werden die Signale des Zieles mit denen der Bildinformation multipliziert (Abb. 2). Für jeden Bildpunkt des Suchbereiches, dessen Mittelpunkt mit der letzten gefundenen Zielposition ubereinstimmt, wird dabei eine Kreuzkorrelation aus der abgelegten Zielansicht und der neuen, in der laufenden Szene
dargebotenen Zielansicht erstelit, die dreidimensional einem Beim einfachen Kontrast-Tracken werden Ziele durch jene Sensorsignale entdeckt und verfolgt, die einen vorgegebenen Schwellenwert uberschreiten. Die Schwelle kann dabei konstant (a), gleitend (b) oder durch em Nebenkriterium gewichtet (c) definiert sein.
,,Gebirge" von Korrelationswerten entspricht. Das Maximum der Korrelation definiert dabei die Lokalisation des abgespeicherten Zieles. Die Scharfe des Korrelationsmaximums hangt ab von der Wahi der ZielfenstergroBe und der Ahnlichkeit der Zielform des abgespeicherten Ziels mit der Zielansicht der aktuellen Szene. Urn Ziele auch bei schwankenden Signalpegein und unterschiedlicher Signalintensitat wiedererkennen zu konnen, werden alle Si-
Wird die Kontrastschwelle gleitend ausgelegt, so kann em relatives Signairnaxirnurn als Ziel erkannt werden (Abb.
werden so normiert, daB bei Signalidentitat von Ziel und Bildsignal in der Deckungslage der Korrelationskoeffizient kma, = 1 er-
1. Kontrast- Tracken
1, b). Die Zieldefinition ist einfach; sie lautet ,,uberschwellig". Da am Fundus nur eine kontraststarke Region (Nervus opticus) vorhanden ist, kann auch ncr eine Signatur verfolgt werden; die unabhangige, simultane Verfolgung mehrerer Signaturen, (wie sie zum Erkennen von Rotations- und Translationselementen erforderlich ist), kann so nicht bewerkstelligt werden.
gnale auf ihre Mitteiwerte bezogen und die Korrelationswerte
reicht wird. In der Praxis liegen zielrelevante Maxima bei kO,7. III. Ergebnisse 1. Bewertung von Bildszenen
Durch EinfUhrung von Nebenkriterien wie Orts-
In technischen Anwendungen der Objektkorrelation unbekannte Phariomene wie Lidschlag (das gungselement usw. oder Einbeziehung von Anderungsflchen urn Objekt verschwindet) oder vagabundierende Reflexe das Zielgebiet, ist es moglich, die Zielkonfidenz zu erhdhen. Der durch Teilreflexion an den brechenden Medien (PurkyneAufwand aber steigt exponentiell und nahert sich der zweiten Bilder) der vorderen Augenabschnitte beeinflussen wesentlich die der automatischen Zielverfolgung zugrunde MOglichkeit: gewichtung (ortsabhangige Schwelle), Filterung der digitalen Sensorsignale nach verschiedenen Kriterien wie GroI3e, Bewe-
liegende Bildverarbeitungsstrategie. 2. Mustererkennungs- Tracken
Hier wird die Objektkorrelationstechnik (2, 8) angewandt, urn retinale Ziele zu tracken.
Alle gebrauchlichen Sensoren, CCD-Kameras, Lowlight-Videokameras oder das LaserscanningOphthalmoskop erzeugen entweder durch ihren separaten Beleuchtungsstrahlengang oder ihre konfokale Optik er-
Nach erfolgter Zielauswahl in einer Einwei- hebliche vagabundierende Reflexe an den optischen sungsphase (,,teaching phase") kann die Verfolgung eines Zieles durch einfache Formbewertung mittels Korrelation vorgenommen werden, weiche zwar entsprechend aufwendig, jedoch verfahrensmal3ig einfach zu realisieren ist. Bei der Korrelation wird die im vorausgegangenen Bud ermittelte Verteilung der Zielsignale z(i) Uber den Bildsuchbereich (x), in dem das Ziel aufgrund
Grenzflächen der brechenden Medien oder im Tränenfilm.
Im Folgenden werden einige Bildszenen aus authentischen Zielverfolgungssequenzen mit on-line dargebotenen Entscheidungsparametern vorgestelit.
Dieses Dokument wurde zum persönlichen Gebrauch heruntergeladen. Vervielfältigung nur mit Zustimmung des Verlages.
I
540 K/in. Mb/. Augenheilk. 198 (1991)
Abb. 3 Gleiches Videohalbbild ri dci aLitomatlschen Zielverfolgung a) mit Kontrast-Trackverfahren: das Ziel geht verloren bi mit Oblekt-Korrelation
Abb. 4 Szerie fiLlS Zielverfolgurig mit Objektkorrelatiori. eiri vagabundierender Reflex dhnlicher Form und GrORe wird ignoii e rt
Abb. 5 Ziel-Verlust-Erkennung beim Objekt-Korrelations-Trakken
Beispie/ 1: Abbildung 3a und b zeigen die tionsmaximums konstatiert. Dieses fallt - in hexadezima!er Angabe — (siehe MAXI = 0001) weit unter die Korrelalationsmode (b). In beiden Szenen wurde der Tracker auf tionsschwelle (THRE = 2000). Die aktuelle Zielansicht ist
gleiche Szene (siehe Videotimer) einer Augenbewegungssequenz, getrackt im Kontrastmode (a) und im Objektkorre-
der abgespeicherten so ,,unahnlich", daB der ermittelte maximale Wert fur den Korre!ationskoeffizienten unterIm Konirast-Track-Verfahren (a) wird der schwellig bleibt. Das System erkennt daraus den ZielverN. opticus zugunsten des helleren Reflexes verlassen (die lust und geht in PrRdiktion (=PRED; Angabe in der VergroBerung des Fensters ist em sekundarer Effekt, der 2. Zeile; Abb. 5). hier nicht weiter berucksichtigt werden soil). den N. opticus (wie in b) als Ziel manuel! eingewiesen.
Beispiel
4. In Abbildung 6a und b sind
Im Objekt-Korrelationsverfahren (b) wird zwei 12:40 sec auseinanderliegende (Videotimer) Szenen nicht maximale Helligkeit sondern Objektform und GroI3e der gleichen Zie!verfolgungssequenz dargesteilt. Abb. a bewertet: Das System ignoriert den Lichtreflex. zeigt, in welcher Position das Zie!fenster aufgesetzt wurde. Durch eine zu groBe Austauschrate (s. 2.2) setzt eine Beispie/ 2: Auch bei ,,Ahnlichkeit" zweier ,,Drift" nach oben ci Der schleichende Zielver!ust wird Ziele im gleichen Bi!d (N. opticus und kreisrunder Licht- besonders gravierend — vom System nicht erkannt. Es verreflex ähnlicher GroBe) verfo!gt das Objektkorrelations- bleibt im Zustand ,TRAC' (siehe 2. Zeile im Monitor-Disverfahren unbeirrt das Ziel (Abb. 4). Der maximale Kor- play). re!ationskoeffizient (MAXI) liegt weit Uber der Korre!ationsschwe!le (THRE).
Beispie/ 3: Der Verlust des Zielobjektes (N. opticus) durch Verdecken wahrend des Lidschlags wird hier vom System anhand des errechneten Korrela-
Dieses Dokument wurde zum persönlichen Gebrauch heruntergeladen. Vervielfältigung nur mit Zustimmung des Verlages.
L•
Ic
1.. —.
.tLI IS I I
F
r.
c.
B. Jean und Mitarb.
Echtzeit-Eye Tracking — Grundiagen und Losungsprinzipien
Kiln. Mb!. Augenheiik. 198 (1991) 541
kehren, sind ungeeignet. Durch Autokorrelation kann cine optimale Signatur auch automatisch bestirnmt werden. Die ,,zu behandeinde" Stelle kann uber einen off-set der Koordinaten in bezug auf die optimale Signatur bestimmt werden. Auch die Ortsauflosung des Sensors, die für Laserscanner urn 40 o hoher ist als für low light video- oder CCD-Sensoren, bestimmen die Signaturgute. 2.2. Austauschrate (ATR)
In der technischen Anwendung, z.B. für Navigationsaufgaben, erlaubt die ATR eine periodische Auffrischung des Speicherinhaltes und kompensiert so cine rasche Anderung der Zielsicht, z. B. bei schnellbewegten Objekten. Beim Tracken ophthalmologischer Ziele wie
Abb. 6
Drdt" des Fensters bei ZLI hoher Austauschrate bem Objekt-Korrelatrons-Tracken. Das System erkennt den Zielverlust nicht
Strukturen der vorderen Augenabschnitte oder der Netzhaut solite die ATR=0 sein. Bei periodischem Austausch der abgespeicherten Zielansicht kann es zu einer ,,Drift" des Zielfensters und damit Zielverlust kommen, ohne daB das System dies erkennt. Erfolgt die Auffrischung des Speichers gar aus einem Halbbild, weiches das Ziel gar nicht zeigt (siehe Abb. 3), dann geht das System in Ausgangsstellung zuruck und erwartet erneute manuelle Emweisung. Eine ATR>0 ist in ophthalmologischer Zielverfolgung nur sinnvoll, wenn sich — wie im technischen Betrieb — die Zielansicht andert, wie z. B. bei Laserkoagulation im Zielfenster oder beim Tracken einer Region während Fluoresceinpassage. Ob entsprechende Uberbrukkungsstrategien dann tatsächlich die Drift verhindern, bedarf weiterer Untersuchungen. 2.3. Der Erwartungsbereich (EWB)
2. Variable System parameter beim
Je grol3er der EWB ist, desto grol3er die Chance, groBe Bewegungen verfolgen zu konnen, desto grol3er aber auch der Rechenaufwand. Dabei geht der Die dem Tracker zur Zielverfolgung ange- ffnungswinkel der Sensoroptik mit em; er bestimmt die botene Bildsequenz spiegelt zunächst die Sensoreigen- Pixeluberstreichung bei einer gegebenen Bewegung des schaften wider. Auflosung, Offnungswinkel der Aufnah- Zieles. Bei 45 Aufnahmewinkel der Sensoroptik muB der meoptik und Beleuchtungseigenschaften (konfokale Be- EWB mindestens 57 entsprechen. Die erforderliche leuchtung der Laserscanner) beeinflussen die Eigenschaf- Grof3e des EWB kann aus authentischen Videoaufnahmen ten der Bilder. bestimmt werden. Die GrOBe des EWB ist begrenzt durch die Rechengeschwindigkeit. Für Echtzeitbetrieb muI3 die Hinzu kommen die typischen Form- und Korrelation innerhaib von 0,015 sec berechnet sein. Je Kontrasteigenschaften retinaler Strukturen. Beide zusam- kleiner die FenstergroBe (siehe 2.4), desto graBer kann der men definieren die technischen Randbedingungen für die EWB gewahlt werden. Bei einer Bewegung, die groBer ist Zielverfolgungsaufgabe. Es gilt für die Zielverfolgung als der Suchbereich, wird keine Korrelation mehr errechophthalmologischer Strukturen die variablen Systempara- net. So wird der Zielverlust erkannt. Der EWB wird vormeter eines Objektkorrelationstrackers zu optimieren. Im zugsweise synchron mit der letzten Signatur-Position einzelnen gehen folgende Elemente in die Optimierungs- verschoben. strategie em: Korreiations- Tracken retina/er Strukturen
2.1. SignaturgQte
2.4. FenstergrOjie (FG)
Die FG muD abhangig von den StrukturDie durch das Zielfenster ausgewh1te elementen der retinalen Signaturen gewahit werden. DaStruktur wird als Signatur bezeichnet.
mit ist sie auch abhangig vom Aufnahmewinkel des Sensors. Sie darf nicht in der gleichen GrOl3enordnung oder kleiner gewahlt werden als die abgebildeten Strukturele-
Dieses Dokument wurde zum persönlichen Gebrauch heruntergeladen. Vervielfältigung nur mit Zustimmung des Verlages.
Komplexe, gut unterscheidbare, kontrastreiche Strukturmerkmale (GefaBkreuzungen, GefäBe am Papillenrand) sind geeignete Signaturen zum Korrelationstracken. Strukturlose Netzhautstellen, Gefäl3abschnitte, die in ahnlicher Form an anderen Stellen im Bud wieder-
542 K/in. Mb!. Augenheilk. 198 (1991)
B. Jean und Mitarb.
sches ,,Gebirge" aus ermittelten Korrelationskoeffizienten eines autheritischen rehnalen Zieles
1. sie ist beruhrungsfrei 2. sie kann flexibel auf verschiedene Ziele eingewiesen werden 3. sie erlaubt eine Bildstabilisierung auf Netzhautstruktu-
ren 4. sie lauft unter Sichtkontrolle des Zielgebietes ab 5. sie ist echtzeitfahig. Aus den hier aufgefUhrten Losungsprinzipien für automatische Zielverfolgung ergibt sich, daB zum Verfolgen retinaler Ziele die Methoden des Objektkorrelations-Trackens besser geeignet sind als reines KontrastTracken. Ahnliches ergab sich für die Formelemente des auBeren Auges. Die Echtzeitfahigkeit dieses Verfahrens
-I
I
wurde 1987 anhand authentischer Augenbewegungsse-
quenzen nachgewiesen (3, 4). Typische retinale Strukturen konnen dabei mit bekannten Sensoroptiken (Video-lowlight-Fundus-Kamera, Rodenstock-Laserscanning-Ophthalmoskop) erfaflt, einem experimentellen Trackcomputer (Hardware-Tracker) ubergeben und automatisch vermente des unterliegenden Zieles. Die FG bestimmt die folgt werden. Bei sequentiellem Vorgehen ist die BestimSteilheit des Korrelationsgebirges und damit die Defini- mung der Korrelationsmaxima gegenwärtig nur durch eine tion des Korrelationsmaximums (kmax, Abb. 2, Abb. 7). spezielle Hardware in Echtzeit moglich. Die Fenstergrol3e legt auch die Zahi der zu berechnenden Korrelationskoeffizienten fest. Bei einer FG von 20 x 20 Pixel sind 400, bei einer FG von 100 x 100 Pixel schon 10000 Rechnungen erforderlich. Uber den dazu erforderlichen Zeitbedarf ist auch die maximale GröBe des Erwartungsbereiches (2.3) festgelegt. Je kleiner die Fenstergrol3e, desto steiler das Korrelationsgebirge, desto bes-
ser die Maximumdefinition (siehe Abb. 7). Formeigenschaften der Signatur, die Ahnlichkeit der Zielansicht vor und nach Bewegung und die Fenstergrol3e legen zusammen die Topographie des Korrelationsgebirges fest. Bei kleiner FenstergroBe kann es zu sog. Nebengipfeln kommen, die das System falsch positive Zielentscheidungen fallen lassen. Fin typisches Korrelationsgebirge ist in Abbildung 7 dargestellt.
2.5. Fensterform (FF)
Durch Zusammenfassen mehrerer kleiner Fenster in definierter Ortsbeziehung zueinander konnen Strukturen verfolgt werden, die für em einzelnes grol3es Fenster ungeeignet sind (z. B. zu flaches Korrelationsgebirge); dabei kann der Rechenaufwand wesentlich kleiner sein als bei grol3er FG unter Erhaltung eines steilen Korrelationsmaximums mit gut definiertem Gipfel (5, 6).
IV. Diskussion
In Computersimulationen (6) liel3en sich Optimierungsstrategien für die variablen GroBen (2.2, 2.4, 2.5) in bezug auf das Korrelations-Gebirge bestimmen. Das Optimieren einer Zielverfolgungseinrichtung auf bewegte Ziele des Auges ist von herausragender Bedeutung. Grobe Fehileistungen, wie in den Bildbeispielen I und 4 dargestellt, sind die Folge, wenn technische Randbedingungen der Augenbewegung nicht hinreichend beachtet werden. Authentische Augenbewegungsszenen wurden unter teilweiser Berucksichtigung dieser Ergebnisse einer automatischen Zielverfolgung unterzogen. Dabei wurden Trackerfolge Uber 90% erreicht. Die manuellen Nachfuhrerfolge in der gleichen Szene lagen nach ausgiebigem Training bei 6 bis 10¾ (5), also eine GroBenordnung darunter.
Die bei automatischer Zielverfolgung anfallenden Zielpositionen in Form der durchlaufenen X/YKoordinaten (Pos. X, Pos. Y) konnen einem geeigneten Laserdelivery-System digital ubergeben und zur Laserstrahlpositionierung genutzt werden.
Die automatische Zielverfolgung mit den Methoden der Objektkorrelation ist em Schritt hin zur computerunterstUtzten Laserpositionierung zu therapeutischen Zwecken. Die dazu erforderlichen hohen Zielverfolgungsleistungen sind Gegenstand komplexer KompromiB-
Unter den typischen Beleuchtungsbedin- Strategien, auf die andernorts detaillierter eingegangen gungen einer Fundus-TV-Aufnahme oder einer Laserscan- wird. ning-Ophthalmoskopie treten provozierte Augenbewegungen auf (5, 6), die Mikrosakkaden (11) ähnlich sind.
Die bisher in den Grundlagenwissenschaften gebrauchlichen Methoden der Blickrichtungsmessung sind für eine praktikable therapeutische Laserpositionierung nicht geeignet. Die hier erlauterte Methode der Zielverfolgung (und damit auch der Blickrichtungsmessung) mit Hilfe von Mustererkennungsverfahren vereinigt 5 entscheidende Elemente:
Anmerkung: Die Autoren danken den Firmen Daimler-Benz, TST und IBM fur materielle Unterstutzung, der Firma Polaroid fur Bereitstellung einer Freeze-Frame-Anlage.
Dieses Dokument wurde zum persönlichen Gebrauch heruntergeladen. Vervielfältigung nur mit Zustimmung des Verlages.
Abb. 7 Typi-
KIm. Mb!. A ugenheilk. 198 (1991) 543
Echtzeit-Eye Tracking — Grundlagen und LOsungsprinzipien
Literatur
241 2
Bohner, M.: Objektvermittlung in Bildfolgen. In: Erfassung und ma-
schinelle Verarbeitung von Bildern. Kazmierczak, H., New York, Springer, 1980, 126—133
Jean, B., H. Kazmierczak: Em Tracker für die Ophthalmologie. Kiln. Mbl. Augenheilk. 191 (1987) 89—168
Jean, B., H. Kazmierczak: Pattern Recognition Eye Tracking. Lasers in Ophthalmol. 1 (1987) 197—204
Jean, B., T. Seiler, Th. Grunert, H. Kazmierczak: Automatic target 6
Kazmierczak, H.: Automatische Zielverfolgung. Bericht Nr. 56, 10
Forsch.-lnstitut fur lnformationsverarbeitung und Mustererkennung, Ettlingen 6, 1978 Timberlake, G. T., H. D. Crane: Eye tracker stabilized photocoagulalion. ARVO Abstracts 26th Suppl., Invest. Ophthalnsol. Vis. Sci. (1985) 38
Rentschler, I., H. Schober: Die Entstehung des Netzhautbildes. In: 0. H. Ganer, K. Kramer, R. Jung: Physiologie des Menschen, Bd. III. Urban und Schwarzenberg, München—Wien—Baltimore, 1978
Manuskript erstmals eingereicht 10. 1. 1990, zur Publikation in der vorliegenden Form angenommen 14. Il. 1990
pursuence in Ophthalmology — Is it necessary? (in Vorbereitung)
B.. Erhohung der 2-D-Zielkonfidenz in der ophthalmologischen Laserchirurgie mit Hilfe der optischen Bildsuperposition und der automatischen Zielverfolgung. Habilitationsschrift, Tubingen (1990) Jean,
Kavai, H., S. Tam ura, K. Kani, K. Kariya: Eye movement analysis system using fundus images. Pattern Recognition 19 (1986) 77—87
Priv. -Doz. Dr. B. Jean Univ.-Augenklinik, Abs. I Schleichstr. 12 7400 Tubingen
Dieses Dokument wurde zum persönlichen Gebrauch heruntergeladen. Vervielfältigung nur mit Zustimmung des Verlages.
de Castro, E., G. Crishhi, C. Morandi, M. Vascotto: Towards a television ophthalmoscope with compensation of involuntary eye movements. Acta XXV Concilium Ophthalmologicum, Roma, 1986, 238—
Kazmierczak, H. (Hrsg.): Erfassung und maschinelle Verarbeitung von Bildern. Springer, New York, 1980
