Zeitschrift f~ir
Z. Lebensm. Unters.-Forsch. 161,151--156 (1976)
LebensmittelUntersuchung und-Forschung © by J. F. Bergmann-Verlag 1976
Gedanken zum QualifikationsmaBstab (BQ) fiir Priifpersonen anhand des Tetradentestes nach Renner und R[imer Manfred Miller, Henriette Schmidt* und Gerhard Wildbrett Milchwissenschaftliches Institut der Technischen Universit~it Mtinchen in Weihenstephan, D-8050 Weihenstephan
Thoughts about the Qualification of Assessors for Sensory Testing Summary. On the occasion of a storage test in order to evaluate the tightness of milk packing materials to permeating flavours by sensory analysis the statistical method for judging the concerned assessors recommended by R6mer and Renner was applied. We gained the experience, that this method allows no statement about the assessor's sensory ability at all, but merely fixes his order of precedence in a panel as to his ability to realize sensory differences in the scope of one special problem. The mentioned statistical procedure cannot substitute a selection of assessors aimed at the subject of the following sensory analysis.
Zusammenfassung. Anl/iglich eines Lagerungsversuchs zur sensorischen Bestimmung der Aromadichte von Milchpackungen wurde das von R6mer u. Renner auf der Basis des Tetradentestes vorgeschlagene Verfahren zur Prtiferbeurteilung angewandt. Nach den gewonnenen Erfahrungen erlaubt diese Methode keine Aussage fiber die sensorische Qualifikation eines Priifers, sondern bestimmt lediglich die Rangfolge der einzelnen Priifer innerhalb einer Prtifergruppe hinsichtlich der F~ihigkeit, sensorische Unterschiede im Rahmen einer speziellen Problemstellung zu erkennen. Das Verfahren ist kein Ersatz fiir eine auf das jeweilige Ziel abgestimmte Priiferauslese. Einleitung Ver/inderungen sensorischer Eigenschaften von Lebensmitteln durch ~iugere Einfltisse (z.B. Verpakkungsmaterialien, Lagerbedingungen, Bearbeitungsverfahren) erfordern sensorische Priifungen. Sie werden Niufig als Unterschiedspriifungen etwa in Form einer paarweisen Unterschiedspriifung, des * In Anlehnung an die Diplomarbeit von H.Schmidt: Sensorische Veriinderungen verpackter Trinkmilch durch Aromapermeation bei haushaltsm~iBiger Lagerung. Diplomarbeit Technische Universit~it Mtinchen-Weihenstephan, 1974, Studienrichtung Okotrophologie
152 Triangel- oder DUO-TRIO-Testes [1] durchgeffihrt. Vor einiger Zeit haben Renner u. RSmer [2] fiber eine weitere Variante solcher Unterschiedsprfifungen, den sogenannten Tetradentest berichtet. Ffir diesen erh~lt der Prfifer insgesamt 4 Proben, von denen 1 als Vergleichsprobe dient und die restlichen 3 zu bewertende Analysenproben darstellen. Im Rahmen des Tetradentests haben die Autoren auch ein statistisches Veffahren entwickelt, das eine nachtr~igliche Beurteilung der beteiligten Prfifer anhand der abgegebenen Urteile ermSglichen soll [3]. Um Erfahrungen mit dem Tetradentest und der damit verbundenen Prfiferbeurteilung zu gewinnen, wurde dieser im Rahmen von Untersuchungen fiber die Aromadichte von Milchpackungen angewandt [4]. lQber die dabei gewonnenen Einsichten sei nachfolgend berichtet.
Methodische Hinweise Ans&ze ffir die sensorischen Priifungen Von ein und derselben Milch wurde jeweils 1 1 maschinell in der Molkerei in poly~ithylenbeschichteten Karton und 1 1manuell in einen Schlauchbeutel aus Folithylenfolie geschweigt. Weitere 21 wurden in einen dicht verschlieBbaren Glaskolben geffillt und gesondert in geruchsneutraler AtmospNire bei gleichen Temperaturen gelagert. Als Aromatr[iger haben wir folgende, aroma-intensive Lebensmittel ausgewShlt: Sauerkraut und Zwiebel, Goldbarschfilet und Rgucherfisch. Die verpackte Milch wurde bei 2 °, 6 ° oder 12° C bis zu 72 Std neben den genannten AromatrSgern gelagert. F fir die sensorischen Prfifungen haben wir die Milch in sorgf~iltig vorgereinigte, grfindlich mit geschmacks- und geruchsneutralem Leitungswasser ausgespfilte Erlenmeyerkolben abgeffillt, diese mit Alufolie verschlossen und die Milch im Wasserbad gleichm~iNg auf 20°+ 1° C erwSrmt. S~imtliche Probierglgser ftir die Prfifer wurden ebenfalls bis zur Geruchsfreiheit mit Leitungswasser vorgespfilt. Um einen eventuellen st/irkeren Nachgeschmack einer Probe neutralisieren zu kSnnen, stand WeiBbrot bereit.
Berechnung des Beurteilungsquotienten Die Wahrscheinlichkeit, im Tetradentest die richtige Antwort zu erraten, liegt bei 16,7%. Bewegen sich die Prozents~itze richtiger Urteile eines Prfifers in der HShe von ann~ihernd 17%, ist anzunehmen, dab die richtigen Entscheidungen der Prfifperson nur Zufallstreffer darstellen, die Urteile deshalb keine Aussagekraft besitzen. Ein solcher Prfifer ist als ungeeignet zu betrachten. Eine sichere Beurteilung der Priifer ist jedoch nach RSmer u. Renner [-3] erst mSglich, wenn der Schwierigkeitsgrad der Prfifungen und der Anteil der Prfifpersonen an der Gesamtsumme richtiger Ergebnisse berficksichtigt werden. Der Schwierigkeitsgrad wird ermittelt, indem man den Prozentsatz P der richtigen Ergebnisse in der jeweiligen Tetrade berechnet und jedem Prfifer, der die Proben in dieser Tetrade zutreffend identifiziert hat, 100-P Punkte zuerkennt. Die Summe der yon einem Prfifer in den zu einer Beurteilung herangezogenen Prfifungen erzielten Punkte, dividiert durch die Anzahl der Tetradenteste n, an denen dieser Prfifer teilgenommen hat, ergibt den Beurteilungsquofienten BQ: BQ
ZP =
-
-
(I).
n
Nach dem Vorschlag von RSmer u. Renner (3) kSnnen weniger geeignete Prfifer ausgeschieden werden, wenn ihr BQ unterhalb der unteren, folgendermaBen definierten Grenze Gu liegt:
Gu=BQ-s (II). Es bedeuten ~ den mittleren Beurteilungsquotienten aller Prfifer der Gruppe; s die Standardabweichung des BQ.
Ergebnisse In unseren Versuchsreihen tiber den Einflul3 verschiedener Fremdaromen auf verpackte Vollmilch erreichten die insgesamt beteiligten 6 Priifer die in Tab. 1 zusammengefal3ten Beurteilungsquotienten. Danach ist der Prtifer F am hSchsten qualifiziert.
153 Tabelle 1. Zusammengefal3te Beurteilungsquotienten (BQ) der Prtifer aus sensorischen Analysen an Vollmilch nach gemeinsamer Lagerung mit verschiedenen Aromatr~igern (Lagertemp. 2 ° - 1 2 ° C, Lagerzeit 2 - 72 Std.) Priifer
Anzahl der Priifungen (n)
erreichte Punktzahl (P)
Beurteilungsquotient (BQ)
Priifer A Prtifer B Prtifer C Prtifer D Priifer E Priifer F
73 55 69 75 48 62
925 1110 385 1385 1260 1880
12,67 20,02 5,29 18,46 26,25 30,32
Tabelle 2. Differenzierte Beurteilungsquotienten (BQ) der Priifer aus sensorischen Analysen an Vollmilch nach gemeinsamer Lagerung mit verschiedenen Aromatr~igern (Lagertemp. 2 ° - 1 2 ° C; Lagerzeit 2 - 72 Std) Priifer
BQ f'tir
Sauerkraut
Zwiebel
Frischfisch
R~iucherfisch
Gesamt-BQb
A B C D E F
8,24 33,89 5,41a 11,41 21,25 40,00
15,23 10,75 2,38" 19,28 37,67 35,00
8,88" 24,58 15,78 19,47 21,66 23,68
17,94 21,22 4,42" 23,05 20,00 24,23
12,67 20,02 5,29~ 18,46 26,25 30,32
Gu
5,75
6,22
13,12
11,24
9,78
" Wert unterhalb Gu; G, = BQ - s b Vgl. Tab. 1
Aus den in Tab. 1 angegebenen Werten folgt nach Gleichung (II):
BQ= 18,84; s= _9,05 und G,=9,79. Priifer C liegt mit einem ~ gleich 5,29 unter dem Grenzwert G,; seine Urteile w~iren damit generell nicht auszuwerten. Aufgrund von Beobachtungen w~ihrend der Prtifungen und den abgegebenen Urteilen mul3ten wit allerdings schliel3en, dab die einzelnen Priifer eine unterschiedliche Empfindlichkeit gegeniiber den vorgesetzten Geschmacksrichtungen aufweisen und haben deshalb die Beurteilungsquotienten nach den Aromatypen differenziert (vgl. Tab. 2). Die Einzelbewertung bestgtigt Prtifer C zurecht als am wenigsten geeignetes Mitglied des Teams im Falle der Priifungen auf Geschmacksbeeintr~ichtigung dutch Sauerkraut, Zwiebel und R~iucherfisch. Gleichzeitig wird auch die Schw~iche d e s Prtifers A in Priifungen mit Frischfisch deutlich. Aus den BQ-Werten l~il3tsich die Platzziffer und damit die Rangfolge tier Prtifer innerhalb einer Gruppe (vgl. Tab. 3) nach ihren sensorischen F~ihigkeiten fiir das jeweils gestellte Problem leicht ablesen. Die auftretenden Schwankungen zeigen die
154 Tabelle 3. Platzziffernc der Prtifer bei sensorischer Kontrolle verpackter Vollmilch auf Geschmacksver/inderungdurch verschiedeneAromatr~iger Aromatr~iger Platzzifferf'tirPriifer
Sauerkraut Zwiebel Frischfisch Riiucherfisch Summe: c
A
B
C
D
E
F
5 4 6 5 20
2 5 1 3 11
6 6 5 6 23
4 3 4 2 13
3 1 3 4 11
1 2 2 1 6
Platzziffer1 erh~iltder Priifer mit dem h6chsten, Platzziffer6 der mit dem niedrigstenBQ
unterschiedliche Empfindlichkeit einer Prfifperson gegenfiber den untersuchten Geschmacksrichtungen. Aus Tab. 3 kristallisieren sich 2 Prtifertypen heraus: 1. Prfifer mit nahezu konstanter Empfindlichkeit gegentiber den 4 untersuchten Geschmacksabweichungen, wie z. B. die Priifpersonen C und F. 2. Prtifer, die fiir bestimmte Geschmacksabweichungen besonders empfindlich sind und andere weniger gut erkennen, wie z.B. Prfifer B, der durch Goldbarschfilet und Sauerkraut verursachte Abweichungen besonders gut herausfand, sowie Prtifer E, der eine deutlich erh6hte Empfindlichkeit gegenfiber dem Aroma yon Zwiebeln zeigt.
Diskussion Fiir die Berechnung des Beurteilungsquotienten der Priifer taucht prim~ir die Frage auf, was als ,,richtiges" Urteil gewertet werden soll. Auf unser Problem bezogen k/Snnte ein Urteil nur dann ,,richtig" sein, wenn die neben den Aromatr~igern gelagerten Milchproben grunds~itzlich als sensorisch ver~indert bezeichnet werden. DaB dieses Vorgehen mit Vorbehalten anzuwenden ist, liegt auf der Hand: In einer aromadurchl~issigen Verpackung mag die sensorische Ver~inderung mit hoher Wahrscheinlichkeit eintreten, gerade in dem erwfinschten Falle einer hohen Aromadichte wird aber selbst ein qualifizierter, d.h. gegenfiber dem betreffenden F r e m d a r o m a sehr empfindlicher Priifer ,,falsche" Urteile abgeben, weil die Intensit~it des Fremdgeschmackes unterhalb seiner Reiz- bzw. Erkennungsschwelle liegt. Diese Einschr~inkung gilt generell fiir alle Unterschiedsprfifungen mit kaum wahrnehmbaren sensorischen Unterschieden der Proben. Der BQ schliegt den Schwierigkeitsgrad einer Prfifaufgabe mit ein. Er ergibt sich aus dem Anteil der richtigen Urteile innerhalb einer Prfifung. Die den Wert des BQ wesentlich bestimmende Punktzahl P (vgl. Formel I) h~ingt also letztlich yon der Leistungsf~ihigkeit des gesamten Prfiferteams ab, ist folglich eine relative, aber keine absolute Gr6Be. Ein bestimmter BQ entspricht keineswegs einer bestimmten Qualifikation, sondern gilt nur ftir den jeweiligen Sonderfall. Der BQ ein und desselben Prfifers kann in einer hochqualifizierten Gruppe unter, in einem schw~icheren Team dagegen fiber dem Gruppendurchschnitt liegen. Folglieh ist
155 Tabelle 4. Statistische Kontrolle ausreiBverd~ichtige Werte m
Aromatfiiger
BQ
s
der
durchschnittlichen
GufiJr BQ-3s
Sauerkraut Zwiebel Frischfisch R~iucherfisch
22,96 23,59 21,03 21,29
13,81 12,06 3,54 2,48
Beurteilungsquotienten
< 0 < 0 10,43 13,84
(BQ) auf
AuszuschlieBende Priifer bei
BQ-4s < 0 < 0 6,89 11,36
BQ-3s --A C
BQ-4s ---C
der BQ nur relativ zu sehen, denn er schafft lediglich innerhalb einer bestehenden Priifergruppe eine Rangfolge hinsichtlich der F~ihigkeit ihrer einzelnen Mitglieder, sensorische Unterschiede in einer bestimmten Richtung zu erkennen, ohne jedoch ihr Niveau insgesamt zu charakterisieren. Demnach besteht auch nicht die M6glichkeit, mittels der vorgeschlagenen Auswertung der Ergebnisse des Tetradentestes Pfiifer objektiv zu beurteilen. Nach dem Vorschlag von R6mer u. Renner [-3] sind die Urteile des Prtifers C aus den Versuchsreihen mit Sauerkraut, Zwiebel und R~iucherfisch und die Aussagen des Priifers A in der Versuchsreihe mit Frischfisch nicht in die Auswertung mit einzubeziehen, da ihre BQ-Werte in den genannten F~illen unterhalb des Mittelwertes der Gruppe abziiglich des einfachen Wertes der Standardabweichung liegen (vgl. Tab.2). Ein solches Ausschlul3verfahren kann aber kaum mit einem einmaligen Berechnungsschritt beendet sein. Es miiBte vielmehr ~ihnlich wie bei der graphischen Kontrolle von AusreiBwerten etwa mittels der Hazenschen Geraden [5] wiederholt werden, bis die aus der reduzierten Prtifergruppe ermittelte untere Schranke G, yon keinem verbleibenden Mitglied der Priifergruppe unterschritten wird, also jeder Priifer, dessen Urteile ausgewertet werden sollen, die Auswahlbedingungen erfiillt. Ftihrt man die Berechnung iterativ bis zu diesem Punkt durch, bleiben aus unseren Priifungen auf Aromabeeinflussung verpackter Vollmilch nur die Urteile von jeweils 2 Priifern fiir die einzelnen Aromatypen iibrig: Sauerkraut und Frischfisch Prtifer B und F, Zwiebel Prtifer E und F, R/iucherfisch Priifer D und F. Aber selbst die Anwendung des, wie dargelegt, relativen Magstabes zur Beurteilung einzelner Prtifer innerhalb einer Gruppe ist nicht unproblematisch: Vielmehr erscheint es fraglich, ob die Grenze G, zu Recht durch Subtraktion des einfachen statt des iiblichen dreifachen Wertes der Standardabweichung vom Mittelwert des BQ der Gruppe festgelegt werden darf (vgl. Formel II). Die enge Grenze schlieBt zwangsl~iufig eine gr6gere Zahl von Prtifern fiir die Auswertung a u s - im Falle einer Normalverteilung mit einseitiger Fragestellung immerhin nahezu 17%. Daher ergibt sich bei Abzug des 3 fachen, oder dem Vorschlag yon Sachs [-6] folgend des 4fachen Wertes der Standardabweichung ein v611ig ver~indertes Bild (vgl. Tab. 4 und Tab. 2). Wegen der groBen Streuung der Werte fiir den
156
BQ der Priifpersonen ist es demnach nicht gerechtfertigt, in den Versuchsreihen mit Sauerkraut oder Zwiebel die Urteile irgend eines Mitgliedes der Gruppe yon der Auswertung auszuschliegen. Daraus folgt, wie wichtig ein m6glichst homogenes leistungsfiihiges Team gerade bei so schwierigen Aufgaben wie der Prtifung der Aromadichte von Pakkungen ist. Aus den geschilderten Grtinden kann der BQ auf keinen Fall eine Prtiferauslese hinsichtlich eines gestellten Problems ersetzen. Wie sehr es darauf ankommt, im Auswahlverfahren m6glichst spezifisch auf die gestellte Aufgabe hinzuzielen, beweist die je nach Aromaart unterschiedliche Rangfolge der Prtifer innerhalb der Gruppe (vgl. Tab. 3). Weiterhin mug die spezielle Qualifikation eines Prtifers ermittelt sein, bevor das eigentliche Problem bearbeitet wird. Schwellenwertsprtifungen mit den 4 Grundgeschmacksarten diirften nur begrenzt geeignet sein, well sie einerseits zu wenig tiber das Unterscheidungsverm6gen des Prtifers aussagen [3, 7] und andererseits so komplexe Aromastoffe wie in unserem vorliegenden Fall, sich nicht reproduzierbar dosieren lassen. Vielleicht k6nnte ein Verdtinnungstest, ausgehend yon einer hochgradig durch Fremdaromen beeinflugten Probe, hier weiterhelfen. Literatur 1. 2. 3. 4.
Jellinek, G. : Gordian 68, 9 (1968) Renner, E., R6mer, G.: Z. Lebensm. Unters.-Forsch. 151, 326 (1973) R6mer, G., Renner, E.: Z. Lebensm. Unters.-Forsch. 152, 219(1973) Schmidt, H. : Sensorische Ver~inderungen verpackter Trinkmilch durch Aromapermeation bei haushaltsm~iBiger Lagerung. Diplomarbeit TU Mtinchen - - Weihenstephan 1974 5. Lode, W. : VDJ-Zeitschr. 90, 89 (1948) 6. Sachs, L. : Angewandte Statistik. Berlin-Heidelberg-New York: Springer 1974 7. Kiermeier, F., Haevecker, U.: Sensorische Beurteilung yon Lebensmitteln. Mtinchen: J.F.Bergmann 1972
Eingegangen am 12. Dezember 1975
Z. Lebensm. Unters.-Forsch. 161,151--156 (1976)
LebensmittelUntersuchung und-Forschung © by J. F. Bergmann-Verlag 1976
Gedanken zum QualifikationsmaBstab (BQ) fiir Priifpersonen anhand des Tetradentestes nach Renner und R[imer Manfred Miller, Henriette Schmidt* und Gerhard Wildbrett Milchwissenschaftliches Institut der Technischen Universit~it Mtinchen in Weihenstephan, D-8050 Weihenstephan
Thoughts about the Qualification of Assessors for Sensory Testing Summary. On the occasion of a storage test in order to evaluate the tightness of milk packing materials to permeating flavours by sensory analysis the statistical method for judging the concerned assessors recommended by R6mer and Renner was applied. We gained the experience, that this method allows no statement about the assessor's sensory ability at all, but merely fixes his order of precedence in a panel as to his ability to realize sensory differences in the scope of one special problem. The mentioned statistical procedure cannot substitute a selection of assessors aimed at the subject of the following sensory analysis.
Zusammenfassung. Anl/iglich eines Lagerungsversuchs zur sensorischen Bestimmung der Aromadichte von Milchpackungen wurde das von R6mer u. Renner auf der Basis des Tetradentestes vorgeschlagene Verfahren zur Prtiferbeurteilung angewandt. Nach den gewonnenen Erfahrungen erlaubt diese Methode keine Aussage fiber die sensorische Qualifikation eines Priifers, sondern bestimmt lediglich die Rangfolge der einzelnen Priifer innerhalb einer Prtifergruppe hinsichtlich der F~ihigkeit, sensorische Unterschiede im Rahmen einer speziellen Problemstellung zu erkennen. Das Verfahren ist kein Ersatz fiir eine auf das jeweilige Ziel abgestimmte Priiferauslese. Einleitung Ver/inderungen sensorischer Eigenschaften von Lebensmitteln durch ~iugere Einfltisse (z.B. Verpakkungsmaterialien, Lagerbedingungen, Bearbeitungsverfahren) erfordern sensorische Priifungen. Sie werden Niufig als Unterschiedspriifungen etwa in Form einer paarweisen Unterschiedspriifung, des * In Anlehnung an die Diplomarbeit von H.Schmidt: Sensorische Veriinderungen verpackter Trinkmilch durch Aromapermeation bei haushaltsm~iBiger Lagerung. Diplomarbeit Technische Universit~it Mtinchen-Weihenstephan, 1974, Studienrichtung Okotrophologie
152 Triangel- oder DUO-TRIO-Testes [1] durchgeffihrt. Vor einiger Zeit haben Renner u. RSmer [2] fiber eine weitere Variante solcher Unterschiedsprfifungen, den sogenannten Tetradentest berichtet. Ffir diesen erh~lt der Prfifer insgesamt 4 Proben, von denen 1 als Vergleichsprobe dient und die restlichen 3 zu bewertende Analysenproben darstellen. Im Rahmen des Tetradentests haben die Autoren auch ein statistisches Veffahren entwickelt, das eine nachtr~igliche Beurteilung der beteiligten Prfifer anhand der abgegebenen Urteile ermSglichen soll [3]. Um Erfahrungen mit dem Tetradentest und der damit verbundenen Prfiferbeurteilung zu gewinnen, wurde dieser im Rahmen von Untersuchungen fiber die Aromadichte von Milchpackungen angewandt [4]. lQber die dabei gewonnenen Einsichten sei nachfolgend berichtet.
Methodische Hinweise Ans&ze ffir die sensorischen Priifungen Von ein und derselben Milch wurde jeweils 1 1 maschinell in der Molkerei in poly~ithylenbeschichteten Karton und 1 1manuell in einen Schlauchbeutel aus Folithylenfolie geschweigt. Weitere 21 wurden in einen dicht verschlieBbaren Glaskolben geffillt und gesondert in geruchsneutraler AtmospNire bei gleichen Temperaturen gelagert. Als Aromatr[iger haben wir folgende, aroma-intensive Lebensmittel ausgewShlt: Sauerkraut und Zwiebel, Goldbarschfilet und Rgucherfisch. Die verpackte Milch wurde bei 2 °, 6 ° oder 12° C bis zu 72 Std neben den genannten AromatrSgern gelagert. F fir die sensorischen Prfifungen haben wir die Milch in sorgf~iltig vorgereinigte, grfindlich mit geschmacks- und geruchsneutralem Leitungswasser ausgespfilte Erlenmeyerkolben abgeffillt, diese mit Alufolie verschlossen und die Milch im Wasserbad gleichm~iNg auf 20°+ 1° C erwSrmt. S~imtliche Probierglgser ftir die Prfifer wurden ebenfalls bis zur Geruchsfreiheit mit Leitungswasser vorgespfilt. Um einen eventuellen st/irkeren Nachgeschmack einer Probe neutralisieren zu kSnnen, stand WeiBbrot bereit.
Berechnung des Beurteilungsquotienten Die Wahrscheinlichkeit, im Tetradentest die richtige Antwort zu erraten, liegt bei 16,7%. Bewegen sich die Prozents~itze richtiger Urteile eines Prfifers in der HShe von ann~ihernd 17%, ist anzunehmen, dab die richtigen Entscheidungen der Prfifperson nur Zufallstreffer darstellen, die Urteile deshalb keine Aussagekraft besitzen. Ein solcher Prfifer ist als ungeeignet zu betrachten. Eine sichere Beurteilung der Priifer ist jedoch nach RSmer u. Renner [-3] erst mSglich, wenn der Schwierigkeitsgrad der Prfifungen und der Anteil der Prfifpersonen an der Gesamtsumme richtiger Ergebnisse berficksichtigt werden. Der Schwierigkeitsgrad wird ermittelt, indem man den Prozentsatz P der richtigen Ergebnisse in der jeweiligen Tetrade berechnet und jedem Prfifer, der die Proben in dieser Tetrade zutreffend identifiziert hat, 100-P Punkte zuerkennt. Die Summe der yon einem Prfifer in den zu einer Beurteilung herangezogenen Prfifungen erzielten Punkte, dividiert durch die Anzahl der Tetradenteste n, an denen dieser Prfifer teilgenommen hat, ergibt den Beurteilungsquofienten BQ: BQ
ZP =
-
-
(I).
n
Nach dem Vorschlag von RSmer u. Renner (3) kSnnen weniger geeignete Prfifer ausgeschieden werden, wenn ihr BQ unterhalb der unteren, folgendermaBen definierten Grenze Gu liegt:
Gu=BQ-s (II). Es bedeuten ~ den mittleren Beurteilungsquotienten aller Prfifer der Gruppe; s die Standardabweichung des BQ.
Ergebnisse In unseren Versuchsreihen tiber den Einflul3 verschiedener Fremdaromen auf verpackte Vollmilch erreichten die insgesamt beteiligten 6 Priifer die in Tab. 1 zusammengefal3ten Beurteilungsquotienten. Danach ist der Prtifer F am hSchsten qualifiziert.
153 Tabelle 1. Zusammengefal3te Beurteilungsquotienten (BQ) der Prtifer aus sensorischen Analysen an Vollmilch nach gemeinsamer Lagerung mit verschiedenen Aromatr~igern (Lagertemp. 2 ° - 1 2 ° C, Lagerzeit 2 - 72 Std.) Priifer
Anzahl der Priifungen (n)
erreichte Punktzahl (P)
Beurteilungsquotient (BQ)
Priifer A Prtifer B Prtifer C Prtifer D Priifer E Priifer F
73 55 69 75 48 62
925 1110 385 1385 1260 1880
12,67 20,02 5,29 18,46 26,25 30,32
Tabelle 2. Differenzierte Beurteilungsquotienten (BQ) der Priifer aus sensorischen Analysen an Vollmilch nach gemeinsamer Lagerung mit verschiedenen Aromatr~igern (Lagertemp. 2 ° - 1 2 ° C; Lagerzeit 2 - 72 Std) Priifer
BQ f'tir
Sauerkraut
Zwiebel
Frischfisch
R~iucherfisch
Gesamt-BQb
A B C D E F
8,24 33,89 5,41a 11,41 21,25 40,00
15,23 10,75 2,38" 19,28 37,67 35,00
8,88" 24,58 15,78 19,47 21,66 23,68
17,94 21,22 4,42" 23,05 20,00 24,23
12,67 20,02 5,29~ 18,46 26,25 30,32
Gu
5,75
6,22
13,12
11,24
9,78
" Wert unterhalb Gu; G, = BQ - s b Vgl. Tab. 1
Aus den in Tab. 1 angegebenen Werten folgt nach Gleichung (II):
BQ= 18,84; s= _9,05 und G,=9,79. Priifer C liegt mit einem ~ gleich 5,29 unter dem Grenzwert G,; seine Urteile w~iren damit generell nicht auszuwerten. Aufgrund von Beobachtungen w~ihrend der Prtifungen und den abgegebenen Urteilen mul3ten wit allerdings schliel3en, dab die einzelnen Priifer eine unterschiedliche Empfindlichkeit gegeniiber den vorgesetzten Geschmacksrichtungen aufweisen und haben deshalb die Beurteilungsquotienten nach den Aromatypen differenziert (vgl. Tab. 2). Die Einzelbewertung bestgtigt Prtifer C zurecht als am wenigsten geeignetes Mitglied des Teams im Falle der Priifungen auf Geschmacksbeeintr~ichtigung dutch Sauerkraut, Zwiebel und R~iucherfisch. Gleichzeitig wird auch die Schw~iche d e s Prtifers A in Priifungen mit Frischfisch deutlich. Aus den BQ-Werten l~il3tsich die Platzziffer und damit die Rangfolge tier Prtifer innerhalb einer Gruppe (vgl. Tab. 3) nach ihren sensorischen F~ihigkeiten fiir das jeweils gestellte Problem leicht ablesen. Die auftretenden Schwankungen zeigen die
154 Tabelle 3. Platzziffernc der Prtifer bei sensorischer Kontrolle verpackter Vollmilch auf Geschmacksver/inderungdurch verschiedeneAromatr~iger Aromatr~iger Platzzifferf'tirPriifer
Sauerkraut Zwiebel Frischfisch Riiucherfisch Summe: c
A
B
C
D
E
F
5 4 6 5 20
2 5 1 3 11
6 6 5 6 23
4 3 4 2 13
3 1 3 4 11
1 2 2 1 6
Platzziffer1 erh~iltder Priifer mit dem h6chsten, Platzziffer6 der mit dem niedrigstenBQ
unterschiedliche Empfindlichkeit einer Prfifperson gegenfiber den untersuchten Geschmacksrichtungen. Aus Tab. 3 kristallisieren sich 2 Prtifertypen heraus: 1. Prfifer mit nahezu konstanter Empfindlichkeit gegentiber den 4 untersuchten Geschmacksabweichungen, wie z. B. die Priifpersonen C und F. 2. Prtifer, die fiir bestimmte Geschmacksabweichungen besonders empfindlich sind und andere weniger gut erkennen, wie z.B. Prfifer B, der durch Goldbarschfilet und Sauerkraut verursachte Abweichungen besonders gut herausfand, sowie Prtifer E, der eine deutlich erh6hte Empfindlichkeit gegenfiber dem Aroma yon Zwiebeln zeigt.
Diskussion Fiir die Berechnung des Beurteilungsquotienten der Priifer taucht prim~ir die Frage auf, was als ,,richtiges" Urteil gewertet werden soll. Auf unser Problem bezogen k/Snnte ein Urteil nur dann ,,richtig" sein, wenn die neben den Aromatr~igern gelagerten Milchproben grunds~itzlich als sensorisch ver~indert bezeichnet werden. DaB dieses Vorgehen mit Vorbehalten anzuwenden ist, liegt auf der Hand: In einer aromadurchl~issigen Verpackung mag die sensorische Ver~inderung mit hoher Wahrscheinlichkeit eintreten, gerade in dem erwfinschten Falle einer hohen Aromadichte wird aber selbst ein qualifizierter, d.h. gegenfiber dem betreffenden F r e m d a r o m a sehr empfindlicher Priifer ,,falsche" Urteile abgeben, weil die Intensit~it des Fremdgeschmackes unterhalb seiner Reiz- bzw. Erkennungsschwelle liegt. Diese Einschr~inkung gilt generell fiir alle Unterschiedsprfifungen mit kaum wahrnehmbaren sensorischen Unterschieden der Proben. Der BQ schliegt den Schwierigkeitsgrad einer Prfifaufgabe mit ein. Er ergibt sich aus dem Anteil der richtigen Urteile innerhalb einer Prfifung. Die den Wert des BQ wesentlich bestimmende Punktzahl P (vgl. Formel I) h~ingt also letztlich yon der Leistungsf~ihigkeit des gesamten Prfiferteams ab, ist folglich eine relative, aber keine absolute Gr6Be. Ein bestimmter BQ entspricht keineswegs einer bestimmten Qualifikation, sondern gilt nur ftir den jeweiligen Sonderfall. Der BQ ein und desselben Prfifers kann in einer hochqualifizierten Gruppe unter, in einem schw~icheren Team dagegen fiber dem Gruppendurchschnitt liegen. Folglieh ist
155 Tabelle 4. Statistische Kontrolle ausreiBverd~ichtige Werte m
Aromatfiiger
BQ
s
der
durchschnittlichen
GufiJr BQ-3s
Sauerkraut Zwiebel Frischfisch R~iucherfisch
22,96 23,59 21,03 21,29
13,81 12,06 3,54 2,48
Beurteilungsquotienten
< 0 < 0 10,43 13,84
(BQ) auf
AuszuschlieBende Priifer bei
BQ-4s < 0 < 0 6,89 11,36
BQ-3s --A C
BQ-4s ---C
der BQ nur relativ zu sehen, denn er schafft lediglich innerhalb einer bestehenden Priifergruppe eine Rangfolge hinsichtlich der F~ihigkeit ihrer einzelnen Mitglieder, sensorische Unterschiede in einer bestimmten Richtung zu erkennen, ohne jedoch ihr Niveau insgesamt zu charakterisieren. Demnach besteht auch nicht die M6glichkeit, mittels der vorgeschlagenen Auswertung der Ergebnisse des Tetradentestes Pfiifer objektiv zu beurteilen. Nach dem Vorschlag von R6mer u. Renner [-3] sind die Urteile des Prtifers C aus den Versuchsreihen mit Sauerkraut, Zwiebel und R~iucherfisch und die Aussagen des Priifers A in der Versuchsreihe mit Frischfisch nicht in die Auswertung mit einzubeziehen, da ihre BQ-Werte in den genannten F~illen unterhalb des Mittelwertes der Gruppe abziiglich des einfachen Wertes der Standardabweichung liegen (vgl. Tab.2). Ein solches Ausschlul3verfahren kann aber kaum mit einem einmaligen Berechnungsschritt beendet sein. Es miiBte vielmehr ~ihnlich wie bei der graphischen Kontrolle von AusreiBwerten etwa mittels der Hazenschen Geraden [5] wiederholt werden, bis die aus der reduzierten Prtifergruppe ermittelte untere Schranke G, yon keinem verbleibenden Mitglied der Priifergruppe unterschritten wird, also jeder Priifer, dessen Urteile ausgewertet werden sollen, die Auswahlbedingungen erfiillt. Ftihrt man die Berechnung iterativ bis zu diesem Punkt durch, bleiben aus unseren Priifungen auf Aromabeeinflussung verpackter Vollmilch nur die Urteile von jeweils 2 Priifern fiir die einzelnen Aromatypen iibrig: Sauerkraut und Frischfisch Prtifer B und F, Zwiebel Prtifer E und F, R/iucherfisch Priifer D und F. Aber selbst die Anwendung des, wie dargelegt, relativen Magstabes zur Beurteilung einzelner Prtifer innerhalb einer Gruppe ist nicht unproblematisch: Vielmehr erscheint es fraglich, ob die Grenze G, zu Recht durch Subtraktion des einfachen statt des iiblichen dreifachen Wertes der Standardabweichung vom Mittelwert des BQ der Gruppe festgelegt werden darf (vgl. Formel II). Die enge Grenze schlieBt zwangsl~iufig eine gr6gere Zahl von Prtifern fiir die Auswertung a u s - im Falle einer Normalverteilung mit einseitiger Fragestellung immerhin nahezu 17%. Daher ergibt sich bei Abzug des 3 fachen, oder dem Vorschlag yon Sachs [-6] folgend des 4fachen Wertes der Standardabweichung ein v611ig ver~indertes Bild (vgl. Tab. 4 und Tab. 2). Wegen der groBen Streuung der Werte fiir den
156
BQ der Priifpersonen ist es demnach nicht gerechtfertigt, in den Versuchsreihen mit Sauerkraut oder Zwiebel die Urteile irgend eines Mitgliedes der Gruppe yon der Auswertung auszuschliegen. Daraus folgt, wie wichtig ein m6glichst homogenes leistungsfiihiges Team gerade bei so schwierigen Aufgaben wie der Prtifung der Aromadichte von Pakkungen ist. Aus den geschilderten Grtinden kann der BQ auf keinen Fall eine Prtiferauslese hinsichtlich eines gestellten Problems ersetzen. Wie sehr es darauf ankommt, im Auswahlverfahren m6glichst spezifisch auf die gestellte Aufgabe hinzuzielen, beweist die je nach Aromaart unterschiedliche Rangfolge der Prtifer innerhalb der Gruppe (vgl. Tab. 3). Weiterhin mug die spezielle Qualifikation eines Prtifers ermittelt sein, bevor das eigentliche Problem bearbeitet wird. Schwellenwertsprtifungen mit den 4 Grundgeschmacksarten diirften nur begrenzt geeignet sein, well sie einerseits zu wenig tiber das Unterscheidungsverm6gen des Prtifers aussagen [3, 7] und andererseits so komplexe Aromastoffe wie in unserem vorliegenden Fall, sich nicht reproduzierbar dosieren lassen. Vielleicht k6nnte ein Verdtinnungstest, ausgehend yon einer hochgradig durch Fremdaromen beeinflugten Probe, hier weiterhelfen. Literatur 1. 2. 3. 4.
Jellinek, G. : Gordian 68, 9 (1968) Renner, E., R6mer, G.: Z. Lebensm. Unters.-Forsch. 151, 326 (1973) R6mer, G., Renner, E.: Z. Lebensm. Unters.-Forsch. 152, 219(1973) Schmidt, H. : Sensorische Ver~inderungen verpackter Trinkmilch durch Aromapermeation bei haushaltsm~iBiger Lagerung. Diplomarbeit TU Mtinchen - - Weihenstephan 1974 5. Lode, W. : VDJ-Zeitschr. 90, 89 (1948) 6. Sachs, L. : Angewandte Statistik. Berlin-Heidelberg-New York: Springer 1974 7. Kiermeier, F., Haevecker, U.: Sensorische Beurteilung yon Lebensmitteln. Mtinchen: J.F.Bergmann 1972
Eingegangen am 12. Dezember 1975
