7. Steirischer Zertifikatslehrgang für Erwachsenenbildung
Ein Rückblick aus dem Blickwinkel der Evaluation

Bereits zum 7. Mal haben die Arbeitsgemeinschaft Steirische Erwachsenenbildung und das Bildungshaus Retzhof vom Oktober 1998 bis Juni 1999 den Zertifikatslehrgang organisiert und durchgeführt, der die Professionalisierung von TrainerInnen in der Erwachsenenbildung zum Ziel hatte. Dies ist ein Beweis für das großes Interesse jener Menschen, die in der Erwachsenenbildung tätig sind - egal ob ehrenamtlich oder professionell - sich höher zu qualifizieren.
Die TeilnehmerInnen konnten „über den eigenen Tellerrand der Erwachsenenbildung“1) hinausschauen,  Erfahrungen sammeln, Kenntnisse erweitern, praktische Fähigkeiten erproben und in einem Schonraum Rückmeldungen bekommen, sowie die Lernform der Selbstorgani-sation erproben.2)

In Zeiten knapper Ressourcen ist verstärkt zu bemerken, dass das Phänomen der Evaluation immer mehr in den Blickpunkt des Interesses rückt. Prinzipiell ist dieser Umstand zu beurteilen, so lange Evaluation dazu dient, Qualität zu sichern bzw. möglicherweise zu steigern. Vorausschicken möchte ich in diesem Zusammenhang eine Feststellung von Hans Weigel, der einmal in einem Radiointerview sagte: „Traue keiner Statistik, die du nicht selbst gefälscht hast.“3) Damit soll gezeigt werden, dass je nachdem, welche Interessen vorherrschen bzw. wer Evaluationen in Auftrag gibt, sehr wohl auch gute und bewährte Angebote dem Sparstift zum Opfern fallen können.

Die Bundesstelle für Erwachsenenbildung in der Steiermark hat an mich das Ersuchen herangetragen, den Lehrgang mittels dem Computerprogramm ISEB/SIIB (Interaktives System zur Ermittlung von Bedürfnissen) zu evaluieren. Diese Software geht vor allem auf die beiden grundsätzlichen Fragen ein:
a)	Welches sind die Bildungs- (Aus- und Fortbildungs-) Bedürfnisse der angesprochenen
 Zielgruppe (z.B: Kollegium einer Schule, Teilnehmerinnen und Teilnehmer eines Lehr-ganges)?
b)	Welchen Bedürfnissen ist besondere Aufmerksamkeit zu schenken?5)

Das Programm besteht aus folgenden sechs Modulen:
Aussagenkatalog: Dieses Modul ermöglicht den Aufbau einer Datenbank, die zur Erfassung einer der Grundinformationen einer Bedürfnisanalyse dient. Die darin formulierten Aussagen können im folgenden Modul „Fragebogen“ verwendet werden.
Fragebogen: Mit Hilfe dieses Programms wird ein Fragebogen erstellt und in den Modulen „Datenerfassung“ und „Befragung“ verwendet .
Befragung:   Modul zur direkten Befragung am Bildschirm.
Datenerfassung: Das Programm dient zur digitalen Erfassung der Daten, die mittels Papier-Bleistift-Methode gewonnen wurden. Die Eingabe dient dazu, um eine Analyse der Erhebung zu erstellen.
Vereinigung: Hat man mehrere Datensätze erhoben und getrennt in digitaler Form erfaßt, können sie zu einer gemeinsame Analyse zusammengefaßt werden.
Analyse:   Erstellung einer statistischen Analyse der erhobenen Daten.

Ich möchte vorausschicken, dass das Programm formal leicht zu bedienen ist und die Erstellung einer Analyse nach einer gewissen Einarbeitung sicherlich kein Problem darstellt. Es sei jedoch folgendes kritisch angemerkt und vor einer allzu euphorischen Verwendung des Instruments aus meiner Sicht gewarnt:
Das Erstellen des Aussagenkataloges bedarf gewisser Erfahrung und braucht Fingerspitzen-gefühl, um zu Formulierungen zu gelangen, die dann tatsächlich auch das abfragen, was der Intention des Interviewers entspricht. Bei diesem Lehrgang kann man insofern von idealen Arbeitsbedingungen sprechen, da die Aussagenkataloge in Zusammenarbeit mit den Referenten Gudrun Stemmer und Peter Zavarsky entstanden. Dadurch war gesichert, dass annähernd jene Fragen und Aussagen ausgewählt wurden, die von empirischer Relevanz für die Evaluation des Lehrgangs waren.
Außerdem habe ich festgestellt, dass es für das Gelingen der Evaluation erforderlich wäre, dass die Person, die eine Evaluation mit ISEB durchführt, an der jeweiligen zu bewertenden Veranstaltung aktiv teilnimmt. Erst dadurch, dass ich selbst am Geschehen des Lehrgangs beteiligt war, konnte ich wesentliche Zielsetzungen erkennen und als Aussagen formulieren. Daran anschließend erfolgte der Abgleich der Items mit den beiden Referenten, bevor der Fragebogen an die TeilnehmerInnen versandt wurde. 
Die Analyse der Daten kann sicherlich rasch und bequem mittels der Software erledigt werden, die eigentliche Arbeit beginnt mit der Interpretation und den daraus resultierenden Konklusionen für die weitere Vorgangsweise. 

Generell kann gesagt werden, dass das Programm ISEB eine Möglichkeit darstellt, die gut geeignet ist, aussagekräftige Ergebnisse zu bekommen. Dies geschieht jedoch nur unter der Voraussetzung, dass die vorhin erwähnten Punkte Beachtung finden.

Beispielhaft seien der Evaluationsbogen des 2. Seminarwochenendes vom Dezember 1998 angeführt. Im Anschluss daran sollen einige Darstellungen aus der Analyse angeführt und beschrieben werden:

Folgender Fragebogen wurde ausgeteilt, die Teilnehmerinnen und Teilnehmer sollten auf einer vierstufigen Skala „sehr wenig - wenig - ziemlich - viel“ einerseits ankreuzen, inwieweit die Aussage dem entsprach, was war (ISTZUSTAND) und im zweiten Block anzugeben, wie wichtig das jeweilige Item für den einzelnen ist (SOLLZUSTAND)

Evaluation des 2. Seminarblocks des 7. Zertifikatslehrganges für Erwachsenenbildung

1. 	Die Erfahrungen der TeilnehmerInnen bildeten die Ausgangsbasis für das Lernen
2. 	Die TeilnehmerInnen erarbeiteten einen Teil der Inhalte selbst
3. 	Es gab eine gute Balance zwischen Einzelarbeit, Gruppenarbeit und Plenumsarbeit
4. 	Es gab genügend Zeit für Selbst- und Gruppenreflexion
5. 	Es gab genügend Zeit, neue Erkenntnisse mit der eigenen bisherigen Praxis in Verbindung zu setzen
6. 	Erfahrungen der TeilnehmerInnen wurden miteinbezogen
7. 	Der Büchertisch ist eine gute Möglichkeit, sich über Literatur und Medien einen Überblick zu verschaffen
8. 	Die räumliche Umgebung für das Seminar war in Ordnung
9.	Die Sitzmöglichkeiten erleichtern die aktive Teilnahme am Seminar
10. 	Der Inhalt dieses Blockes war für meine Arbeit in der EB von großer Wichtigkeit
11.	Die Referenten erleichtern eine gute Stimmung
12.	Das wertschätzende Umgehen der TeilnehmerInnen untereinander war für mich sehr hilfreich
13.	In der Gruppe fühlt man sich sehr wohl
14.	Marketing ist für die Arbeit in der EB von großer Bedeutung 
15.	Die Überlegungen bezüglich des ”Marktes” in der EB haben mir sehr geholfen  
16.	Die Ideen und Anregungen für die Planung einer Veranstaltung helfen mir für meine Projektidee 
17.	Die persönliche Beratung durch die Referenten erleichtert die Projektplanung
18.	Das Planen mit einer Checkliste ist  sinnvoll
19.	Das Formulieren der Zielsetzungen für meine Veranstaltungen ist von großer Bedeutung
20.	Die Doppelmoderation der Referenten erleichtert die Aufmerksamkeit
21.	Die Moderation wurde in einer harmonischen Art und Weise durchgeführt
22.	Das Fotoprotokoll ist eine wertvolle Hilfe für die persönliche Arbeit
23.	Durch das Zusenden des Fotoprotokolls wird der Effekt der Veranstaltung wesentlich erhöht
24.	Die Rückmeldungen der anderen TeilnehmerInnen waren eine gute, zusätzliche Hilfestellung
25.	Bei einigen Rückmeldebriefen wünsche ich mir mehr sachliche und konstruktive inhaltliche Kritik

Als eine Ergebnisdarstellung von vielen bietet das Programm die Präsentation in Form von Balkendiagrammen an.  Zur ihrer Interpretation anzumerken, dass für jede Aussage vom Programm ein Balkenpaar erstellt wird, das Soll-Zustand (links) und Ist-Zustand (rechts) gegenüberstellt. Der Unterschied wird als Prozentzahl über den Säulen angegeben. Die Angabe von 0% bedeutet eine vollkommene Übereinstimmung zwischen Soll und Ist. Darüber hinaus gibt es noch weitere Analysemethoden und grafische Veranschaulichungs-möglichkeiten. Es würde aber den Rahmen sprengen, darauf genauer eingehen zu wollen. Bei der Interpretation der Resultate ist darauf zu achten, dass man sich möglichst vieler Elemente der Analyse bedient und sich nicht nur auf die von mir eben vorgestellte beschränkt. 
Ein umfassendes Bild der Evaluation ergibt sich lediglich dann, wenn man sich der Mühe unterzieht, viele Aspekte des Programms an Hand der eingegebenen Datensätze zu analysieren und mit der zu Gebote stehenden Vorsicht interpretiert. So ist beispielsweise dann besondere Vorsicht angeraten, wenn eine Aussage von einer geringen Zahl der Befragten angekreuzt wurde, weil sie dann nicht repräsentativ für die Gesamtheit der Befragten ist. 
Zusammenfassend sei nochmals festgestellt, dass mittels ISEB Veranstaltungen wie Kurse, Lehrgänge, Seminare und ähnliches aus meiner Sicht dann relativ gut evaluiert und qualifiziert werden können, wenn man bestimmte Rahmenbedingungen einhält und sich stets dessen bewusst ist, dass der Output einer Befragung stets nur so gut sein kann, wie der Input, also wie die Aussagen, die im betreffenden Fragebogen enthalten sind. Es gilt wie in vielen Bereichen des Lebens, dass man gut daran tut, das „Kind nicht mit dem Bade auszuschütten.“ Hält man sich einigermaßen daran, ist Evaluation sicherlich ein Instrument, um Qualität zu erreichen bzw. zu halten, wie auch folgendes Zitat besagt:

„ Bei Beachtung und Respektierung der Grenzen der Wissenschaft und unter Verwendung von sozialwissenschaftlichen Grundlagen kann Evaluation auf vielen unterschiedlichen Einsatzgebieten einen wertvollen Beitrag leisten.
Beachtet man bei der Planung und Durchführung von Evaluationsprojekten die speziellen Ziele und Bewertungskriterien der Zielgruppen und Auftraggeber, wird sich die Evaluation als gesellschaftliches Gestaltungsprinzip bewähren.“7)

Mag. Gerolf Kirchmair (Jahrgang 1956) lebt in Gaishorn am See, ist seit 1978 Lehrer an der Hauptschule Trieben für Mathematik, Biologie, Geometrisch Zeichnen und Informatik, Studium Pädagogik und Fächerkombination an der Karl Franzens Universität Graz (1992-1995), ist seit Jahren in der Lehrerfortbildung tätig. Die Diplomarbeit zum Thema „Telearbeit  und Schlüsselqualifikationen in der postmodernen Wissensgesellschaft“ wurde im ÖGB - Verlag publiziert, daneben ist er Autor mehrere Artikel in diversen Zeitschriften wie Unser Weg, Erwachsenenbildung in Österreich, Grundlagen der Weiterbildung.
Mag. Gerolf Kirchmair, Hauptstraße 59/2, 8783 Gaishorn am See
Tel.:03617/2573, e-mail: g.kirchmair@utanet.at      Internet: http://www.van.at/gerry.htm