Selbsteinschätzung digitaler Kompetenzen bei Studierenden

Die digitale Transformation in der Berufswelt ist kein Kurzzeitprojekt, das in wenigen kleinen Iterationen abgeschlossen ist. Von der Idee, Tätigkeiten und Prozesse mit digitalen Hilfsmitteln zu optimieren oder zu ersetzen, bis hin zur Etablierung einer neuen Technologie vergehen oft lange Zeitabschnitte.

Doch die technologische Forschung macht in dieser Zeit ebenfalls Fortschritte. Neue Technologien und Anwendungsmöglichkeiten werden veröffentlicht und als das neue „must-have“ Feature vermarktet. Ein anschauliches Beispiel dafür ist der große mediale Hype um KI-basierte Systeme im vergangenen Jahr. Systeme wie ChatGPT von der Firma Open AI sind mittlerweile nicht nur im Bereich Bildung (vgl. Mhlanga 2023), sondern in allen Gesellschaftsbereichen Gesprächsthema. Technik-Optimisten sagen bereits ein neues KI-Zeitalter voraus, das vor allem Tätigkeiten in kreativen Berufen massiv verändern soll (vgl. Scheuer 2023). Das bringt neue digitale Kompetenzen mit sich, die Arbeitgeber der Zukunft von ihren Mitarbeiterinnen und Mitarbeitern einfordern.

Insgesamt benötigt es gut ausgebildete Mitarbeiterinnen und Mitarbeiter, die sowohl die aktuelle digitale Transformation kompetent gestalten können als auch fähig sind, neuartige Technologien in Zukunft schnell zu erfassen und effizient in Unternehmen oder Organisationen einführen zu können. Bei der Ausbildung solcher Arbeitskräfte tragen deutsche Hochschulen eine besondere Verantwortung. In diesem Artikel geht es deshalb um die Vermittlung digitaler Kompetenzen am Beispiel der Hochschule Esslingen und um die Fragestellungen: In welchem Rahmen können digitale Kompetenzen hochschulübergreifend vermittelt werden? (FF1) Wie können digitale Kompetenzen bei Studierenden gemessen werden? (FF2) Und wie gut schätzen Studierende ihre eigenen digitalen Kompetenzen selbst ein? (FF3).

Bevor diesen Fragen auf den Grund gegangen wird, ist es wichtig, für ein gemeinsames Verständnis, die wichtigsten Begriffe grundlegend zu definieren. Da es für die nachfolgenden Begriffe keine allgemein anerkannte und allgemeingültige, sondern sehr viele verschiedene Definitionen gibt, wurden im Rahmen der Forschungsarbeit vereinfachte eigene Definitionen aufgestellt. Diese basieren auf den untersuchten Kompetenzrahmen (vgl. Vuorikari et al. 2022) und passen gut in den Kontext der digitalen Transformation.

Eine Kompetenz beschreibt die Fähigkeit einer Person, eine bestimmte Tätigkeit auszuführen. Digitale Kompetenzen sind Fähigkeiten, die zur Erreichung von verschiedenen und fortlaufenden Arbeitsniveaus zur Nutzung digitaler Werkzeuge und Arbeitsabläufe notwendig sind. Sie sind abstrakt formuliert und beziehen sich auf keine konkrete Technologie. Ein Kompetenzlevel beschreibt das Arbeitsniveau, in das eine Kompetenz eingeordnet werden kann. Die Kompetenzbereiche fassen mehrere digitale Kompetenzen zu einer logischen Einheit zusammen. Ein Kompetenzrahmen fasst verschiedene Kompetenzbereiche zu einem Gesamtbild zusammen.

Er kann als Schaubild visualisiert werden (vgl. Vuorikari et al. 2022) oder in Textform beschrieben sein (vgl. Schüller et al. 2019). Kompetenzraster oder Kompetenzframeworks können als Synonyme für Kompetenzrahmen betrachtet werden.

In den letzten Jahren wurden zahlreiche Kompetenzrahmen veröffentlicht (Australian Curriculum und Assessment und Reporting Authority 2018; Common Sense Media 2020; Europäische Komitee für Normung 2014; Europäische Kommission 2008; IEEE Computer Society 2021; Landesmedienzentrale Baden-Württemberg 2022; Medienberatung NRW 2020; Sächsisches Staatsministerium für Kultus 2017; Schüller et al. 2019; SFIA Foundation 2021; Vuorikari et al. 2022). Diese unterscheiden sich in vielen Punkten voneinander. Das liegt vor allem an den verschiedenen Interessensgruppen der Digitalisierung, wie Unternehmen, politische Organe oder Non-Profit-Organisationen und zum anderen an den verschiedenen Zielgruppen. Manche Kompetenzrahmen sind für Schülerinnen und Schüler konzipiert, andere für Berufstätige und wieder andere für Bürgerinnen und Bürger. Eine genauere Gegenüberstellung der bestehenden Kompetenzrahmen, wie zum Beispiel im IEEE Standard for Digital Intelligence (vgl. IEEE Computer Society 2021), erfolgt an dieser Stelle nicht.

An Hochschulen findet sich ebenfalls ein breites Spektrum an Interessensgruppen und Zielgruppen wieder. So gibt es an der Hochschule Esslingen beispielsweise sechs verschiedene Fakultäten unterschiedlicher Fachrichtungen. Dabei gelten für Studierende der Fakultät Informationstechnik andere Anforderungen an digitale Kompetenzen als für Studierende der Fakultät Soziale Arbeit, Bildung und Pflege. Um dennoch einen zentralen Kompetenzrahmen hochschulweit einsetzen zu können, wurde vom Forschungsteam der fakultätsübergreifenden ZWE Digitalisierung der Hochschule Esslingen ein Kompetenzrahmen auf Basis bekannter Kompetenzrahmen entworfen (Australian Curriculum, Assessment and Reporting Authority 2018; Common Sense Media 2020; Europäische Komitee für Normung 2014; Europäische Kommission 2008; IEEE Computer Society 2021; Landesmedienzentrale Baden-Württemberg 2022; Medienberatung NRW 2020; Sächsisches Staatsministerium für Kultus 2017; Schüller et al. 2019; SFIA Foundation 2021; Vuorikari et al. 2022). Beim Entwurf des Digital Transformation Cubes (DTC) wurden diese bekannten Kompetenzrahmen detailliert untersucht und die beschriebenen Kompetenzen und definierten Kompetenzbereiche extrahiert. Die extrahierten Kompetenzbereiche wurden teilweise kumuliert und um weitere ergänzt. So entstanden die neun Kompetenzbereiche des DTC (siehe unten). Alle extrahierten Kompetenzen können einem dieser Kompetenzbereiche zugeordnet werden. Dadurch werden alle in den ausgehenden Kompetenzrahmen beschriebenen Kompetenzen im DTC aufgegriffen.

Der DTC in Abb. 1 besteht aus drei Dimensionen. Horizontal sind neun Kompetenzbereiche dargestellt, sie bündeln unterschiedliche digitale Kompetenzen derselben Kategorie. Vertikal sind die vier Kompetenzlevel abgebildet (Dimension 1). Dadurch kann jeder Kompetenzbereich (Dimension 2) in unterschiedliche Arbeitsniveaus eingeteilt werden. Die dritte Dimension stellen die Zertifikate – im Folgenden Micro-Badges genannt – dar. Sie dienen dem Nachweis erlernter Kompetenzen. Jedes Micro-Badge besteht aus einem oder mehreren Kursen. Jeder Kurs hat das Ziel, ein oder mehrere digitale Kompetenzen zu vermitteln. Um ein Micro-Badge zu erhalten, müssen alle zugeordneten Kurse erfolgreich abgeschlossen werden. Jeder Kurs endet mit einem Kompetenz-Check, der sicherstellt, dass die Studierenden die vermittelten Kompetenzen erlernt haben. Dadurch spiegeln die Micro-Badges den tatsächlichen Kenntnisstand eines Studierenden wider.

Als hochschulweiter Kompetenzrahmen stellt der DTC die Arbeits- und Diskussionsgrundlage für die Förderung digitaler Kompetenzen bei Studierenden sowie deren Integration in den Hochschulalltag dar. Doch wie können Studierende in die Kompetenzlevel der einzelnen Kompetenzbereiche eingeordnet werden? Und wie ist der generelle Wissensstand im Bereich digitaler Kompetenzen von Studierenden, die an der Hochschule ein Studium beginnen?

Um diese und ähnliche Fragen beantworten zu können, ist eine Datenerfassung und Auswertung notwendig. Dabei gibt es verschiedene Möglichkeiten, Informationen und Daten quantitativ oder qualitativ zu erheben. Beispielsweise können Experten-Interviews geführt oder offene Workshops angeboten werden (vgl. Steiner und Benesch 2018). Um möglichst viele aussagekräftige und auswertbare Daten zu erfassen, eignet sich in diesem Kontext jedoch die quantitative Datenerfassung durch einen Fragebogen am besten (FF2).

Zur Messung digitaler Kompetenzen wurde deshalb die erste Version des DRC entworfen. Dieser online Fragebogen mit 59 Fragen baut direkt auf dem DTC auf. Mit einer Mischung aus Selbsteinschätzungsfragen und Wissensabfragen deckt er alle neun Kompetenzbereiche des DTC ab. Er kann in ca. 20 Minuten bearbeitet und anschließend anonymisiert ausgewertet werden.

Pro Kompetenzbereich gibt es drei Selbsteinschätzungsfragen, gefolgt von drei Wissensabfragen. Alle Fragen sind geschlossen gestellt, um eine automatische, quantitative Auswertung zu ermöglichen.

Um die Güte des Fragebogens zu gewährleisten, wurden Reliabilität und Validität auf Grundlage der hochschulweiten Befragung (siehe 2.2) geprüft. Das cronbachsche Alpha über alle Selbsteinschätzungs- und Wissensabfrage von > 0,8 zeigt eine gute Reliabilität des Fragebogens (vgl. Schermelleh-Engel und Werner 2012). Um die Konstruktvalidität des Fragebogens zu prüfen, wurden verschiedene erwartbare Hypothesen aufgestellt und durch empirische Tests bestätigt (vgl. Hartig et al. 2012). Dabei wurden Korrelationskoeffizienten nach Spearman berechnet, um Zusammenhänge zwischen verschiedenen Items zu zeigen (vgl. Steiner und Benesch 2018). Eine genaue Darstellung der Reliabilitäts- und Validitätsprüfungen wäre an dieser Stelle zu umfangreich.

Für die Selbsteinschätzung empfiehlt sich der Einsatz einer Likert-Skala mit verschiedenen Abstufungen (Hollenberg 2016). Um der Tendenz zur Mitte vorzubeugen, wird eine Skala mit einer geraden Anzahl an Antwortmöglichkeiten eingesetzt (vgl. Steiner und Benesch 2018).

In Tab. 1 wird jeder Einschätzungsstufe eine Punktezahl zwischen 0 und 5 zugeordnet. So können Befragte pro Kompetenzbereich bis zu 15 Selbsteinschätzungspunkte erreichen, insgesamt bis zu 135.

Die Wissensabfragen in jedem Kompetenzbereich haben drei verschiedene Schwierigkeitsstufen. Die korrekte Antwort wird demnach mit unterschiedlich vielen Punkten belohnt. Für die einfachste Frage gibt es einen Punkt, für die mittelschwere Frage zwei und für die schwerste Frage drei Punkte. Bei Multiple-Choice-Fragen gibt es für jede richtige Antwort Teilpunkte. Werden falsche Antwortmöglichkeiten angekreuzt, so gibt es negative Teilpunkte. Pro Kompetenzbereich können Befragte somit bis zu 6 Wissenspunkte sammeln, insgesamt bis zu 54. Die Selbsteinschätzungspunkte und die Wissenspunkte werden unabhängig voneinander betrachtet und nicht aufaddiert.

Die abschließenden Fragen des DRCs erfassen zielgruppenspezifische Eigenschaften wie Hochschulsemester, Fakultät, Studiengang und Geschlecht und ermöglichen ein feineres Clustering bei der Auswertung.¹

Befragungen ermöglichen, auf Basis einer kleinen Menge an Befragten, Aussagen über gesamte Zielgruppe treffen zu können (Hollenberg 2016). An der Hochschule Esslingen wurden mit dem DRC über ein Jahr hinweg Befragungen durchgeführt. Die Zielgruppe dabei waren die Erstsemester Studierenden aller sechs Fakultäten. Durch die Vorstellung und Durchführung des DRCs in Präsenzveranstaltungen an der Hochschule Esslingen wurden 312 Studierende im ersten Hochschulsemester befragt.

Die Menge der Befragten setzt sich wie folgt zusammen.

Die Menge der Befragten in Abb. 2 ist ca. gleichverteilt auf die Fakultäten Soziale Arbeit, Bildung und Pflege, Wirtschaft und Technik, Informatik und Informationstechnik, Maschinen uns Systeme sowie Mobilität und Technik. Lediglich die Fakultät Angewandte Naturwissenschaften, Energie- und Gebäudetechnik ist mit ca. 5 % unterrepräsentiert.

Um diese Hypothese zu untersuchen, werden alle Befragten einzeln betrachtet. Für jede/n Befragte/n wird die Gesamtpunktzahl der Selbsteinschätzungspunkte und der Wissenspunkte ermittelt und normiert. Dazu werden beide Werte durch die jeweilige maximal erreichbare Punktzahl geteilt. So ergibt sich ein Selbsteinschätzungswert und ein Wissenswert zwischen 0 und 1. Hat eine Befragte beispielsweise 100 Selbsteinschätzungspunkte und 30 Wissenspunkte erreicht, so ergibt sich ein Selbsteinschätzungswert von 0,74 (100/135) und ein Wissenswert von 0,56 (30/54). Da der Selbsteinschätzungswert deutlich höher ist als der Wissenswert, hat die Befragte ihr eigenes Wissen überschätzt. Sowohl Selbsteinschätzungswert als auch Wissenswert sind gemittelte Werte über alle Kompetenzbereiche.

Die so ermittelten Werte aller Befragten können in einem Punktediagramm dargestellt werden.

Jeder Punkt steht für eine/n Befragte/n. Die Form steht dabei für die Fakultät der/des Befragten. Die Position des Punktes auf der X‑Achse zeigt den Selbsteinschätzungswert an, die Position des Punktes auf der Y‑Achse den Wissenswert.

Die Diagonale m teilt das Diagramm in zwei Bereiche. Oberhalb von m sind alle Befragten zu finden, die ihr eigenes Wissen unterschätzen. Unterhalb von m sind die Befragten abgetragen, die ihr eigenes Wissen überschätzen. Die Parallelen von m (g und h) grenzen einen Toleranzbereich ein. Dadurch werden alle Befragten, die sich um zehn Prozentpunkte über oder unterschätzt haben, zu der Menge gezählt, die sich korrekt eingeschätzt haben. So werden Messunsicherheiten abgebildet, die sich durch Ungenauigkeiten im Fragebogendesign ergeben haben könnten.

Wie in Abb. 3 zu sehen haben sich deutlich mehr Befragte überschätzt als unterschätzt. Lediglich 32 Befragte (10,30 %) haben sich unterschätzt. Sie liegen oberhalb von g. 150 Befragte (48,00 %) liegen im Toleranzbereich (zwischen g und h) und haben ihr Wissen korrekt eingeschätzt. Die restlichen 130 Befragten (41,70 %) haben sich überschätzt und liegen unterhalb von h.

Diese Verteilung kann auch für jede Fakultät separat betrachtet werden. In den folgenden Punktediagrammen sind die Bereiche, in denen sich alle Befragten der jeweiligen Fakultät befinden grau hinterlegt. Für eine bessere Übersicht wird jede Fakultät in einem eigenen Punktediagramm dargestellt.

Die unterschiedliche Verteilung der Punkte zwischen den einzelnen Fakultäten ist in Abb. 4 gut erkennbar. Durch Abzählen der Punkte oberhalb und unterhalb des Toleranzbereiches ergeben sich folgende Verteilungen.

In Tab. 2 werden in Abb. 4 dargestellten Punktewolken durch Zahlen beschrieben.

Die Auswertung der Messerergebnisse ergibt, dass 41,70 % der Befragten ihre digitalen Kompetenzen überschätzen. Lediglich 10,30 % der Befragten unterschätzen sich selbst (FF3). Auf Basis dieser repräsentativen Befragung kann für die gesamte Zielgruppe die Forschungshypothese bestätigt werden: Über ein Drittel der Studierenden im ersten Semester überschätzen ihre digitalen Kompetenzen.

Bei einem Blick auf die einzelnen Fakultäten zeigt sich, dass es zwischen den einzelnen Fakultäten große Unterschiede gibt. Während sich in der Fakultät Informatik und Informationstechnik mit 34,60 % ziemlich genau ein Drittel überschätzt, sind es in der Fakultät Mobilität und Technik nur 28,60 %. In den anderen Fakultäten überschätzen sich hingegen mehr als 40 % oder mehr als die Hälfte der Studierenden. So fallen besonders die Fakultäten Wirtschaft und Technik mit 52,40 % sowie Angewandte Naturwissenschaften, Energie- und Gebäudetechnik mit 56,30 % auf.

Das kann mehrere Ursachen haben. In der Fakultät Angewandte Naturwissenschaften, Energie- und Gebäudetechnik liegt dieser hohe Prozentsatz wahrscheinlich an der geringen Anzahl an Befragten. Die Vermutung liegt nahe, dass sich dieser Wert bei einer höheren Anzahl an Befragten weiter normalisiert.

An der Fakultät Wirtschaft und Technik wurden Studierende von drei unterschiedlichen Studiengängen befragt: Technische Betriebswirtschaft, Wirtschaftsingenieurwesen und Mechatronik. Im Studiengang Mechatronik haben sich 18,20 % der Befragten überschätzt. Im Studiengang Wirtschaftsingenieurwesen waren es 55,00 % und im Studiengang Technische Betriebswirtschaft sogar 62,50 %. Auf Basis dieser Werte kann die These aufgestellt werden, dass sich Studierende von technisch orientierten Studiengängen weniger unterschätzen als Studierende von Studiengängen, die weniger technisch sind.

Insgesamt haben sich 48,00 % der Befragten korrekt eingeschätzt. Das lässt auf eine positive Korrelation zwischen Selbsteinschätzung und tatsächlichem Wissen schließen. Daraus kann abgeleitet werden, dass sich die Selbsteinschätzung der Befragten grundsätzlich eignet, um Aussagen über den tatsächlichen Wissensstand zu treffen. Dabei müssen jedoch gewisse Bedingungen beachtet werden. Pro Fakultät – oder sogar pro Studiengang – muss aus der gemittelten Differenz zwischen Wissenswert und Selbsteinschätzungswert ein Korrekturfaktor errechnet und berücksichtigt werden, der das durchschnittliche Maß der Überschätzung einberechnet. Dieser Korrekturfaktor ist an die Fragen des DRCs geknüpft und kann nicht auf andere Fragebögen übertragen werden. Wenn sich die Fragen ändern, müssen die Korrekturfaktoren auf neuer Datenbasis neu berechnet werden.

Ohne Korrekturfaktoren geben die Selbsteinschätzungswerte lediglich einen groben Überblick. Errechnete Durchschnittswerte eignen sich für den Vergleich mit anderen Hochschulen oder vorherigen Jahrgängen, jedoch nicht für die individuelle Bewertung einzelner Befragter. Mit Einberechnung der Korrekturfaktoren können auch individuelle Aussagen getroffen werden. Damit ist die Grundlage für einen DRC gelegt, der nur aus Selbsteinschätzungsfragen besteht.

Durch einen Toleranzbereich von zehn Prozentpunkten bei der Darstellung des Zusammenhangs zwischen Wissenswert und Selbsteinschätzungswert wurde bereit versucht, Ungenauigkeiten im Fragebogendesign auszugleichen. Doch dadurch ist nicht garantiert, dass das Gesamtergebnis fehlerbereinigt ist. Bei der Datenerhebung durch Fragebogen-Befragungen gibt es viele weiche und harte Faktoren, welche die Ergebnisse beeinflussen. Vor allem bei einer kleinen Anzahl von Befragten können diese das Gesamtergebnis und die daraus abgeleiteten Konklusionen beeinflussen. Besonders großen Einfluss haben diese Faktoren dann, wenn Fragebogen-Ergebnisse einzeln betrachtet werden. Das ist zum Beispiel bei der Ermittlung der Wissenspunkte zur Einstufung in ein bestimmtes Kompetenzlevel relevant.

Für die Befragung mit dem DRC können drei große mögliche Fehlerquellen ausfindig gemacht werden. Zum einen könnten einzelne Fragen zu schwierig sein und unverhältnismäßig bewertet werden. Das führt dazu, dass tendenziell mehr geraten wird. Durch geratene Ergebnisse kann der Wissenswert zu hoch sein. Diese Fehlerquelle könnte durch Einschätzungen von Expertinnen und Experten im Bereich digitaler Kompetenzen aus verschiedenen Fakultäten minimiert werden.

Eine weitere Fehlerquelle ist die fehlende Motivation und der fehlende Ehrgeiz bei den Befragten. Zwar wurden die Fragebögen in einem offiziellen Rahmen während der Vorlesungszeit durchgeführt, jedoch war die Teilnahme freiwillig und die Befragten konnten ihre Ergebnisse nicht einsehen. So liegt die Vermutung nahe, dass einige Befragte, statt sich ein paar Minuten mehr Zeit zum Nachdenken zu nehmen, lieber schnell weitergeklickt und null Wissenspunkte für eine Frage akzeptiert haben. Dem kann entgegengewirkt werden, indem die Befragten ihre Gesamtpunktzahl erfahren oder eine Mindestanzahl an Wissenspunkten verpflichtend ist.

Insgesamt ist es nicht möglich, alle digitalen Kompetenzen eines Kompetenzbereichs durch den DRC abzudecken. Pro Kompetenzbereich werden lediglich drei Kompetenzen abgefragt. Dies kann dazu führen, dass Themenfelder, in denen sich einzelne Befragte gut auskennen, außen vorgelassen werden, aber unbekannte Themenfelder abgefragt werden, oder umgekehrt. Das kann den Wissenswert in beide Richtungen beeinflussen, sodass er die tatsächliche digitale Kompetenz nicht exakt abbildet. Dieses generelle Reduktionsproblem lässt sich jedoch nur durch mehr Fragen beheben. Eine größere Anzahl an Fragen würde aber die Durchführbarkeit des DRCs negativ beeinflussen.