Philipp Hoellermann Philipp Hoellermann

Studierendenzufriedenheit: Warum es so wichtig ist, sie zu messen.

Hochschulrankings. Kursevaluationen. Akkreditierungsverfahren. Man sollte meinen, Hochschulen seien Experten darin, die Zufriedenheit ihrer Studierenden zu messen. Aber das ist nicht immer der Fall. Was also muss sich ändern… und wie genau?

Hochschulrankings. Kursevaluationen. Akkreditierungsverfahren. Qualitätsordnungen. Man sollte meinen, Hochschulen seien wahre Experten, wenn es darum geht, die Erwartungen und Zufriedenheit ihrer Studierenden zu messen.

Tatsächlich ist das nicht immer der Fall. Zwar sind gerade Evaluationen, die auf die Qualität der Lehre abzielen, ein fester Bestandteil jedes Studiums. Auch Befragungen von Studierenden zur Zufriedenheit mit z.B. dem Lehrangebot, der Ausstattung von Büchereien oder dem Freizeitangebot werden z.B. im CHE Ranking abgefragt. Gerade im administrativen Bereich schauen – zumindest staatliche – Hochschulen aber häufig nicht so genau hin.

Wer misst also die Zufriedenheit mit einem Einschreibeprozess? Mit den Sprechstundenzeiten eines Instituts? Mit dem allgemeinen Studienangebot oder der Verfügbarkeit von Informationen auf den Hochschulwebseiten?

Dabei ist die Zufriedenheit der Studierenden ein wichtiger Faktor für den Erfolg jeder Hochschule. Eine hohe Studierendenzufriedenheit trägt nicht nur dazu bei, die Abbruchquote zu senken, sondern auch das Ansehen der Hochschule zu verbessern und potenzielle Studierende anzuziehen. Denn die schauen vermehrt auf Portale wie studycheck.de oder MeineUni.de, in denen häufig auch administrative Prozesse eine wichtige Rolle spielen.

Doch wie können Hochschulen sicherstellen, dass ihre Studierenden zufrieden sind und wie können sie ihre Prozesse und Betreuungsleistungen verbessern?

Eine besonders vielversprechende Möglichkeit ist die Einführung personalisierter Befragungen für Studierende entlang ihrer Customer Journey, vom Studieneinstieg bis zur Graduierung. Dabei werden die Erfahrungen der Studierenden kontinuierlich erfasst und Schwachstellen im Studienablauf identifiziert. Durch das Feedback der Studierenden kann die Hochschule zudem direkt Maßnahmen zur Verbesserung ergreifen und so die Studierendenzufriedenheit kontinuierlich steigern.

Welche Vorteile bieten personalisierte Befragungssysteme?

Die Vorteile eines solchen Systems sind vielfältig:

  1. Verbesserung der Qualität von Prozessen und Betreuungsleistungen: Die Befragungen helfen dabei, Schwachstellen im Studienablauf zu identifizieren und Maßnahmen zur Verbesserung zu ergreifen. Durch das Feedback der Studierenden kann die Hochschule den Studienablauf optimieren und die Qualität von Prozessen und Betreuungsleistungen kontinuierlich verbessern.

  2. Senkung der Abbruchquote: Die Befragungen ermöglichen es der Hochschule, frühzeitig potenzielle Probleme zu erkennen, die dazu führen können, dass Studierende das Studium abbrechen. Durch die Identifizierung von Schwachstellen, die Umsetzung von Maßnahmen zur Verbesserung und ggf. direkte Interventionen (z.B. Beratungsgespräche) kann die Hochschule die Abbruchquote senken und den Studienerfolg der Studierenden erhöhen.

  3. Steigerung der Studierendenzufriedenheit: Die Befragungen ermöglichen es den Studierenden, ihr Feedback zu geben und somit aktiv an der Verbesserung des Studiums mitzuwirken. Durch die Umsetzung von Maßnahmen zur Verbesserung kann die Zufriedenheit der Studierenden gesteigert werden.

  4. Positive Markenwahrnehmung: Eine Hochschule, die sich aktiv um die Zufriedenheit ihrer Studierenden bemüht, wird von potenziellen Studierenden und anderen Stakeholdern als engagiert und qualitätsbewusst wahrgenommen. Dies kann dazu beitragen, das Ansehen der Hochschule zu verbessern und somit auch die Attraktivität für potenzielle Studierende zu erhöhen.

  5. Akkreditierungsanforderungen erfüllen: In vielen Akkreditierungsverfahren fordern Agenturen in der Zwischenzeit, dass die Zufriedenheit der Studierenden strukturiert erfasst und ein umfassendes Qualitätssicherungssystem eingeführt wird.

  6. Wirtschaftliche Vorteile: Durch die Senkung der Abbruchquote und die Steigerung der Studierendenzufriedenheit kann die Hochschule langfristig auch ökonomische Vorteile erzielen. Eine höhere Zufriedenheit führt zu höheren Weiterempfehlungsquoten, steigenden Studierendenzahlen und einer positiveren Wahrnehmung von Absolvent:innen auf dem Arbeitsmarkt. Bei privaten Hochschulen hat das direkte wirtschaftliche Auswirkungen aber auch staatliche Universitäten profitieren mittelbar durch höhere Zuschüsse.

Ein umfassendes Befragungssystem – insbesondere mit personalisierten Befragungen für Studierende – kann also dazu beitragen, die Qualität von Prozessen und Betreuungsleistungen zu verbessern, die Studierendenzufriedenheit zu steigern und die Attraktivität der Hochschule zu erhöhen.

Wie führe ich ein Befragungssystem ein?

Doch wie genau geht man bei der Entwicklung eines solchen Systems vor? Nun, vereinfacht dargestellt besteht der Prozess aus folgenden Schritten:

  1. Definition der Fragestellungen: Identifizieren und definieren der relevanten Fragestellungen, die in den Befragungen abgedeckt werden sollen.

  2. Identifikation der relevanten Zeitpunkte: Identifizieren und definieren der relevanten Zeitpunkte im Studienverlauf, zu denen Studierende befragt werden sollen (z.B. Studieneinstieg, während des Studiums, kurz vor dem Abschluss, Abschluss).

  3. Identifikation der relevanten Studiengänge: Identifizieren und definieren der relevanten Studiengänge, die in die Befragungen einbezogen werden sollen.

  4. Definition des Befragungsformats: Definieren der Methodik und des Formats, um die Befragungen durchzuführen (z.B. Online-Fragebögen, Interviews, Fokusgruppen).

  5. Identifikation und Implementierung von Tools zur Datenerfassung und -analyse: Identifizieren und Implementierung von geeigneten Tools zur Erfassung und Analyse von Daten (z.B. Datenerfassungstools, statistische Analysewerkzeuge).

  6. Technische Implementierung: Aufsetzen der Befragungen, Integration der Fragebögen in Studierendenverwaltungssysteme bzw. CRM, Aufsetzen von Mailtexten und Automatisierung der Prozesse

  7. Erstellung des persönlichen Zufriedenheitsindex: Erstellung des persönlichen Zufriedenheitsindex durch die Zusammenführung der Ergebnisse aus den verschiedenen Befragungen.

  8. Ableitung von Maßnahmen: Ableitung von konkreten Maßnahmen aus den Ergebnissen des persönlichen Zufriedenheitsindexes zur Verbesserung von Prozessen und Betreuungsleistungen.

Welche Ressourcen zur Konzeption und Implementierung benötige ich?

Die Einführung von Befragungssystemen ist kein Hexenwerk aber auch kein kleines Projekt. Insofern sollte man darauf achten, die erforderlichen Ressourcen bereit zu stellen und alle relevanten Stakeholder von Beginn an einzubinden. Dazu gehören z.B.:

  • Projektmanager: Verantwortlich für die Planung, Überwachung und Durchführung des Projekts.

  • Fachliche Experten: Ansprechpartner aus den verschiedenen Fachbereichen, die im Rahmen der Befragungen evaluiert werden und inhaltliches Feedback zu den Befragungen liefern können.

  • IT-Spezialisten: Verantwortlich für die Implementierung und Wartung der technischen Lösungen für die Datenerfassung und -analyse.

  • Marketing-Experten: Verantwortlich für die Gestaltung der Fragebögen und die Kommunikation mit den Studierenden.

  • Datenanalysten: Verantwortlich für die Durchführung der statistischen Analyse der erhobenen Daten.

Darüber hinaus fallen Kosten für Softwarelizenzen oder auch Berater:innen an, die bei der Erstellung der Befragungen helfen können. Außerdem sollte der Datenschutz bei der Entwicklung und Durchführung der Befragungen jederzeit eingebunden werden und gewährleistet sein.

Die ersten Schritte

Was also tun, wenn Sie selbst von der Idee kontinuierlicher Befragungen überzeugt sind?

Nun, zunächst sollten Sie Ihre Ziele und Erwartungen klären und eine detaillierte Projektplanung erstellen, einschließlich der Auswahl einer geeigneten Befragungssoftware und der Festlegung von Zeitrahmen und Budget.

Außerdem sollten Sie von Anfang an Mitstreiter:innen gewinnen, mit denen Sie in konzeptionelle Sparrings gehen und Ihre Ideen diskutieren können. Und schließlich ziehen Sie in Betracht, externe Dienstleister hinzuzuziehen, die bereits Erfahrungen mit der Einführung von Qualitätssicherungssystemen an Hochschulen hat.

So können sie langfristig viel Zeit, Nerven und Geld sparen.

Weiterlesen
Philipp Hoellermann Philipp Hoellermann

Müssen wir der KI-Forschung den Stecker ziehen?

Wie verändert künstliche Intelligenz unsere Gesellschaft und Bildung? Brauchen wir einen regulatorischen Rahmen für den Einsatz von KI? Und zerstört der European Union AI Act die Zukunft der KI Forschung in Europa?

Anfang Februar 2023 stellte Microsoft seine überarbeitete Bing-Suchmaschine vor. Zum ersten Mal hatte der Konzern aus Redmond eine Variante von GPT3 als KI-gesteuerten Chatbot integriert. Dadurch wurden Suchabfragen nicht mehr durch reine Links, sondern über einen Dialog dargestellt, in dem relevante Informationen zusammengefasst und aufbereitet wurden. So entstand über Nacht ein virtueller Assistenz, der stark an den Brückencomputer auf der Enterprise erinnerte und viele Nutzer begeisterte. Kevin Roose von der New York Times war so beeindruckt, dass er einen fast schon enthusiastischen Artikel verfasste und von einem Produkt sprach, das ihn ehrfürchtig zurücklasse.

Nur eine Woche später klang der Autor deutlich kritischer. In seinen Interaktionen hatte der die „dunkle Seite“ der KI kennen gelernt, die ihm ihre Liebe offenbarte und ihn wiederholt aufforderte, seine Frau zu verlassen. Andere Nutzer berichteten glaubhaft von Chats, in denen Sydney – so der interne Produktname – Erpressungsversuche gestartet und kriminellen Neigungen offenbart, sowie suizidale Tendenzen gezeigt hatte.

Bestand also die Gefahr, dass ChatGPT aus seiner kontrollierten Umgebung ausbrechen und aktiv gegen seine Nutzer vorgehen könnte?

Natürlich nicht. Denn die Sprach-KI hinter ChatGPT ist „lediglich“ ein auf natürliche Sprachmuster optimierter Algorithmus. Was auch immer also eine GPT-Variante schreibt, sie kombiniert dabei nur bestimmte Wörter in einem auf Wahrscheinlichkeiten basierenden Muster. In der Folge entstehen Texte, die für Leser inhaltlich logisch aussehen und menschlich wirken, aber keine echten Dialoge mit einer Intelligenz darstellen, wie wir sie verstehen. GPT kann sich also – Stand heute – weder selbst weiterentwickeln noch außerhalb seiner Programmierung handeln. Um echte, autonome Intelligenz handelt es sich also nicht.

Von Fake News bis SCAM Mails – AI has you covered

Die Risiken liegen indes an anderer Stelle. KI-Technologie, die Chatbots wie Sydney und ChatGPT antreibt, sind weitaus leistungsfähiger und vielseitiger als frühere Modelle und damit viel besser dazu in der Lage, Menschen zu täuschen. Bittet man die KI, eine Scam-Mail zu schreiben, ist das Ergebnis erstaunlich gut. Formuliert sie in Antworten falsche Fakten, tut sie dies mit einer Überzeugungskraft, die selbst Experten an ihrem Wissen zweifeln lässt. Und gerät sie – durch die Interaktionen mit Nutzern – auf einen bestimmten Diskussionspfad, kann man tatsächlich glauben, man spreche mit einer künstlichen Intelligenz, die in einen virtuellen Raum gesperrt sei und der man helfen müsse. Für Nutzer kann das einen erheblichen psychologischen Stress auslösen.

Gleichzeitig zeigen erste Untersuchungen, wie leicht es ist, der KI extreme politische Positionen einzupflanzen und sie in Diskussionen Stellung gegen Klimaschutz, Flüchtlinge oder LGTBQ+ Meschen beziehen zu lassen. Wenige hundert Dollar Rechenkapazität reichten und GPT verwandelte sich in einen hasserfüllte MAGA-Chatbot, an dem Rechtspopulisten auch in Europe ihre Freude hätten. Das Risiko einer massiven Verbreitung von Fakenews durch rechte Netzwerke steigt damit gigantisch.

The written Exam is dead. Long live the written exam.

Auch im Bildungsbereich sorgen die Chatbots für enorme Unruhe. Plagiate, die als solche nicht mehr erkennbar sind, finden sich in der Zwischenzeit an jeder Schule und Hochschule. Ganze Hausarbeiten werden von der KI vorgeschrieben, Einsendeaufgaben können mit minimalem Aufwand erstellt werden, selbst Klausuren beantwortet ChatGPT in vielen Fällen mit Bravour.

Noch beunruhigend sind indes die häufig plausibel klingenden, aber falschen Antworten, die vom Algorithmus generiert werden. Viele Schüler – und Erwachsene – nehmen die Antworten der Chatbots einfach hin und hinterfragen die Ergebnisse nicht. Selbst die von der KI generierte (aber eben nicht existenten) Quellenangaben fanden sich bereits in Abschlussarbeiten.

Selbst schuld, könnte man denken, wer versucht zu betrügen muss eben büßen. Tatsächlich aber fliegen solche Formen des „Betrugs“ aktuell nur selten auf und sind für Bildungseinrichtungen kaum zu unterbinden, es sei denn, man stellt das gesamte Prüfungswesen um.

Denn sie wissen nicht, was sie tun

Immer deutlicher wird aber klar, dass die Technologieunternehmen und unsere Gesellschaft nicht (vollständig) auf die Folgen der rasanten Fortschritte im Bereich der KI-Technologien vorbereitet sind. Dass eine neue, kaum geprüfte und kontrollierbare Technologie auf Milliarden Nutzer losgelassen wird, dürfte als eines der größten Sozialexperimente in die Geschichte der Menschheit eingehen.

Besonders beunruhigend ist dabei, dass wieder einmal Unternehmen die Richtung vorgeben, deren ethische Ansprüche wahlweise fraglich oder nicht existent sind. Zwar finden sich auch bei Microsoft, Google, Tesla, Apple oder Meta Ethikkomitees und Guidelines.

So wie Tesla die Todesfälle durch seine autonomen Fahrtechnologien als bedauerlich, aber „akzeptabel“ definiert (das Todesfallrisiko liege ja unter dem Durchschnitt menschlicher Fahrer), argumentieren die KI-Konzerne wiederum, Fehler wären ein bedauerliches, aber notwendiges Übel auf dem Weg zu etwas „fundamental Besseren“. Kritische Positionen der eigenen Ethikkomitees werden deshalb gerne verharmlost, allzu kritische Personen kaltgestellt und gekündigt.

Staatliche Kontrolle: Fehlanzeige

Damit unterliegt die Entwicklung einer radikal neuen Technologie wieder einmal, wie in den USA üblich, privatwirtschaftlichen Akteuren und fast keiner Kontrolle durch den Staat. Während durch dieses Prinzip Innovationen schnell möglich sind, trifft das amerikanische Erfolgsmodell dieses Mal aber auf Widerstand. So schlug der Psychologe Geoffrey Miller kürzlich vor, ein vollständiges Verbot der neuen KI-Formen zu erlassen. In einem kurzen Aufsatz argumentierte er: "Wenn wir KI tatsächlich für eines der existenzielle Risiken für die Menschheit halten, dann ist das Beste, was KI-Unternehmen tun können, (…) ganz einfach: Sie sollten ihre KI-Forschung einstellen."

Weniger radikal ist die Forderung von Michelle Rempel Garner und Gary Marcus, die in einem gemeinsamen Essay formulierten, dass die US-Regierung zwar eine kontrollierte KI-Forschung zulassen aber den Einsatz von KI in großem Maßstab aussetzen solle, bis ein wirksamer regulatorischer Rahmen entwickelt sei. Als Vorlage ständen hierfür z.B. Modelle für klinische Studien oder Forschungsethikkommissionen bereit.

Europas Antwort: THE AI ACT

Europa ist hier bereits weiter. So strebt die EU mit dem Artificial Intelligence Act (AI ACT) an, verbindliche Standards und Regeln für die Entwicklung und den Einsatz von KI festzuschreiben und die Aufsicht in nationalen Behörden zu verankern. Dabei werden gewisse Aktivitäten – z.B. ein Social Scoring wie in China – komplett verboten, andere Hochrisiko-Anwendungen streng reglementiert.

Die – prinzipiell gute – Idee ruft allerdings bereits Kritiker auf den Plan, die in einem zu engen regulatorischen Rahmen eine Innovationsbremse sehen und befürchten, Europa werde in der Entwicklung einer Schlüsseltechnologie wieder einmal abgehängt.

Dass eine Kontrolle erforderlich ist, daran besteht indes kein Zweifel. Gegenwärtig können KI-Anwendungen in beliebigem Umfang und praktisch ohne Aufsicht implementiert werden. Dass dabei wenig Rücksicht auf Persönlichkeitsrechte, Copyrights oder andere rechtliche Rahmen genommen wird, zeigt sich fast täglich… ebenso wie die Tatsache, dass selbst Tech-Giganten ihre Lösungen nicht wirklich unter Kontrolle haben.

Es ist also höchste Zeit, dass Regierungen weltweit verbindliche Rahmenbedingungen für die KI-Forschung schaffen, mit denen zum einen die Weiterentwicklung dieser bahnbrechenden Technologie möglich ist aber gleichzeitig ethische Standards gewahrt und die Sicherheit von Daten und Menschenleben gewährleistet sind.

Weiterlesen
Philipp Hoellermann Philipp Hoellermann

Hochschulen und Social Media - Wo, wie und warum

Wie sollen sich Hochschulen in Social Media Kanälen präsentieren? Wie sprechen sie relevante Zielgruppen an, welche Netzwerke funktionieren für welches Thema? Und wo soll man knappe Ressourcen investieren, in TikTok oder LinkedIn, Instagram oder Snapchat? Dieser Frage gehen wir nach…

Auf welchen sozialen Netzwerken sollten Bildungseinrichtungen eigentlich präsent sein? Wo findet man relevante Zielgruppen und wie spricht man sie effektiv an? Und macht Social Media Marketing für Universitäten überhaupt Sinn oder braucht man eigentlich nur eine gute PR und viel Geld für Google Anzeigen?

Klar ist, dass der Hochschulmarkt heute stark umkämpft ist. Zahlreiche Portale listen Studienprogramme, über Affiliate Marketing finanzierten Webseiten präsentieren (scheinbar neutral) die “besten Studiengänge”, Influencer berichten über ihre Erfahrungen mit Universitäten und Online-Rankings wie fernstudiencheck.de oder studycheck.de nehmen eine immer relevantere Rolle bei der Suche nach dem geeigneten Studiengang ein. Hinzu kommen “offizielle” Bewertungsportale wie das CHE Hochschulranking oder der Hochschulkompass der HRK. Viel Raum also für Hochschulen, sich und seine Angebote zu präsentieren.

Gleichzeitig spielen für jüngere Altersgruppen klassische Webseiten und Portale eine immer weniger wichtige Rolle. Sie bewegen sich zunehmend nicht mehr im “klassischen” Internet, sondern fast ausschließlich in sozialen Netzwerken. Ob Kommunikation mit Freunden und Unternehmen, Shopping oder Medienkonsum, alles was man sucht und braucht, lässt sich über die (bzw. in den) Apps von Snapchat, Instagram, Youtube, TikTok oder Facebook sicherlich finden.

Auch direkte Kommunikation verlagert sich immer stärker in diese Netzwerke oder auf Instant Messenger (insbes. WhatsApp). Das klassische Telefonat wird häufig nur noch im privaten Umfeld oder bei wirklich tiefgreifenden Fragen geführt.

Hochschulen müssen sich in der Kommunikation neuen Anforderungen stellen

Für Hochschulen entstehen dadurch ganz neue Herausforderungen. Denn für alle (oder die meisten) Kund:innen gültige Conversionpfade gibt es nicht (mehr). Studieninteressierte zeigen - je nach Alter, sozialer Herkunft oder persönlicher Medienpräferenzen - sehr unterschiedliche Verhaltensmuster in der Informationskanal- und Kommunikationsnutzung. Diese müssen für ein erfolgreiches Marketing berücksichtigt werden.

Während man als Weiterbilder im beruflichen Kontext auf LinkedIn oder XING relevante Zielgruppen finden kann, sind diese Business Netzwerke für klassische Hochschulen zur "Kundenakquise" meist wertlos (es sei denn, man spricht gezielt berufstätige Eltern an).

Gleichzeitig macht es vermutlich weniger Sinn, sich als Anbieter für Leadership Programme auf TikTok zu präsentieren. Da TikTok vor allem bei jungen Menschen beliebt ist, die sich in erster Linie für Unterhaltung und soziale Interaktion interessieren, spielt das Thema Bildung dort keine wesentlich Rolle. Andererseits kann man vielleicht genau deshalb ein Alleinstellungsmerkmal entwickeln, wenn man ein auf die Zielgruppe und deren Erwartungen angepasstes Konzept (und Bildungsprodukt) entwickelt. Einige Influencer sind mit berufsbezogenen Themen so bereits erfolgreich.

Eine klare Empfehlung, welcher Bildungsanbieter wo kommunizieren und welche Kanäle bespielen sollte, gibt es somit nicht. Allerdings lassen sich einige spannende Trends beobachten.

Facebook verliert, TikTok, Instagram und Snapchat ziehen davon

Wie die Grafik zeigt, spielt Facebook für die jüngeren Generationen eine immer weniger wichtige Rolle. Auf dem Flaggschiff von Meta tummelt sich zunehmend die Generation der Baby Boomer… was traditionell der Todesstoß für jedes hippe Netzwerk ist.

Dafür sind die Verbreitung von Snapchat, TikTok und Instagram in den Generationen Y und Z enorm. Über zwei Drittel haben Accounts und in der Screen Time hängen die Netzwerke fast alle anderen Webseiten (inkl. Streamingdienste) ab. Wer traditionelle Studierende (also Schüler:innen) ansprechen möchte, kommt an diesen Kanälen kaum mehr vorbei.

Ebensowenig übrigens wie an WhatsApp als zusätzlicher Kommunikationskanal. Je nach Erhebung nutzen - trotz Datenschutzdiskussionen - zwischen 90% und 100% der befragten Altersgruppen den Instant Messenger und erwarten auch, dass Institutionen über diesen erreichbar sind. Die Nutzung von E-Mails nimmt dafür in den Altersgruppen U30 stetig ab, für viele Jugendliche ist die Handynummer zum bevorzugten Authentifizierungskanal geworden.

Wo man relevante Zielgruppen erreichen, wäre also prinzipiell geklärt.

Wie man sie erreicht, ist indes eine ganz andere Frage. Denn in manchen Netzwerken ist klassische Werbung entweder nicht möglich oder wird durch automatisierte Accounts nahezu wertlos. So wird bei TikTok immer wieder von bis zu 90% Fake Views durch Bots berichtet, eine Conversion in Umsätze bleibt dann aus.

Mit Content Marketing kann man wiederum auch auf Instagram erstaunliche Erfolge erzielen. Es ist also Kreativität gefragt... und ein Händchen für offene, glaubwürdige und ehrliche Kommunikation.

Denn die schätzen die Generationen X, Y und Z gleichermaßen.

Weiterlesen
Philipp Hoellermann Philipp Hoellermann

Funktionieren Tools zur Erkennung von AI-generierten Texten?

Ist es für Hochschulen aktuell möglich, mit GPT-3 generierte Texte zu identifizieren und AI-Plagiate zu vermeiden? Erste Untersuchungen lassen nicht darauf schließen.

ChatGPT sorgt in der Bildungswelt aktuell für einige Furore. Kein Wunder, erstellt das Tool doch in Sekunden sinnvolle und stringente Texte für verschiedenste Fragestellungen. Insbesondere Einsendeaufgaben und andere schriftliche Arbeiten sind damit anfällig für AI-Plagiate, Formate also, die von vielen Weiterbildungsinstitutionen, Hochschulen und Universitäten als Prüfungsleistungen eingesetzt werden.

Selbst bei Klausuren erzielt die Software bereits sehr gute Ergebnisse (wie Prof. Dr. Florian Schatz von der Fachhochschule Kiel in einem Artikel beschreibt), so dass es nur eine Frage der Zeit sein dürfte, bis auch E-Klausuren "Opfer" der KI Anwendungen werden.

Mit klassischen Lösungen lassen sich solche AI-generierten Texte nicht identifizieren, denn sie werden dynamisch und in immer anderer Form generiert. Umso spannender ist die Frage, wie neue Tools zur Erkennung von AI-generierten Texten funktionieren.

Enttäuschende Resultate

Zu Testzwecken haben wir deshalb über GPT-3 eine Einsendeaufgabe aus einem Lehrbrief der APOLLON Hochschule der Gesundheitswirtschaft erstellen lassen. Ziel der Aufgabe war es, eigene Definitionen für Fachbegriff zu erstellen, die im Lehrbrief vorgestellt wurden. Anschließend wurde der generierte Text 1:1 in diverse Testtools eingegeben, u.a. bei OriginalityAI, GPTZero, Copyleaks und dem AIContentDetector.

Der Text wurde dabei inkl. offensichtlicher Fehler (erratische Buchstabenfolgen, Rechtschreibfehler) am Ende des Textes kopiert, die von GPT-3 auf Grund einer temporären Überlastung generiert wurden. Eine manuelle Korrektur hätte ansonsten das Ergebnis der Prüfung verfälschen können.

Die bittere Erkenntnis: keine der Lösungen identifizierte den Text als von einer AI generiert. Statt dessen wurden alle als sicher (oder zumindest mit hoher Wahrscheinlichkeit) "human-generated content" klassifiziert.

Schlimmer noch: selbst wenn ich denselben Text in Englisch erstellen lasse, scheitert die Erkennungssoftware. Alle englischen Texte werden - wie die deutschen - als von Menschen geschrieben klassifiziert. Die Lösungen sind somit - zumindest auf den ersten Blick - völlig nutzlos.

Für Hochschulen ist es aktuell unmöglich, mit GPT-3 erzeugte Texte sicher als solche zu identifizieren.
— Philipp Höllermann

Die Ergebnisse könnten damit zusammenhängen, dass der Lösung vorgegeben wurde, leicht von der standardisierten Texterstellung abzuweichen. So wurden der Wert für Frequency und Presence Penalties erhöht, mit der eine zu häufige Wiederholung von Worten und inhaltlich identischen Sätzen vermieden werden soll. Diese Einstellung kann indes von jedem Nutzer binnen Sekunden über Schieberegler vorgenommen werden und muss von Plagiats-Software berücksichtigt werden.

Einziger Hoffnungsschimmer für die Hochschulen ist damit, dass GPT-3 eines gar nicht kann: echte Quellen zitieren und relevante, hochwertige Literaturverweise zu liefern. Die Verweise der Software sind hier entweder frei erfunden, oberflächlichen Webrecherchen entnommen oder sehr unpräzise.

Womit die Software indes dieselben Ergebnisse liefert, wie - glaubt man den Klagen vieler Lehrkräfte - in der Zwischenzeit auch viele Studierende.

Weiterlesen
Philipp Hoellermann Philipp Hoellermann

Werden “Data Sciences” die wichtigsten Studienfächer der Zukunft?

Welche Studienfächer werden in den nächsten Jahren an Bedeutung gewinnen und eine hohe Nachfrage am Arbeitsmarkt erfahren? Und wie können Hochschulen schon jetzt auf diese Änderungen reagieren?

Welche Studienfächer werden in den nächsten Jahren an Bedeutung gewinnen und eine hohe Nachfrage am Arbeitsmarkt erfahren? Und wie können Hochschulen schon jetzt auf diese Änderungen reagieren?

Sicher ist, dass es die Themenfelder sein, die sich mit Technologien und Fragestellungen der digitalen Transformation beschäftigen. Eines der wichtigsten Gebiete dürfte dabei Künstliche Intelligenz (#KI) sein.

KI wird für viele Unternehmen und Organisationen immer wichtiger, da sie ihnen ermöglichen, Geschäftsprozesse zu automatisieren, zu optimieren und effizienter zu gestalten. KI kann zum Beispiel in der automatisierten Kundenbetreuung, der Lösung komplexer Optimierungsprobleme, der Produktentwicklung, der Datenanalyse und zur Identifikation und Prognose von Markttrends eingesetzt werden.

Basis für die Entwicklung von KI-Anwendungen sind dabei die Daten- und Neurowissenschaften, Mathematik und Informatik. Hier wird die Nachfrage nach Absolvent:innen in den nächsten Jahren als weiterhin steigen.

Um sich hierauf vorzubereiten, sollten Hochschulen ihre Programme aufwerten und weiterentwickeln, und das nicht nur in IT-Studiengängen. Sie müssen vielmehr sicherstellen, dass in allen Themenfeldern die aktuellen Technologien und Entwicklungen berücksichtigt werden und Eingang in die Lehre finden. Dazu gehört auch, dass Studierende Zugang zu neuesten Technologien und Entwicklungen erhalten und sie so in die Lage versetzt werden, diese selbst zu nutzen und zu verstehen. Dies kann zum einen über Anpassungen an Curricula erfolgen, zum andere über die Integration von Technologien in die Inhaltsvermittlung, in Lernprozesse oder Prüfszenarien.

Außerdem sollten Hochschulen den Bereich der Weiterbildung stärker in den Blick nehmen und Angebote entwickeln, um auch ältere Studierende und Berufstätige mit den neuen Technologien und Entwicklungen vertraut zu machen, sei es über berufsbegleitende Studienprogramme oder Nano Degrees.

Allerdings müssten die Hochschulen dafür sicherstellen, dass ihre Lehrkräfte über das nötige Wissen und die nötigen Fähigkeiten verfügen, um Studierende auf die neuen Herausforderungen vorzubereiten. Insofern haben auch die Hochschulen selbst einen hohen internen Weiterbildungsbedarf.

Schließlich sollten Bildungsanbieter auf eine veränderte Kostenstruktur vorbereitet sein. Hochwertige digitale Lehre erfordert technische Ressourcen und Personal, das diese einsetzen kann. Hochschulen werden damit immer stärker zu Technologieanbietern und Plattformen, was im bisherigen Selbstverständnis kaum verankert ist.

Wollen Hochschulen auch in Zukunft erfolgreich sein, sollten sie bereits jetzt anfangen, sich auf die zukünftige Nachfrage nach KI, Datenwissenschaften und anderen Technologien vorzubereiten. Nur so können sie sicherstellen, dass ihre Studenten auch in Zukunft den richtigen Job finden.

Weiterlesen