Vor dem Hintergrund digitaler Transformationsprozesse in der Internationalen Jugend wurden in den vergangenen Jahren verstärkt auch digitale Projekte umgesetzt. Damit bestehende Qualitätskriterien der Internationalen Jugendarbeit auch bei digitalen Projekten eingelöst werden, erscheint es sinnvoll diese Veränderungen systematisch zu begleiten, etwa durch die Integration von Evaluationsprozessen in digitalen Formaten. Im Rahmen des Forschungsprojekte „IJA.digital“ wurde ein solches Fragenset entwickelt und erprobt.
Forschungsprojekt „IJA.digital“ Entwicklung und Erprobung eines Fragensets
Vor dem Hintergrund digitaler Transformationspro- zesse in der Internationalen Jugend wurden in den vergangenen Jahren verstärkt auch digitale Projek- te umgesetzt. Damit bestehende Qualitätskriterien der Internationalen Jugendarbeit auch bei digitalen Projekten eingelöst werden, erscheint es sinnvoll die- se Veränderungen systematisch zu begleiten, etwa durch die Integration von Evaluationsprozessen in digitalen Formaten. Für analoge Projekte bestehen bereits Plattformen, die dies für Teamer*innen er- möglichen. Ein Beispiel ist die Plattform www.i-eval. eu, die die Selbst-Evaluation einer internationalen Jugendbegegnung durch den Einsatz von Fragebö- gen für Teilnehmende und Mitarbeitende ermöglicht. Gleichzeit fließen die anonymisierten Angaben der Befragten in eine Panelstudie zu Jugendbegegnun- gen und Freizeiten ein. Bisher sind auf dieser Platt- form jedoch noch keine Fragen integriert, die explizit auf die Evaluation digitaler Projekte in der Internatio- nalen Jugendarbeit abzielen. Im Rahmen des Forschungsprojekte „IJA.digital“ wurde ein solches Fragenset entwickelt und erprobt. Folgende Fragen standen dabei im Mittelpunkt: • Wie sollte ein quantitatives Evaluations-Fragen- set für digitale Angebote Internationaler Jugend- arbeit hinsichtlich des Umfangs und der Integra- tion in eine Maßnahme gestaltet sein? • Welche Fragestellungen sollte ein solches Set beinhalten? Um wichtige Kontextinformationen zum Einsatz eines solchen Sets einzuholen, wurden Teamer*innen der Internationalen Jugendarbeit in leitfadengestützen Online-Einzelinterviews gebeten, ihre Einschätzun- gen zu diesen Fragen abzugeben. Die Teamer*innen hatten zuvor digitale Projekte durchgeführt, die im Rahmen des Projekts „IJA.digital“ teilnehmend be- obachtet wurden. Folgende Aspekte seien nach An- gaben der Befragten bei der Entwicklung eines Eva- luations-Fragenset zu berücksichtigen:
• Hinsichtlich der Länge sollte ein Fragenset mög- lichst kompakt gestaltet sein. • Als zentrale thematische Fokuspunkte nannten die Teilnehmenden folgende Punkte: • Eignung der eingesetzten Technik und On- line-Tools • Umsetzung von Partizipationsmöglichkeiten der Teilnehmenden im Online-Setting • Gruppenatmosphäre. • Grundsätzlich waren die Befragten jedoch der Meinung, dass sich Evaluationsfragen zu digi- talen Projekten nicht stark von denen zu physi- schen Treffen unterscheiden müssten. Bei der Entwicklung des Fragensets berücksichtig- te das Forschungsteams, neben den Hinweisen der Teamer*innen, Ergebnisse aus einem bereits abge- schlossenen Projekt. So wurde bei der Auswahl der Fragen ein bestehendes Feedback-Tool einbezogen, dass für die Evaluation digitaler Angebote in der kul- turellen Bildung erarbeitet wurde. Kernidee dieses Tools ist es, in Online-Settings von den Teilnehmen- den individuell Feedback einzuholen, dies aber im Feedback-Tool direkt online allen Gruppenteilneh- mer*innen zur Verfügung zu stellen. Auf diese Wei- se werden die Daten nicht nur erfasst, sondern das Tool kann direkt in die Feedbackgesprächsphase am Ende eines Angebotes integriert werden. Zu finden ist das Tool unter www.kubi-digital.jff.de. Darauf auf- bauend wurde das Fragenset für die Internationale Jugendarbeit weiterentwickelt. Zur Erprobung des Fragensets wurde dieses mithil- fe der Online-Umfrage-Software LimeSurvey in einen Online-Fragebogen umgewandelt. Die Erprobung er- folgte im Rahmen von drei Online-Treffen mit Jugend- lichen. Die Gruppen hatten je an einem digitalen Pro- jekt, das im Zuge von „IJA.digital“ wissenschaftlich begleitet wurde, teilgenommen. Die gesammelten Erfahrungen bei der Erprobung wurden mithilfe eines Gedächtnisprotokolls festgehalten.
1
Zur Veranschaulichung sind unter den folgenden Links der Test-Online-Fragebogen sowie die Aus- gabeseite der Antworten verfügbar. Beim Test-On- line-Fragebogen und der Ausgabeseite handelt es sich um ältere Versionen, die der Erprobung des Fra- gensets dienten. Die finale Version des Fragensets befindet sich auf Seite vier in diesem Dokument. Bei der Erprobung des Fragesets wurde an zwei Stellen eine kurze Besprechung der bisherigen Ergebnisse durchgeführt, um die quantitativen Antworten der Teilnehmenden qualitativ zu vertiefen.
Der erste Link führt zum ersten Teil des Fragensets, der zweite Link zum zweiten. • Teil 1: https://befragung.jff.de/index.php/726815 • Teil 2: https://befragung.jff.de/index.php/195383 • Ausgabeseite der Antworten: https://feedback.jff.de/
Abbildung 1: Screenshot des LimeSurvey-Erprobungstools
2
Fragenset Einsatz
Nachfolgend wir das entwickelte Fragenset vorge- stellt sowie Hinweise zu dessen Einsatz gegeben. • Das Fragenset besteht aus insgesamt zwölf Fra- gen und ist sowohl in reinen Online-Projekten als auch in hybriden sowie Blended-Projekten an- wendbar. • Das Set fokussiert inhaltlich auf Themen, die ins- besondere bei digitalen Projekten relevant sind. Fragen zu Aspekten, die ebenso im physischen Setting wichtig sind (wie die Verbesserung der Fremdsprachenkenntnisse, das Kennenlernen des Partnerlandes oder die Förderung sozialer Fähigkeiten), sind bewusst nicht aufgeführt. Hier sei auf die bereits erwähnte Plattform i-EVAL ver- wiesen, auf der diese Fragen berücksichtigt sind. Soll ein digitales Projekt evaluiert werden, wäre es beispielsweise denkbar diese bereits beste- henden Fragen mit Fragen aus dem hier aufge- rührten Set zu kombinieren.
• Des Weiteren ist es möglich, das entwickelte Fra- genset als Anreiz zu nutzen, um mit den Teilneh- menden zu den Ergebnissen der Umfrage ver- tiefend ins Gespräch zu kommen. Hierfür sollten die Ergebnisse direkt im Anschluss an die Be- fragung für die Teamer*innen sowie für die Teil- nehmenden einsehbar sein. Wichtig ist hierbei, dass die Ergebnisse klar einem einzelnen Projekt zuordenbar sind. Dies kann beispielsweise mit- hilfe einer spezifischen Projektkennung umge - setzt werden. • Selbstverständlich sollte im Gespräch mit den Teilnehmenden das Prinzip der Freiwilligkeit so- wie die Möglichkeit zur Anonymität berücksich- tigt werden.
3
Konkrete Fragen In der folgenden Tabelle wird das entwickelte Fragenset sowie dessen thematische Gliederungspunkte vorgestellt.
Thema
Fragenset
Online-Treffen: allgemeine Einschätzung
1. Wie findest du es in diesem Projekt mit digitalen Medien (Smartphone, Tablet, …) zu arbeiten? • sehr gut • gut • teils gut, teils schlecht • schlecht • sehr schlecht 2. Haben dich die Online-Treffen dazu motiviert an weiteren internationalen Angeboten teilzunehmen? • ja, an rein digitalen Angeboten • ja, an Offline-Angeboten vor Ort • ja, an Angeboten, bei denen es digitale UND Offline- Anteile gibt • nein 3. Wie findest du die Anzahl an Online-Treffen im Projekt? • genau richtig
Anzahl und Dauer der Online-Treffen
• zu wenig Online-Sessions • zu viele Online-Sessions
4. Wie findest du die Dauer der einzelnen Online-Treffen im Projekt? • die Dauer der einzelnen Online-Sessions waren genau richtig
• die einzelnen Online-Sessions waren zu lang • die einzelnen Online-Sessions waren zu kurz Gruppenatmosphäre bei den Online-Treffen 5. Bei den Online-Treffen ist ein Gruppengefühl entstanden, mit den Menschen, die ich schon kannte. • trifft voll und ganz zu
• trifft eher zu • weder noch • trifft eher nicht zu
• trifft überhaupt nicht zu • ich kannte niemanden
6. Bei den Online-Treffen ist ein Gruppengefühl entstanden, mit den Menschen, die ich noch nicht kannte. • trifft voll und ganz zu
• trifft eher zu • weder noch • trifft eher nicht zu
• trifft überhaupt nicht zu • ich kannte schon alle
4
Informeller Austausch bei den Online-Treffen 7. Ich hatte bei den Online-Treffen die Möglichkeit mich auch abseits der vorgegebenen Programmzeiten und Aufgaben mit den anderen Teilnehmenden auszutauschen. • trifft voll und ganz zu
• trifft eher zu • weder noch • trifft eher nicht zu • trifft überhaupt nicht zu
Eingesetzte Technik und Online-Tools
8. Ich hatte Probleme bei den Online-Treffen teilzunehmen, da die Technik (Kamera, Mikrofon etc.) nicht funktioniert hat. • trifft voll und ganz zu
• trifft eher zu • weder noch • trifft eher nicht zu • trifft überhaupt nicht zu
9. Ich finde, die Online-Tools (Softwareprogramme, Anwen - dungen etc.) wurden sinnvoll eingesetzt. • trifft voll und ganz zu
• trifft eher zu • weder noch • trifft eher nicht zu • trifft überhaupt nicht zu
Einbringen medialer Erfahrungen und Kompetenzen
10. Ich konnte Vorschläge zu Online-Tools (z.B. Discord, Instagram, TikTok) machen, die dann in den Online-
Treffen eingesetzt wurden. • trifft voll und ganz zu • trifft eher zu • weder noch • trifft eher nicht zu • trifft überhaupt nicht zu
11. Ich konnte meine Fähigkeiten und Wissen zu digitalen Medien (z.B. Social Media, Hard-/Software) bei den Online-Treffen praktisch anwenden. • trifft voll und ganz zu
• trifft eher zu • weder noch • trifft eher nicht zu • trifft überhaupt nicht zu
Verbesserungsvorschläge
12. Im Hinblick auf die Gestaltung der Online-Treffen schlage ich folgende Verbesserungen vor: • offene Antwortmöglichkeit
Das Fragenset wurde im Rahmen der wissenschaftlichen Begleitung des Projekts „IJA.digital - Internationale Jugendarbeit digital“ entwickelt. Weitere Informationen und Kontaktadressen zu Ansprechpersonen finden Sie unter: https://www.jff.de/kompetenz- bereiche/projektdetail/internationale-jugendarbeit-digital/ 5
Page 1 Page 2 Page 3 Page 4 Page 5Made with FlippingBook - Online catalogs