Course feedback

Kurssipalautteen kehittämisprojekti - Course feedback development project

Aalto-yliopisto kehittää kurssipalautejärjestelmäänsä. Kehityshankkeen taustalla on mm. eri arviointiraporteissa esiin nostetut ongelmakohdat: kurssipalautekäytännöt ovat sekalaiset, palauteprosentit ovat alhaisia, eikä kurssipalauteprosessin toiminnasta ole varmaa tietoa. 

Yhteinen vaikuttava kurssipalautejärjestelmä

Tavoitteena on luoda yhteiset kurssipalautteen periaatteet, ottaa käyttöön kaikilla kursseilla kysyttävät ns. Aalto-kysymykset ja löytää hyvin toimiva työkalu palautteen keräämiseen ja raportointiin. Kurssipalautejärjestelmää kehitetään osana Aalto-yliopiston palautejärjestelmää.
Tavoitteet ja toiminta jakautuu kahteen pääalueeseen: prosessien ja käytännön kehittämiseen sekä teknisen kurssipalautejärjestelmän määrittelyyn ja pilotointiin. Hankkeessa:

  • Selvitetään kurssipalautteen keräämiseen ja käsittelyyn liittyvät hyvät käytännöt

  • Kuvataan kurssipalauteprosessi ja määritellään prosessille omistaja.
  • Laaditaan kurssipalautteen käsitemalli 
  • Laaditaan kokoelma hyväksi havaittuja kysymyksiä kurssipalautteen keräämiseen 
  • Tehdään teknisen järjestelmän vaatimusmäärittely ja valitaan testaukseen/pilotointiin 1-2 järjestelmää
  • Valitaan testauksen/pilotoinnin pohjalta tekninen järjestelmä, joka soveltuu kaikkien koulujen tarpeisiin ja palautteen keräämiseen ja prosessointiin mahdollisimman hyvin.

------------------------------------------------------------------------------------------ 

The course feedback system at Aalto University will be reformed in 2012-2013. The underlying reasons for the reform are problems highlighted in various evaluations and studies: the course feedback practices are inconsistent, the rates of giving feedback are low, and no-one knows definitely how well the course feedback process works.

This reform will set out to develop and harmonise the system for collecting and processing course feedback, to introduce so-called Aalto questions that will be asked in all courses and to find a new online system for collecting feedback.

The objectives and actions under the project will be divided into two main areas: developing processes and the practice, and specification and piloting of a technical course feedback system. During the project we will:

  • Examine good practices associated with collecting and processing course feedback
  • Describe the course feedback process and define an owner for the process
  • Draw up a conceptual model for course feedback
  • Draft a set of questions for collecting course feedback
  • Specify system requirements and select a few systems for testing/piloting
  • Based on testing/piloting, select a technical system that will be optimally suited for the needs of all schools and for collecting and processing feedback.

Osallistu keskusteluun täällä projektin wikialueella.

Take part in the discussion here on the wiki pages dedicated to the project.

Contact

The project is coordinated by Strategic Support for Research and Education.

 

Navigate space

11 Comments

  1. Essi Leinos: Omia töitäni helpottaakseni ajattelisin, että eikö järjestelmä voisi olla sellainen, että siitä lähtee automaattisesti peruskysymykset opiskelijoille kurssin päättymisen jälkeen. Jos opettaja haluaa siihen jotain muita kysymyksiä mukaan, niin siinä tapauksessa hän (tai se joka hänen puolestaan ne tekee) voi käydä ne lisäämässä ennen kurssin päättymistä lomakkeeseen. Tällöin kaikista kursseista varmasti tulisi kerättyä palautetta.

     Jos tämä ei onnistu, niin ainakin järjestelmä voisi olla helppokäyttöisempi että ei tarvitsisi joka kerta ohjeista tarkistaa, että muistiko nyt tehdä kaikki kohdat oikein lomakkeen lähettämiseksi.

     Opiskelijoiden motivoinnista vastaamiseen kannattaisi varmaan kysyä suoraan opiskelijoilta. Itse kuvittelisin, että kysymysten määrä voisi olla hieman vähäisempi.

  2. PalauteOodin käyttöönoton yhteydessä torpedoitiin toimivaksi havaittu konsti saada kurssipalautetta: tenttipisteet. Parin tenttipisteen antaminen kurssipalautteen antamisesta toimii jonkinlaisena motivaattorina saada palautetta edes joiltain opiskelijoilta. Varmastikin uuden systeemin vaatimusmäärittelyyn sisällytetään, että tenttipisteet voidaan antaa palautetta antaneille siten, että se ei vaadi kansliahenkilökunnan käsityötä (ts. mielellään automaattisesti), ja toisaalta siten, että opiskelijoilla ei ole perusteita kokea, että antamansa kurssipalaute on jotenkin yhdistettävissä palautteen antajaan, ainakaan kurssihenkilökunnan puolesta.

    Kaikille kursseille yhteisiä kysymyksiä kannattaa tosiaan miettiä, hyvin, hyvin tarkasti, koska epärelevantit kysymykset (etenkin palautekyselyn alussa) laskevat vastaamismotivaatiota melkoisesti.

  3. Olen aivan samaa mieltä kuin Timo: Palauteprosentin saa kokemusteni mukaan pitkälle yli viidenkymmenen kun palauttesta antaa yhden tenttipisteen. Tämä oli Sähköllä yleinen käytäntö ennen kuin meidän oma järjestelmämme romutettiin Oodin tieltä. Tämän pisteen pystyy antamaan Oodi-palautteenkin perusteella, mutta se on hieman monimutkaisempaa. Voin tarvittaessa antaa ohjeet privana, mutta en yleisesti, koska pelkään että järjestelmää tämän jälkeen "korjataan" emmekä enää saa palautteen antajia esille. Uuteen järjestelmään tämän featuren voisi koodata ihan tarkoituksella.

    Toinen asia mitä Sähkön vanhasta järjestelmästä kaipaan oli mahdollisuus arvostella kurssin henkilökunta. Nyt ei ole mitään mahdollisuutta kerätä palautetta henkilöstön pedagogisesta osaamisesta. Silti opetustaidot ovat yksi palkkausperuste. Jos järjestelmää nyt uudistetaan, niin soisin siihen mieluusti liitettävän kysymyksiä henkilökunnan pedagogisesta osaamisesta. Toisin kuin usein väitetään, henkilöiden onnistumiseen liittyvän palautteen kerääminen ei ole tietosuojasyistä kiellettyä, kunhan noudattaa voimassa olevia säännöksiä. Näistä löytyy hyvä tietosuojavaltuutetun lausunto osoitteesta:

    http://www.tietosuoja.fi/uploads/ws25ast195mzo.pdf

    Tämän mukaan kun tekee, niin ei pitäisi tulla ongelmia. Tietoa opetushenkilökunnan taidoista tarvitaan palkitsemiseen ja koulutustarpeiden tunnistamiseen.

  4. Anonymous

    Kaksi ajatusta:

    1. Palautteenkeruu tarpeeksi helpoksi. Esim. yksi kysymys tekstiviestillä jne. metodilla kurssin jälkeen, jolloin vastaaminen vaivatonta ja vastausprosentti nousee.

    2. Palaute julkiseksi. Kun palaute viedään nettisivuille jne. tulee vastaajalle olo, että hänen palautteellansa on väliä. Sekä risut, että ruusut näkyville--> sitoutuminen toiminnan aitoon kehittämiseen ja dialogiin.

  5. Anonymous

    Tullaanko tätä palautejärjestelmää käyttämään täydennyskoulutuspuolella? Meidän palautejärjestelmämme ovat nimittäin todella vaihtelevat ja sekavat.

  6. Anonymous

    Mielestäni käytössämme oleva PalauteOodi-järjestelmä on sinänsä ihan hyvä ja toimiva palautteen keruun. Pienillä parannuksilla siitä saa ihan toimivan.

    Suurin ongelma on vastausprosenttien pienuus, niinkuin tuossa edelläkin on jo useampaan kertaan kommentoitu. Aiemmin keräsimme palautetta paperilomakkeella tenttien yhteydessä. Silloin suurin osa vastasi, kun sen sai kätevästi tehtyä siinä samalla vaivalla minuutissa parissa. Nyt kun opiskelijoille tulee sähköpostiin tieto palautteen keruusta, (ja lisäksi asiaan liittyviä muistutuksia), luulen, että monelle tulee palauteähky! Opiskelija suorittaa useaa kurssia samalla periodilla ja periodien lopussa palauteviestejäkin tulee pitkä lista. Eipä sitä itsekään jaksa kaikenmaailman tutkimuksiin vastailla, siis näihin mitä sähköpostiin/kännykkään aina tulee. Itse olen huomannut, että palauteprosenttia saa hieman ylös omalla aktiivisella informoinnilla kurssin loppupuolella ja tenttitilaisuuksissa. Myös se, että opiskelijoille annetaan vastapalautetta ja että palauteyhteenvedot ovat julkisia motivoi vastaamaan. Kun näkee, että annettu palaute otetaan huomioon, on palautetta myös järkeä antaa. 

    Itseäni PalauteOodissa eniten kismittää ns. viiden vastaajan rajoite, jota nyttemmin on yritetty helpottaa lisäämällä vastaajille valintamahdollisuus, salliiko palautteen näkymisen siinäkin tapauksessa että vastaajia on vain muutama. Pienillä kursseilla, joita omat syventävät kurssimme ovat, on käynyt monasti niin, että annettua palautetta ei ole päässyt kukaan näkemään. Tähän asiaan toivoisin parannusta uutta järjestelmää kehitettäessä.  

  7. Anonymous

    Sähköllä sai ennen palauteoodia palkkioita hyvin pidetyistä kursseista, oli hyvä palautesysteemi. Ei enää. Kukaan ei kiitä minua ja muitakaan. Teoriassa laitos voi palkita, mutta miten laitosjohtaja laittaa proffat ja opet palkkiojärjestykseen? Jatkossa ja nyt - opet pitää ehdottamasti olla mukana ja opiskelijat myös - pääosassa kriteerejä luodessa. Aallossa on nyt iso lauma byrokraatteja (lue tuki/palvelu -yms. henkilöitä, jotka eivät ns. kenttätyötä tee), jotka säheltävät omien pätemättömyyksiensä tasoilla. Istuvat kammioissaan ja poteroissaan Exceleitään tms. pyörittelemässä. Tätä vauhtia ollaan 2020 maailman laidalla opetuksen palautesysteemin suhteen. Ja jos ei osata, niin pitää apua kutsua osaavilta.

    Nimim. turhaantunut proffa sähköltä

  8. Anonymous

    Tämän päivän lehdessä lukee näin: "Taitaa olla niin, että joka tahtoo valittaa, antaa palautetta ja joka on tyytyväinen on hiljaa."  Näin se vaan menee. 

  9. Kiitos kaikille tähän mennessä kommentoineille! Monia tärkeitä huomioita tullut esiin.

  10. Kiitokset Timolle ja Reetalle, jotka kävivät tänään tietotekniikan opekokouksessa kertomassa uudesta kurssipalautejärjestelmästä.

    Tietotekniikkahan ei lähtenyt muutama vuosi sitten palauteoodin mukaan, vaan jatkoimme omalla "toimivalla" järjestelmällä. Yhdyn yllä oleviin kommentteihin, että tentin lisäpisteellä tms. saa aikaan hyvän palautusprosentin.

    Mikä on kurssipalautteen keräämisen tarkoitus? Yllä kerrottiin mm. palkitsemisesta ja hälytyksestä (jälkikäteen), jos joku on mennyt pahasti pieleen. Hälytykseen riittää yksi numeerinen kysymys ("yleisarvosana"). Opetuksen kehittämiseen tarvitaan prosessia, jossa palautetta käsitellään ja muokataan kehitysideoita seuraavaksi vuodeksi ja toteutetaan niitä. Kehityskohtien testaamista varten opettaja voi haluta hyvin eksakteja kysymyksiä, joten järjestelmän tulee tukea omien kysymysten laatimista. Olisi hienoa, jos järjestelmä tukisi vastapalautteen antamista ja koko kehitysprosessia.

    Kyselylomakkeessa tulee olla vapaan tekstin kenttä tai kenttiä, joissa vastaaja voi vapaasti kirjoittaa ajatuksiaa (hyvää, kehitettävää, muuta). Onkohan järjestelmien tuottajilla tarjolla nykyään joitain tekstin analyysin automaattisia työkaluja?

  11. On tosiaan todella tärkeää, että palautteesta voi palkita jollain tavalla. (Itse mieluiten en anna palautteesta pisteitä, koska se voi biasoida tuloksia. Olen sen sijaan tehnyt kurssin loppukyselystä pakollisen osan kurssisuoritusta – kaikkien ei tietysti tarvitse vastata kaikkiin kysymyksiin. Tämä on toiminut mielestäni mainiosti eikä valituksia opiskelijoiltakaan ole tullut käytännössä lainkaan.)

    Toivon, että tulevalla järjestelmällä olisi haluttaessa myös mahdollista tehdä ei-anonymisoituja kyselyitä. Kurssin loppukyselyn vastausten yhdistämisestä esim. osasuorituksiin, taustatietokyselyn vastauksiin, tms. on joskus konkreettista hyötyä tulosten analysoinnissa. Toivottavasti tätä mahdollisuutta ei tietoturvainnossa kokonaan estetä.