Verslag vergadering Commissie voor Cultuur, Jeugd, Sport en Media
Vraag om uitleg over de evaluatie van de vrijetijdsmonitor
Verslag
Mevrouw Segers heeft het woord.
Op dinsdag 15 januari 2019 werden de eerste resultaten van de lokale vrijetijdsmonitor bekendgemaakt door het Departement Cultuur, Jeugd en Media, Sport Vlaanderen en de Vereniging van Vlaamse Steden en Gemeenten (VVSG). De vrijetijdsmonitor verzamelt verschillende gegevens over het vrijetijdsaanbod en de participatie in de Vlaamse gemeenten. Het is in dat opzicht een belangrijk instrument om de vinger aan de pols te houden over de evolutie van de vrijetijdsparticipatie in Vlaanderen.
In 2016 werd er de keuze gemaakt om de subsidies voor sport, jeugd en cultuur te integreren in het Gemeentefonds. De middelen werden niet langer geoormerkt. U weet dat dat voor mij een teer punt is, want ik kijk daar ongerust naar.
De Vlaams overheid wilde er toch voor zorgen dat ze de lokale besturen kon monitoren en kon opvolgen wat er in de gemeenten speelt op het vlak van vrijetijdsaanbod en -participatie. Een dergelijke tool kan op zich veel inzichten en goede cijfers aanleveren, maar momenteel staat de monitor nog niet volledig op punt.
Op maandag 21 januari 2019 publiceerde De Federatie een artikel op haar website. Ze plaatst daarin enkele kanttekeningen bij de cijfers die momenteel beschikbaar zijn. Hierbij haalt De Federatie concreet het voorbeeld aan van de sociaal-culturele verenigingen en de amateurkunsten. Op de homepage van de vrijetijdsmonitor lezen we dat Vlaanderen 9444 sociaal-culturele verenigingen telt en 1053 organisaties voor amateurkunsten.
Deze cijfers kloppen niet met de werkelijkheid omdat ze gebaseerd zijn op informatie van niet alle organisaties voor amateurkunsten en niet alle sociaal-culturele organisaties. Vlaanderen telt volgens De Federatie namelijk 14.000 sociaal-culturele verenigingen en meer amateurkunstgroepen.
De website biedt volgens De Federatie niet de correcte weergave van het vrijetijdsaanbod en de vrijetijdsparticipatie in Vlaanderen. Die bevinding is belangrijk genoeg om ze u onder de aandacht te brengen, omdat het uw doelstelling is om een evidencebased beleid te voeren en monitoring absoluut cruciaal is.
Het is belangrijk dat in die monitor de juiste cijfers op de juiste manier worden weergegeven, met de juiste duiding daarbij.
Minister, bent u zich bewust van de onvolledigheid en mogelijkheid tot foute interpretatie van de cijfers? Ziet u dit als een probleem? Op welke manier kan er meer duiding worden gegeven bij de cijfers? Is het QlikViewsysteem volgens u momenteel gebruiksvriendelijk genoeg? Vanuit de sector komen er geluiden dat dat niet zo zou zijn. Op welke manier kan dat systeem worden verbeterd?
De heer Meremans heeft het woord.
Mijn vraag sluit aan bij die van collega Segers. De sectorale subsidies zullen worden geïntegreerd in het Gemeentefonds. Er werd een tool ontwikkeld om na te gaan hoe het gaat met het cultuur-, jeugd- en sportbeleid op gemeentelijk niveau.
Op 15 januari 2019 werd het ontsluitingsplatform van de lokale vrijetijdsmonitor publiek gemaakt. De monitor deed hiervoor een beroep op alle Vlaamse gemeenten om gegevens over het lokale vrijetijdsgebeuren aan te leveren. 75 procent van alle gemeenten heeft hieraan deelgenomen.
Wat collega Segers zegt, klopt: verschillende algemene cijfers blijken foute informatie te bevatten. Volgens de vrijetijdsmonitor zijn er 1053 amateurkunstenorganisaties, maar dat aantal zou in werkelijkheid tien maal hoger liggen. En in het sociaal-cultureel volwassenenwerk zouden geen 9000, maar 14.000 verenigingen actief zijn. Jeugd kwam verleden week al aan bod: er is sprake van 1224 jeugdverenigingen, maar volgens het departement Cultuur ligt dat aantal al jaren boven de 2000. Er wordt op de site geen duiding gegeven bij de cijfers. Ze worden als feiten gepresenteerd.
Binnen drie jaar is er een volgende informatieoproep richting de gemeenten.
Minister, bent u van oordeel dat de huidige vrijetijdsmonitor over voldoende correcte gegevens beschikt voor de gemeenten om te gebruiken? Zal de vrijetijdsmonitor worden geëvalueerd? Op welke manier? Zal hij zo nodig worden bijgestuurd?
In hoeverre maken gemeenten gebruik van deze vrijetijdsmonitor? Ze maken nu hun meerjarenplanning op. In de meeste gemeenten zal die eind 2019 worden gepresenteerd. In hoeverre wenst u gemeenten te blijven enthousiasmeren om te blijven gebruikmaken van deze vrijetijdsmonitor? Ontving u reeds feedback van gemeenten met betrekking tot het gebruik van de vrijetijdsmonitor? Zo niet, wilt u nog inspraak van de gemeenten hieromtrent organiseren?
Minister Gatz heeft het woord.
Op 15 januari 2019 werd het rapporteringsplatform van de lokale vrijetijdsmonitor gelanceerd. Dit is een project met nog een lange looptijd voor de boeg. De ontsluiting van de gegevens zal daardoor voortdurend verbeteren. Het is echter geen evidentie om het steeds veranderende vrijetijdslandschap zo correct en zo volledig mogelijk in beeld te brengen. Toch zet de lokale vrijetijdsmonitor erop in om die ambitie ook waar te maken. Telkens om de drie jaar zal de monitor dieper inzicht verschaffen om beleidswerk te kunnen voeden, en om benchmarking mogelijk te maken tussen iedere Vlaamse gemeente. Die constante groei zal duidelijk maken dat het rapporteringsplatform aan een doorlopende bijstelling onderhevig is. Om te achterhalen wat de beste vorm is om de verzamelde gegevens weer te geven, wordt het komende jaar gerekend op de feedback van de eindgebruikers – dat zijn de sectororganisaties en ook de lokale besturen.
De lokale cultuur-, jeugd- en sportbeleving is, zoals gezegd, onderhevig aan voortdurende verandering en is bovendien enorm divers. Dat bleek al uit het startmoment bij dit project op 7 december 2015, toen deelnemers uit de cultuur-, jeugd- en sportsector konden aangeven welke data zij zinvol zouden vinden voor het stimuleren van lokaal vrijetijdsbeleid. Er moesten dus keuzes worden gemaakt over de cijfers die binnen het kader van de lokale vrijetijdsmonitor zouden worden verzameld. Die keuzes werden gemaakt in samenspraak met sectororganisaties, met de VVSG en met vertegenwoordigers uit de lokale besturen. Die vertegenwoordigers bestonden zowel uit lokale mandatarissen als uit lokale ambtenaren van de sport-, cultuur-, en jeugddiensten. Drie werkgroepen, Cultuur, Jeugd en Sport, kwamen verschillende keren bijeen om te beslissen welke gegevens binnen de scope van het project vielen om uiteindelijk te komen tot een gemeenschappelijke indicatorenlijst. Diezelfde werkgroepen werden ook later in het project betrokken.
De monitor bevat hierdoor duizenden gegevens uit tientallen verschillende bronnen. Er vond een intensieve kwaliteitscontrole op alle data plaats om de datakwaliteit zo goed mogelijk te garanderen. De gegevenstabellen op het rapporteringsplatform tonen van meet af aan de gevalideerde cijfers. Dat betekent dat er voortijdige keuzes werden genomen voor het ontwerp van de eerste resultaten op de homepagina van de website www.vrijetijdsmonitorvlaanderen.be, waardoor oorspronkelijk een aantal onvolledige cijfers werden getoond. De onvolledige cijfers op de homepagina werden ondertussen vervolledigd.
De metadatafiches geven een precieze omschrijving. Per onderwerp wordt de oorspronkelijke bron vermeld, net als een extra toelichting van de gehanteerde methodologie. De cijfers moeten, doordat de sector in beweging is, regelmatig worden gereviseerd. Onzuiverheden die worden opgemerkt, worden op de website aangepast en worden ook steeds nauwkeurig omschreven. De door de heer Meremans aangehaalde voorbeelden, in navolging van deze die door De Federatie werden aangehaald, illustreren inderdaad dat een duidelijkere omschrijving van de oorsprong van het bronmateriaal noodzakelijk is.
Wat met de gebruiksvriendelijkheid van het QlikViewsysteem? Tijdens het cultuurforum konden heel wat vertegenwoordigers van lokale besturen, maar ook van het sociaal-cultureel werkveld, kennismaken met de vrijetijdsmonitor.
De stand was een groot succes en de appreciatie voor het opgeleverde werk was groot. De opmerkingen die die dag gegeven zijn, nemen we uiteraard mee en we gaan hiermee aan de slag, net als de opmerkingen en suggesties die we via mail ontvingen. Zo is het wel degelijk de bedoeling om de tool sterker en gebruiksvriendelijker te maken.
Ik geef ook nog graag mee dat QlikView ook door andere entiteiten van de Vlaamse overheid wordt ingezet als tool om data weer te geven. Zo gebruikt het departement Onderwijs het voor zijn cijfers over onderwijs via Dataloep en het Agentschap Binnenlands Bestuur gebruikt het voor zijn Gemeente- en Stadmonitor en voor de beleids- en beheerscyclus.
In 2018 werd Qlik door het gereputeerde adviesbureau Gartner genoemd als leider in de business intelligence software.
Op termijn zal de gebruiksvriendelijkheid van deze tool verhogen door een optimalisatie van de software en een betere verduidelijking van de interfaces. Dit alles willen we zoveel mogelijk verwezenlijken – ik zeg het nog eens – in rechtstreeks contact met alle betrokkenen en alle belangenbehartigers, zodat we samen tot een performante monitoring kunnen komen. Met andere woorden: we hebben de validatie van de indicatorenlijst samen gemaakt en de validatie van de resultaten zullen we ook samen moeten doen, anders heeft het weinig zin en dreigt het iets te worden wat op zichzelf zou staan en enige steriliteit zou krijgen. We willen bruikbaarheid, voor de sector en voor lokale besturen.
Wat dan met de evaluatie en bijsturing? Voor de lokale vrijetijdsmonitor is de komende drie jaar een evaluatie gepland. Zo zal de eerste feedback van sectororganisaties en van de lokale besturen worden verzameld om het rapporteringsplatform waar nodig bij te stellen. Men is daar trouwens al mee bezig, zoals ik vorige week al aangehaald heb. Die bijsturing gebeurt zowel inhoudelijk als op het vlak van functionaliteiten. In de eerstvolgende periode zullen lokale besturen inspraak krijgen.
De lokale vrijetijdsmonitor is een project in groei, maar kende wel al een zeer mooie start qua brutocijfers en -resultaten. Die moeten nu naar nettoresultaten en bruikbaarheid vertaald worden. Al heel wat ambities werden wel degelijk waargemaakt en verwachtingen werden grotendeels ingelost, in elk geval wat betreft de drie kwart van de gemeenten die al in het systeem zijn ingestapt en de tien procent die aangegeven hebben er op korte termijn te willen instappen.
Over de rechtstreekse relatie met de gemeenten zijn er ook twee vragen gekomen.
In de eerste helft van 2019 focust de vrijetijdsmonitor op het beschikbaar maken van data om steden en gemeenten na de installatie van hun nieuwe bestuur te voeden met bruikbare gegevens waarmee ze hun lokaal beleid kunnen uittekenen. Het is op dit ogenblik nog net te vroeg om besturen te vragen in hoeverre zij de vrijetijdsmonitor voor hun meerjarenplanning hanteren. Die zaken kruisen elkaar momenteel. Het is echter wel een doelstelling van de vrijetijdsmonitor om hier proactief op in te zetten.
Een evaluatie van het gebruiksgemak van de toepassing volgt later, zoals ik al aangaf. Op basis van een gerichte beoordeling wordt een upgrade voorzien voor de registratietool en de bevraging van de vrijetijdsgegevens.
De doelstelling van de lokale vrijetijdsmonitor is om het vrijetijdsaanbod en de -participatie in heel Vlaanderen zo correct en volledig mogelijk in beeld te brengen. Hiervoor deed de monitor een beroep op tal van externe bronnen die reeds gegevens over het vrijetijdsgebeuren verzamelden. Zo stroomden heel wat cijfers uit bestaande Vlaamse of federale registratiesystemen door naar de vrijetijdsmonitor. Data uit andere beleidsdomeinen zoals Onderwijs of Binnenlands Bestuur vulden de vrijetijdsgegevens natuurlijk verder aan.
Gegevens die niet in bestaande systemen worden verzameld, werden via een nieuwe tool opgevraagd. Voor die nieuwe bevraging werd gerekend op de vrijwillige inzet van de lokale besturen. 75 procent van alle gemeenten heeft momenteel al gegevens in dit nieuwe instrument geregistreerd. Weldra zal dat 85 procent zijn. De vrijetijdsmonitor biedt daardoor een uniek overzicht met een grote technische graad van de vrijetijdsbeleving van de Vlaming op lokaal niveau. Van de gemeenten die voor deze eerste bevraging niet overtuigd konden worden, hebben al enkele aangegeven om aan de volgende registratie deel te zullen nemen. Dit toont dat er belangstelling en ook nood is aan een overzichtelijk repertorium van Vlaamse vrijetijdsinformatie op lokaal niveau.
Hoe kunnen we er nu voor zorgen dat iedereen hier gebruik van blijft maken? Ik denk dat ik al een aantal elementen heb proberen te geven in de voorgaande antwoorden, maar om gemeenten blijvend te enthousiasmeren om elke drie jaar nieuwe gegevens in te voeren over het vorige werkjaar, zal de vrijetijdsmonitor op lange termijn verschillende benchmarkacties op poten zetten. Gemeenten kunnen hun engagement in kaart brengen zodra zij voor een correcte invoer zorgen. Dit wordt zorgvuldig opgevolgd door het projectteam van de vrijetijdsmonitor, dat verantwoordelijk is voor de gegevensregistratie.
Vanaf de volgende bevraging wordt het ook mogelijk om een evolutie in alle cijfers weer te geven. Dat zal de tendensen in het Vlaamse vrijetijdswezen – en daar is het hem toch om te doen – nog beter weergeven, zodat gemeenten blijvend geprikkeld zullen worden. Dat is in elk geval toch al gebleken in de rechtstreekse deelname van besturen in de stadsmonitor en ook in de meer academische verwerking met de Participatiesurvey. Ik denk dus dat we wel een goed en een sterk instrument zullen hebben, als we hier de basis van de start verder kunnen stabiliseren en als iedereen de interpretatie, duiding en verwerking van de cijfers ook draagt. Nogmaals, de gesprekken daarrond met de sectoren en de lokale overheden lopen en worden geïntensifieerd.
Mevrouw Segers heeft het woord.
Het is goed om te horen dat er naar aanleiding van de vragen en de kritiek die er vanuit verschillende hoeken kwamen op de vrijetijdsmonitor, heel snel gereageerd is en dat er ook al bijsturingen zijn gekomen. Het is heel belangrijk dat die monitoring zo precies mogelijk is om tendensen in het vrijetijdsaanbod enerzijds en de participatie van Vlamingen op lokaal niveau anderzijds te kunnen blijven monitoren.
Het had misschien anders kunnen lopen. Er is hier veeleer gekozen voor snelheid en minder voor kwaliteit, waardoor er nu bijsturingen nodig zijn. We horen dat er wel verschillende werkgroepen geweest zijn, maar het is ook nodig om de sectoren te betrekken bij de interpretatie en analyse van die ruwe data. Hun expertise is heel hard nodig.
Wat het QlikViewsysteem betreft, zegt u dat verschillende Vlaamse administraties het gebruiken, maar echt gebruiksvriendelijk vind ik dat niet. Die keuze is echter gemaakt, dus het heeft weinig zin om die nu terug te draaien.
Zoals u aangaf, zijn er momenteel 232 van de 308 gemeenten die al gegevens hebben ingevuld. Een aantal andere gemeenten voelen zich daar ook bereid toe, zegt u. Als je naar de kaart van de Vlaanderen kijkt, dan zitten er bij die 76 gemeenten die nog niets hebben ingevuld echter toch enkele grote gemeenten. Het is dan ook heel belangrijk om een oproep te lanceren naar de gemeenten. En daar hoeft het niet bij te blijven. Bij die 76 gemeenten heerst er misschien koudwatervrees of is er misschien niet genoeg tijd of mankracht om zich met die job bezig te houden. Mijn vraag is daarom wat u nog meer kunt doen om al die gemeenten mee over de streep te trekken en hen voldoende te ondersteunen.
De heer Meremans heeft het woord.
Eerst en vooral is het goed dat er een aantal zaken snel zijn bijgestuurd, maar we moeten natuurlijk opletten. Het gaat nu over een nulmeting en dus over de basis die we zullen gebruiken voor vergelijkingen over drie jaar. Als er in de basis fouten zitten en wij of anderen naar die vertekende basis gaan teruggrijpen binnen drie jaar, dan is dat een gevaar. Het moet wel duidelijk zijn dat je zo geen goede longitudinale evaluatie kunt maken.
Zoals collega Segers zegt, is men snel willen gaan, wat ik ook begrijp, maar misschien is men te snel willen gaan, heeft men te weinig afgewacht en heeft men te weinig controlemechanismen voorzien – als ik het zo mag zeggen.
U hebt uw uitleg gegeven. We gaan zeker en vast afwachten. Ik begrijp ook dat kinderziektes en dergelijke bijgestuurd moeten worden, maar het is wel belangrijk om te weten wat de basis is, zodat we die kunnen gebruiken om een vergelijking te maken. Ook is het belangrijk om te vergelijken met de bovenbouw, mensen in de sector die toch wel wat kennis ter zake hebben, zodat er uitwisseling en controle zijn.
Dat waren mijn opmerkingen.
De vrijetijdsmonitor is een heel belangrijk instrument. Ik denk dat het het enige instrument zal zijn dat ons het komende decennium zal tonen hoe alles ter plekke evolueert, zonder dat we daar extra onderzoeken met andere methodologieën voor moeten bestellen. Daarom moeten we er volgens mij hard op inzetten en moeten we de gebreken of tekortkomingen snel aanpakken. Ik kan alleen maar die bekommernis uiten.
Als we het willen gebruiken als beleidsinstrument, dan is dat een vereiste en moet daar prioritair op worden ingezet. Ik heb daar ook op gezocht en ben daarmee bezig geweest maar ik vind het eerlijk gezegd nog zeer gebrekkig. Ik durf daar geen conclusies op te baseren, en dat is eigenlijk het pijnpunt van het verhaal. We moeten er echt op inzetten opdat het goed zou worden, net om alle mensen die vandaag zoveel moeite doen om eraan mee te werken, niet te ontmoedigen. Het moet dus echt een prioriteit zijn voor alle betrokkenen.
Ik ben blij om te horen dat vele gemeenten willen aansluiten en meedoen, maar het gaat ook over de volledigheid, de controleerbaarheid van de data, de juistheid van de bronnen.
Tot slot moet de tool voldoende analyse- en aggregatiemogelijkheden bieden om onderzoek op te doen. Dat is een bezorgdheid. Er moet prioritair worden ingezet op de perfectionering van dat instrument.
Minister Gatz heeft het woord.
Ik ben het zeker niet eens met wie in deze commissie zegt dat snelheid primeert op kwaliteit. In feit gaat het veel, veel en veel te traag. U zou me terecht verweten hebben indien we vandaag nog niet de discussie konden hebben dat het traag gaat. Ik zal dat ‘te traag’ duiden.
Op het moment van de princiepsbeslissing, bij het driejarenakkoord van vijf jaar geleden, zijn we als beperkt tegengewicht met deze monitoring in gang geschoten. We zijn daar drie à vier jaar geleden echt mee aan de slag kunnen gaan. En dan is het voor mij net als voor u frustrerend om te zien dat we er drie jaar over hebben gedaan om hier nu te geraken. Los van ICT-elementen, waar we ons zeker niet moeten achter verschuilen, heeft dat ook te maken met het draagvlak dat democratisch en beleidsmatig kan worden gecreëerd over welke gegevens gemeentebesturen willen vrijgeven en nodig hebben – het zijn beide tegelijk: men geeft ze en men krijgt ze – en welke gegevens op het terrein door diensthoofden of sectororganisaties worden ingevuld en vrijgegeven. Het vinden van dat evenwicht heeft lang geduurd, en dat is geen kritiek.
Wat de kwaliteit betreft, wil ik nog even afwachten hoe die zich kan stabiliseren. Ik heb zelf in mijn vorige job, die een kort intermezzo bleek te zijn tussen twee politieke mandaten, ook aan gegevensverzameling vanuit een economische sector moeten doen. Elke keer dat men dat doet, botst men op muren, want niet iedereen wil meedoen, ook niet bijvoorbeeld in een federatie. En niet iedereen geeft ondanks een goede briefing de gegevens zoals men die zou moeten geven. Wanneer men dan bepaalde gegevens krijgt, dan zitten daar soms rare dingen bij die niet echt de evolutie binnen de sector weergeven. En dan moet men samen met de betrokkene, en dat is wat nu gebeurt, een soort van versleuteling doen en zeggen dat bijvoorbeeld de gegevens massa X moeten worden bijgesteld in een bepaalde richting. Dit is wel degelijk een zaak die ook bij dataverzameling in andere sectoren met verschillende stakeholders een rol speelt. In die zin moeten we ervoor zorgen dat we het debat hier zindelijk houden. De kritiek op het systeem en die op de beslissing om de lokale besturen wat losser te laten, lopen hier een beetje door elkaar. Wat dat laatste betreft, kan ik daar zeker mee leven. Het debat is nog niet helemaal ten einde, dat kan op een bepaald moment nog opflakkeren.
Ik denk dat de administratie en mijn kabinet snel hebben gereageerd op de federatie die de kat de bel heeft aangebonden, waarvoor dank. Dat is goed. Wanneer bepaalde cijfers toch niet de juiste blijken te zijn, moeten we onmiddellijk in gang schieten en die via een gezamenlijk akkoord waarin iedereen het eens is over die cijfers, bijstellen. Dat is wat nu aan het gebeuren is, maar dat moet natuurlijk niet eeuwig duren. We hebben nog een aantal weken en maanden en dan hebben we op zijn minst een zicht op de cijfers die bruikbaar zijn.
U weet dat, dat is ook zo bij de participatieservice en, voor de collega’s die het Brusselbeleid volgen, dat was onlangs ook het geval met de taalbarometer. Zelfs over cijfers waarvan men het eens is dat ze correct verzameld en weergegeven zijn, zal er altijd een interpretatiediscussie blijven bestaan. Dat is deel van het debat.
Ik wilde de context even schetsen. Ik vind dat we goed werk hebben geleverd. Het kon sneller maar ik heb uitgelegd waarom dat niet zo is. Nu moeten we de kwaliteit stabiliseren en met vereende krachten – de administratie, de sectororganisaties en de lokale besturen – de consensus over het nut van dit instrument verder verankeren. Ik denk dat dat ook kan.
Mevrouw Segers heeft het woord.
Minister, eigenlijk hebt u gelijk. Als dit drie jaar geleden al is opgestart, zou dit op dit moment echt wel op punt moeten staan. Het is begrijpelijk dat die tool bij de lancering niet 100 procent op punt staat, maar dit is toch wel een heel grote foutenmarge.
Het is goed dat de administratie de kritiek onmiddellijk ter harte neemt en bijstuurt, maar als het probleem ook gedeeltelijk bij de gemeenten ligt, dan toont u eigenlijk dat we de gemeenten niet zomaar kunnen loslaten, maar dat we bijkomende aanmoediging, incentives en begeleiding moeten bieden zodat alle gemeenten bereid zijn om in te stappen en op een correcte manier de gegevens aan te brengen.
Als de cijfers vandaag moeten gelden als nulpunt en we weten dat ze vandaag niet correct zijn – en zelfs als u zegt dat u ze zult herijken – dan vraag ik me af of we ze überhaupt als nulpunt kunnen gebruiken. Maar men kan de tijd natuurlijk niet terugdraaien. Dit blijft dan ook heel problematisch.
De vragen om uitleg zijn afgehandeld.