Hoe we het succes van het wietexperiment gaan meten

Jef Martens doet verslag van de Tweede Kamer commissievergadering van Justitie en Veiligheid van 5 juli over de voortgang van het wietexperiment en hoe het succes zal worden gemeten.

0
commissievergadering 5 juli justitie en veiligheid wietexperiment
Foto via Twitter
- Advertentie -

Het Experiment gesloten coffeeshopketen krijgt de komende tijd meer vorm. 5 juli heeft namelijk in de namiddag een Tweede Kamer commissievergadering van Justitie en Veiligheid plaatsgevonden. Drugsvertegenwoordigers in de vaste kamercommissie Experiment Gesloten Coffeeshopketen kregen toelichting over de onderzoeksopzet van het experiment.

De commissieleden van de verschillende partijen waren aanwezig: SP (van Nispen, voorzitter deze sessie), VVD (Michon-Derkzen), D66 (Sneller), GroenLinks (Ellemeet) en PvdA (Mutluer) waren in de Groen van Prinstererzaal voor technische toelichting op het onderzoek door het kernteam.

De sessie is hier te bekijken via Debatgemist bij de Tweede kamer.

Externe onderzoekers in opdracht WODC

Het kernteam van het onderzoek tijdens het experiment wordt gevormd door afgevaardigden vanuit drie onderzoeksorganisaties in opdracht van het WODC. Het WODC staat voor Wetenschappelijk Onderzoeks- en Documentatiecentrum dat valt onder het ministerie van Justitie. Voor een ieder die denkt – “waar ken ik die afkorting van?” – het WODC heeft niet zo’n beste naam in neutraliteit van haar werk zoals bleek de na de onderzoeken over de WODC affaire sinds 2017.

Wellicht is het daarom nu bij externe partijen belegd, dit onderzoek in het EGC. De taak is gegaan naar Breuer Intraval, vertegenwoordigd door Ralph Mennes (sr. onderzoeker),  Trimbos-instituut, vertegenwoordigd door Margriet van Laar (afdelingshoofd Drugsonderzoeken) en RAND Europe, vertegenwoordigd door Stijn Hoorens (sr. onderzoeksleider, directie kantoor Brussel).

Breuer Intraval kennen we van diverse onderzoeken op gebied van lokaal coffeeshopbeleid die zij hebben uitgewerkt voor gemeenten in Nederland, o.a. Amsterdam (PDF) en Helmond. Trimbos-instituut verzorgt onder andere de nationale drugmonitor, achtergrond informatie en voorlichtingsmateriaal voor en over drugs op drugsinfo.nl. RAND is een non-profit organisatie die zich als NGO inzet op verschillende onderzoeksgebieden en de effecten van  beleid op die gebieden. Een van de lopende onderzoeksprojecten is de analyse van non-profit modellen van cannabisregulering in het licht van de Zwitserse experimenten.

Experimentele opzet en tijdlijn

Ralph Mennes opende met gericht en beknopt het bespreken van de onderzoeksopzet en het verloop van het experiment. De drie onderzoekspartijen werken samen en worden overzien door een evaluatiecommissie die bestaat uit zes hoogleraren. De onderzoeksresultaten worden aan de evaluatiecommissie voorgelegd en zij brengen het finale advies uit naar de tweede kamer.

Wat wordt onderzocht

Belangrijk om te begrijpen is dat het hoofddoel van het experiment als volgt is gedefinieerd: “Is het mogelijk een gesloten coffeeshopketen te creëren?”

“Is het mogelijk een gesloten coffeeshopketen te creëren?”

Daarbij wordt verwacht dat eventuele knelpunten en verbeterpunten in het experiment naar voren komen. In mijn eigen woorden: lukt het de keten te leveren, dan is dat de definitie van ‘succes’ in het experiment.

Subdoelen zijn gedefinieerd als de effecten van de introductie van het experiment op de samenleving, in verschillende categorieën: volksgezondheid, veiligheid, openbare orde, illegale handel en verplaatsingseffecten.

Hoe onderzoekt men het experiment gesloten coffeeshopketen

Quasi experimentele onderzoeksopzet

Er wordt gebruik gemaakt van een quasi experimenteel onderzoek. Het fundament is de meest rigide vorm van onderzoek zoals in de medische wereld: een groep met interventie en een controlegroep zonder interventie. In de sociale wetenschappen kan dat niet altijd.

Het is ‘quasi’ omdat je niet twee keer, tegelijkertijd in dezelfde gemeente kan meten; een gemeente doet wél of niet mee, niet beide. Als controlegroep zijn daarom ook gemeenten gezocht en aangeschreven om te vragen of zij als controle gemeente mee willen doen in het tijdsbestek. Deze vergelijkingsgemeenten zijn keuze van de onderzoekers.

Fasering en rapportage

Dit onderzoek gebeurt in drie fasen, een voorfase, monitoringsfase en een evaluatiefase. Tijdens de voorfase zijn het ontwerp gemaakt, gemeenten gezocht en meetinstrumenten opgesteld. Het ontwerp beslaat in totaal zes rapporten met jaarlijkse metingen:

Rapport-nummerJaarInhoudOpmerking
11, 2021Onderzoek basis, 0-meting0-meting in Q3 2021 uitgevoerd
22, 2023Monitormeting rapport 11-meting verwacht in Q3 2023*
33, 2024Monitormeting rapport 22-meting verwacht jaar 2
44, 2025Monitormeting rapport 33-meting verwacht jaar 3
55, 2026Monitormeting rapport 44-meting verwacht jaar 4
63, 2024EvaluatierapportOp T=3, oftewel 2e jaar, verwacht 2024

*=uitgaande van overgangsfase in Q2 2023.

Vergelijkingsgemeenten

In de voorfase zijn de te vergelijken gemeenten geselecteerd op eigenschappen die overeenkomen met de set gemeenten die in het experiment deelnemen. Denk daarbij aan beleidsveronderstellingen (hoe wordt beleid rondom coffeeshops, preventie en handhaving ingevuld) en karakteristieken zoals aantal inwoners (totaal, gemiddeld), aantallen coffeeshops, verhouding coffeeshops per inwoner, grensligging en mogelijk i-criterium toegepast.

Van belang is dat met het onderzoek alleen de collectie gemeenten en diens coffeeshops vergelijkbaar zijn, bekeken op niveau alle interventiegemeenten bij elkaar en alle vergelijkingsgemeenten. Dit is later bij de vragen door kamerleden nog een belangrijk punt.

Meetinstrumenten

Voor een sociaal wetenschappelijk experiment zijn er geen kant-en-klare meetlatten beschikbaar. Dat betekent dat je zelf je instrumenten moet gaan ontwerpen. Er zijn echter met de onderzoekspartijen aan tafel al flink wat (delen van) instrumenten beschikbaar.

In de voorfase zijn daarom vragenlijsten, enquêtes en topiclijsten opgesteld en getoetst. Ook wordt er een focusgroep samengesteld die over langere tijd wordt gevolgd – een groep klanten van coffeeshops die gedurende de periode van het EGC vragenlijsten krijgen.

De vragen vallen onder de volgende categorieën: Teelt, Distributie, Aanbod, Gebruik (Consumptie), Keten, Volksgezondheid, Overlast, Verplaatsingseffecten (waterbed effect, kopen in een andere gemeente) en Niet gedoogde markt (illegale handel). De verschillende stakeholders (betrokken partijen) die in beeld zijn, zijn breed; Gemeente, Telers, Coffeeshop eigenaren, Bewoners en meer partijen krijgen de vragenlijsten.

Een van de overzichten die het meest interessant is, is nog niet beschikbaar. Daarbij is inzichtelijk gemaakt welk instrument met welke onderwerpen op welke groep wordt toegepast. Verder is bekendgemaakt dat bijvoorbeeld nog gebruik gemaakt wordt van ‘cijfermatige systeemkennis’, oftewel gegevens van Politie en Justitie in de twee groepen gemeenten.

Meten is beperkt weten

Er is in de technische briefing nóg een winstwaarschuwing gegeven. Het onderzoek gaat nu kwantitatief en deels kwalitatief in beeld brengen wat de cijfers zijn. Vaak willen beleidsmakers weten waarom de resultaten zo zijn zoals ze zijn.

Deze waaromvraag kan met het huidige onderzoek niet worden bepaald dat vergt een opzet van uitleggende aard (eplanatory). Deze onderzoeksopzet (exploratief van aard) kan alleen constateren dát er verschillen zijn. Daarom wordt er aangevuld door desk research en focusgroepen onder stakeholders, zodat er wel beeld komt over de waarom.

Al met al zal de evaluatiefase belangrijk materiaal opleveren voor de Eerste- en Tweede Kamer, bijvoorbeeld in besluiten rondom de wietwet in de portefeuille van Sneller (D66).

Vragen kamerleden tonen gaten opdrachtgever

Er zijn door alle aanwezige kamerleden, ook na latere instroom, vragen gesteld. Deze worden in volgorde van eerst gestelde vraag behandeld en gebundeld. Zie tabel. Regelmatig heb ik teksten tussen haakjes (zoals dit) waarbij ik de vrijheid heb genomen om beknopt of aanvullend verhelderend iets weer te geven.

VragenstellerGebiedVraagAntwoord
Sneller, D66Experiment ontwerpCohortstudie, wie is van illegaal naar legale markt gegaan, in beeld?Nee, niet zomaar te achterhalen, cohort wordt geworven in coffeeshop. Zit wel een motivatievraag in vragenlijst en aanschafreden.
Sneller, D66VolksgezondheidWorden indicatoren zoals daling alcoholgebruik zoals in internationale resultaten gevonden, ook meegenomen in de onderzoeksresultaten?Ja, beperkt behandeld. Vanuit buitenland meerdere onderwerpen, o.a. minder rijden onder invloed, minder opioïde pijnstillers. Voor dit onderzoek komen enkel drugs, alcohol, pijnstillers terug.
Sneller, D66Experiment uitkomstenWat kun je, 3 maanden na einde de overgangsfase, al concluderen?Enkel gesloten keten is dan echt goed meetbaar, andere effecten op o.a. markt nog niet voldoende zichtbaar op T1.
Sneller, D66Experiment uitkomstenWat kan er in T1 nog meer geconcludeerd worden?Misschien komt er uit de interviews in het perspectief n.a.v. andere metingen nog meer naar voren, nu beperkt.
Sneller, D66Preventie, volksgezondheidVoorlichting, THC, pesticiden van gehele markt gemeten op T1? Grondslag van experiment…Nee, op T0 (2021) en T3 (verw. 2024) worden enkel THC en CBD gemeten, schadelijke stoffen waaronder pesticiden, schimmels en zware metalen niet. Voor interventiegemeenten ook niet (die leunen op de laboratorium rapportage).
Sneller, D66.. vervolgDoel van keten opzetten, juist Trimbos meldde in onderzoeken vervuilde producten (pesticiden), waarom zit dat niet in het onderzoek ontwerp?Het valt buiten de scope van het project zoals de opdrachtgever (overheid) het heeft gesteld.
Sneller, D66.. vervolgIs dat nog te repareren met een aanvullende T0 (in 2022)?Ja, mits de opdrachtgever dat stelt, in samenspraak met de begeleidingscommissie.
Sneller, D66T0 rapportageWanneer wordt de T0 rapportage geleverd?Nog in overleg – zo snel mogelijk wordt er gedeeld of dit voortijdig en wanneer dit gedeeld kan worden.
Ellemeet, GroenLinksAlgemeenIs er een beeld van de verwachtingen van consumenten, gemeenten?Dit wordt uitgevraagd bij interviews en het is nog te vroeg om daar uitspraken over te doen (mede om resultaten niet te beïnvloeden!)
Ellemeet, GroenLinksHergebruik externe onderzoekenKunnen jullie gebruik maken van experimenten vanuit het buitenland en wat zijn de bevindingen?Ontwikkelingen zijn bekend van CA, US, Uruguay. Dat wordt ook verwerkt in de rapportage. Echter zijn er duidelijke contextuele verschillen (er is al gedoogde verkoop in NL) met als gevolg dat sommige onderwerpen anders gewaardeerd worden, bijvoorbeeld ‘normalisering’.
Ellemeet, GroenLinksVoorbeelden onderzoeken(Kunt u wat voorbeelden noemen van resultaten van die onderzoeken?) Ik heb geen flauw idee van die onderzoeken.Bijvoorbeeld dat een illegale markt nog steeds bestaat na invoering legale cannabishandel. Prijsontwikkelingen (lager) door grootschalige productie. Grootte van assortiment, verschijningsvormen, o.a. edibles. Aantal consumenten met dagelijks gebruik. Incidenten met vormen die aantrekkelijk zijn voor kinderen – overigens zijn deze (edibles) productvormen die niet in het experiment aan de orde zijn.
Ellemeet, GroenLinksHergebruik externe onderzoekenConcluderend, kan dus niet vergeleken worden, toepasbaarheid van diens resultaten is laag voor Nederland?Infrastructuur in Nederland voor de markt is heel anders, dus de markt daardoor ook.
Van Nispen, SPResultaten(Zijn er resultaten te verwachten die verder reiken dan experimentopzet?)Beleidsveronderstellingen zijn het uitgangspunt en die worden gerelateerd aan de ontwikkelingen in gemeenten. Als er ontwikkelingen zijn die vooraf niet in beeld waren, meenemen. Zoals onbeoogde effecten, zowel positief als negatief.
Sneller, D66Productvormen, illegale marktProductvormen zoals deze genoemd worden zijn geen deel van het experiment maar zouden zeker op de illegale markt kunnen zijn. Op welke wijze wordt zo’n onbeoogd effect meegenomen?Niet in de onderzoek opzet, maar kan wel terugkomen in het evaluatierapport. Ontwikkelingen die over het hoofd gezien zijn, worden zal verslag over gelegd worden.

Uit verslag zal dan ook niet komen: verandering X wordt voorgesteld. Enkel de data en aanbevelingen.

Van Nispen, SPOvergangsfaseWelke impact op onderzoeksopzet wanneer 6 weken overgangsfase te kort blijkt te zijn? (Voor de consument om te wennen aan nieuwe situatie)De onderzoekers hebben ‘geen mening’, de duur van de overgangsfase is een gegeven. Wanneer de overgangsfase werkelijk invloed heeft op het geheel, volgt dat uit de metingen. Dan zie je een verschil tussen de eerste en latere metingen. Maar na 3 maanden effecten verwachten is zeer onwaarschijnlijk, blijkt uit internationale onderzoeken.
Van Nispen, SPResultatenResultaten enkel over de onderzoeksgroepen gerapporteerd. Worden er wel individuele highlights benoemd, bijvoorbeeld handelen driehoek en successen?(Enkel wanneer dit expliciet naar voren komt) zal dit in de rapportage verschijnen. In het rapport zal niet staan “Gemeente Almere doet X”. Wel zijn enkele onderzoek kenmerken en mogelijke effecten te benoemen zoals de invloed van een i-criterium op een variabele, wanneer dit is geconstateerd (waarschijnlijk wanneer significant of bijna significant). Ook kan daarbij gedacht worden aan factoren als het zijn van een grensgemeente in relatie tot coffeeshoptoerisme.
Mutluer, PvdADeelexperimentKun je beginnen met een experiment in het experiment? Graag technisch antwoord, niet politiekNee; de groep gemeenten is zo samengesteld dat dit niet kan zonder fikse berekeningen, wegingsfactoren. Dat zou technisch kunnen, maar zou misgaan op de basismeting, de T0 die al heeft plaatsgevonden. Daarin is dat ontwerpelement niet meegenomen.
Michon-Derkzen, VVDi-criterium, straathandel, waterbedeffect(Wanneer er niet in detail per gemeente gerapporteerd wordt, hoe zie je dan de effecten van bijvoorbeeld i-criterium op criminaliteit en leefbaarheid?)i-criterium, straathandel wordt duidelijk via de interviews en beleidsveronderstellingen per gemeente bij verzameling. Op den duur kun je voldoende gegevens krijgen die iets aangeven over invloed i-criterium op bijvoorbeeld straathandel. Je kunt niet zien in wélke gemeente dat dan speelt. Echter zijn wijzigingen bij gemeenten ook nog denkbaar, vandaar deze opzet.

 

Na deze vragen en antwoordenronde sluit Dhr. van Nispen de technische briefing.

Opmerkingen

Deze opmerkingen zijn naar aanleiding van mijn directe notities tijdens het afspelen van de technische briefing gisterenavond.

1-meting nu al niet haalbaar?

Sleutel tot de tijdlijn blijkt de overgangsfase te zijn. Zo is een eerste knelpunt is inzichtelijk geworden tijdens deze sessie. De 1-meting is gepland om na tenminste 3 maanden na de overgangsfase in het experiment uitgevoerd te worden. Voor zoveel mogelijk neutraliteit wil men hetzelfde moment in het jaar (de herfstmaanden) gebruiken als de 0-meting.

De minister heeft in het laatste update aangegeven dat gestreefd wordt naar het tweede kwartaal van 2023 (eerste rode driehoekje in figuur) om te gaan leveren in het EGC. Wanneer het derde kwartaal de 1-meting moet gaan plaats vinden en 3 maanden vooraf al de markt ingeregeld moet zijn, betekent dat dat de overgangsfase feitelijk midden februari (grijs) al gestart moet zijn bij aanvang 1-meting op 1 juli 2023 (tweede rode driehoekje).

Een tijdlijn van 2023 met ingetekend het gewenste moment van start overgangsfase medio februari om de 1-meting te halen en verwachte moment van starten EGC overgangsfase die in de knel komen.
Een tijdlijn van 2023 met ingetekend het gewenste moment van start overgangsfase medio februari (grijs) om de 1-meting te halen en verwachte moment van starten EGC overgangsfase (linker rode driehoek) die in de knel komen met start 1-meting (rechter rode driehoek).

Dit is nog een beetje met een slag om de arm – de presentatie is nog niet gedeeld, maar zal spoedig beschikbaar zijn. Deze stukken zijn dan ook naar aanleiding van de videobeelden zoals gelinked via Debatgemist. Wanneer de presentatie gedeeld wordt zal dit artikel worden bijgewerkt.

Ongekende misser: productkwaliteit

Ik wist niet wat me overkwam toen Sneller de vraag stelde waarom nota bene het Trimbos-instituut niet bedongen heeft om de kwaliteit van de producten tijdens het experiment uitgebreider te meten. Een van de peilers onder het experiment is namelijk de volksgezondheid. Een minimale eis die ik zou verwachten van én de opdrachtgever én de onderzoeker om de gedoogmarkt met de legale experiment markt op veiligheid en kwaliteit te meten.

De kwaliteit wordt voor nu dan uitgedrukt in het gehalte THC en CBD. En dat is het dan. Vervolgens is nog onduidelijk of het dan gaat om een vergelijkbaar product (bijv. White Wido), en of het dan landelijk gemeten wordt via bijvoorbeeld het onderzoek van de drugmonitor of gericht in een vergelijkingsgemeente. Het vermoeden is dat tenminste alle cannabis en productverschijningen op een hoop gegooid worden.

Er is tijdens de technische briefing gesproken over een ‘Tweede T-0’ meting – het is zeer verstandig om met de ‘opdrachtgever’ nog eens aan tafel te gaan. Dat lijkt me verstandig. Zorg er dan ook voor dat consumentenveiligheid en productveiligheid expliciet nog eens uitgekauwd worden; misschien hoeft niet eens alles voor een tweede T-0 meting gedaan te worden; productkwaliteit kan echter nog prima herzien worden en voor algemene monitoring in de toekomst gelden voor verdere rapportage door het Trimbos-instituut.

Stabiliseren marktvraag en -aanbod

Het meetmoment T1 wil al iets ophalen uit de markt. Dhr. van Nispen meldde de overgangsperiode en het vermoeden dat geuit wordt dat klanten de periode van 6 weken te kort vinden. Uitgaande van 6 weken + 3 maanden om dan T=1 te meten, kun je ervan uitgaan dat naast de gewenning van de consumenten kant er nog meer speelt.

Mijn vermoeden is dat assortimenten ook nog niet stabiel zijn vanwege de marktwerking. Het uitfaseren van oude producten zal wel afgerond zijn. Echter vermoed ik dat er bij diverse coffeeshops een andere menukaart standaard wordt – als die al stabiel wordt. Ook dat heeft weer te maken met inkoop, afspraken, klantreacties etc.

Gelukkig is ook genoemd dat assortiment, menukaart meegenomen wordt als variabele in de metingen. Dan nog is het heel goed mogelijk dat het voor elke coffeeshop anders wordt dan voorheen; misschien gaan partijen ook hun winkelconcept herzien – dat zal ook effecten hebben op de resultaten.

Factoren inzichtelijk enkel wanneer er data is

De VVD noemde naar verwachting veiligheid en factoren zoals i-criterium en de effecten daarvan op straathandel en leefbaarheid. De belangrijke opmerking die ik wil maken hierover komt uit de kern van Data Science.

Enkel wanneer je voldoende data hebt en het signaal voldoende kan herkennen uit de data, kun je spreken van een effect en de mogelijke bijdrage kwantificeren. Een klassiek voorbeeld is het voorspellen van factoren op de beurs voor beleggers; welke macro-economische variabelen hebben in meer of mindere mate een direct of omgekeerd evenredig effect op de waarde van aandelen?

Daarvoor gebruik je de alpha (intrinsieke bijdrage van aandeel zelf voor waardegroei), de beta (mate van volatiliteit, risico in de markt) en enkelvoudige of samengestelde factoren. Een voorbeeld van een macro economische factor is de rente op staatsleningen of een werkeloosheidsfactor.

Wanneer er onvoldoende data is, of deze helemaal niet gemeten wordt, zullen resultaten in het evaluatierapport er ook magerder uitzien voor mogelijke factoren die flink van invloed kunnen zijn. Aan de andere kant – de partijen die nu het onderzoek vormgeven hebben al ruime ervaring. Laten we hopen dat dat voldoende dekkend is om de mogelijke verstoring door ‘bias’, vooringenomenheid, weg te nemen.

Afsluiting – voldoende vertrouwen

Al met al heb ik voldoende vertrouwen in de bekwaamheid van het onderzoeksteam. Zij hebben eerder al bekende resultaten opgeleverd en zijn daarmee ingevoerd in het onderwerp.

Al met al heb ik voldoende vertrouwen in de bekwaamheid van het onderzoeksteam

Waar ik me meer zorgen over maak is de opdrachtgever, de WODC. Diens historie in politisering en inmenging in de verslaglegging is een zorgenpunt. Ik hoop dat de rapportage onafhankelijk gebeurt, door de zes hoogleraren samen met de onderzoekers; dit gedeelte van het proces moet extreem transparant zijn en onomstotelijk onderbouwd worden.

Deze ongekleurde bron kan dan het vervolg van de discussie worden voor de verdere uitrol van een legale cannabis industrie voor Nederland. Het zal met de gestelde wetten en toezicht namelijk zeer aannemelijk zijn dat er een gesloten keten mogelijk is. Dat succes zal dan op zichzelf staan; het gaat om de bijvangst en hoe men daar politiek een draai aan geeft.

Het inbedden en inkleden in de huidige wetenschappelijke resultaten uit de hele wereld wordt daarmee ook enorm belangrijk. Denk daarbij aan de verkoopkanalen, consumptiemethoden en natuurlijk cannabis en verkeer – een onderwerp dat Europabreed opgepakt moet worden.

Update 17:15:

Korte aanvulling over exploratief versus uitleggend (explanatory) onderzoek en de opzet nu en aanvulling hoe de ‘waarom’ vraag alsnog ingevuld kan worden.

Verduidelijking rondom kwaliteit, het vermijden van o.a. pesticiden is altijd een reden voor legale markt geweest voor D66. Dank Hester voor het benadrukken.

Toevoeging geleverd door Hester – hierbij de leden van de begeleidingscommissie die toezien:

RolNaam
Voorzitterprof. dr. mr. C.C.J.H. (Catrien) Bijleveld
Lidprof. dr. ir. J.C (Jan) Fransoo
Lidprof. dr. R.A. (Ronald) Knibbe
Lidprof. dr. H. (Dike) van de Mheen
Lidprof. dr. mr. G.P.M.F. (Gerard) Mols
Lidprof. dr. J.N. (Jos) van Ommeren