Veel organisaties zetten vandaag de dag chatbots in met een AI-component. De toepassingen zijn vrijwel eindeloos. Denk aan een webshop die een AI-chatbot inzet om klantvragen te beantwoorden over levertijden en retourzendingen. Maar denk ook aan publiekrechtelijke organisaties, zoals gemeenten, die chatbots inzetten om bezoekers van de website wegwijs te maken in het woud aan loketten en formulieren en hen door te verwijzen naar de juiste dienst.
De vraag die daarbij steeds vaker opkomt, is: wat betekent de EU AI Act voor mijn chatbot? En dan specifiek: val ik onder de zwaarste categorie, hoog-risico? Het antwoord is vaak genuanceerder dan men denkt. De meeste chatbots vallen niet automatisch onder hoog-risico, maar ook op dit uitgangspunt zijn uitzonderingen mogelijk. Bovendien brengen ook de lichtere risicocategorieën concrete verplichtingen met zich mee.
Risicocategorieën binnen de AI Act
De AI Act hanteert een risicogebaseerde aanpak. Dat betekent dat niet alle AI-systemen onder dezelfde regels vallen, maar dat de zwaarte van de verplichtingen afhangt van het potentiële risico voor mensen en de samenleving. Er zijn vier categorieën: verboden AI (onaanvaardbaar risico), hoog-risico AI, beperkt-risico AI en minimaal-risico AI. Hoe hoger het risico, hoe strenger de eisen. Dit systeem heeft als voordeel dat innovatie niet onnodig wordt belemmerd, maar het vereist wel dat iedere aanbieder en gebruiksverantwoordelijke zelf een weloverwogen classificatie maakt.
Wat is verboden onder de AI Act?
Voordat we bij hoog-risico aankomen, is het goed om kort stil te staan bij de categorie die volledig verboden is. Denk aan AI-systemen die mensen stiekem manipuleren of misleiden, kwetsbare groepen uitbuiten of aan social scoring doen. Ook realtime biometrische identificatie in openbare ruimtes voor rechtshandhaving valt in principe onder dit verbod. Deze verboden gelden al sinds 2 februari 2025.
Op het eerste gezicht lijkt het onwaarschijnlijk dat een chatbot hieronder valt, maar uitgesloten is het niet. Een chatbot die systematisch aanstuurt op impulsaankopen bij financieel kwetsbare gebruikers, of die emotionele afhankelijkheid creëert zonder enige vorm van menselijk toezicht, kan richting deze grens schuiven.
Wanneer is een chatbot hoog-risico?
De categorie hoog-risico is de meest besproken en de meest gevreesde. Hoog-risico AI-systemen zijn systemen die aanzienlijke impact kunnen hebben op de gezondheid, veiligheid of grondrechten van mensen. De AI Act wijst in Bijlage III specifieke toepassingsgebieden aan die in beginsel als hoog-risico worden beschouwd, tenzij het systeem geen significante risico’s voor mensen oplevert. Die gebieden omvatten biometrie, kritieke infrastructuur, onderwijs, arbeidsmarkt, essentiële diensten zoals kredietverlening en sociale uitkeringen, rechtshandhaving, migratie en rechtsbedeling.
De meeste chatbots hebben een beperkt risico
In de praktijk zijn de meeste chatbots echter niet hoog-risico. Een klantenservicechatbot op een webshop of een FAQ-bot op een gemeentelijke website valt doorgaans onder de categorie beperkt risico. Dat klinkt geruststellend, maar beperkt risico betekent niet dat er geen verplichtingen gelden.
De AI Act legt namelijk ook aan deze systemen specifieke transparantieverplichtingen op. Gebruikers moeten bijvoorbeeld altijd weten wanneer zij met een AI-systeem communiceren en dus niet met een mens.
Transparantieverplichtingen voor AI-chatbots
Ook als een chatbot niet hoog-risico is, gelden er dus verplichtingen. De belangrijkste is de transparantieplicht uit artikel 50 van de AI Act: een gebruiker moet weten dat hij of zij met een AI-systeem communiceert. Die informatie moet ook uiterlijk bij het eerste contact worden verstrekt (dus vóór of bij de start van het gesprek). Een melding halverwege het gesprek, of verstopt in algemene voorwaarden, is onvoldoende.
In de praktijk ligt de lat meestal niet bijzonder hoog. Een zin als “U spreekt nu met een AI-assistent” of een duidelijk label in de chatinterface is in de meeste gevallen voldoende. Er geldt wel een uitzondering wanneer het voor de betrokken persoon evident is dat hij niet met een mens communiceert. Die uitzondering is in de praktijk echter beperkt. Wie twijfelt, doet er verstandig aan de melding gewoon te tonen.
Extra aandacht is nodig wanneer de chatbot wordt ingezet op een platform dat ook kinderen of andere kwetsbare personen bereikt. Artikel 50 lid 5 vereist dat de informatie voldoet aan de toepasselijke toegankelijkheidseisen. Een melding die voor een gemiddelde volwassene voldoende duidelijk is, kan voor een kind tekortschieten.
Hoe moet je een risicoclassificatie uitvoeren?
Een cruciaal inzicht is dat de kwalificatie niet afhangt van het type systeem in abstracto, maar van het beoogde doel en de concrete context waarin het systeem wordt ingezet. De AI Act koppelt de hoog-risicoclassificatie nadrukkelijk aan de toepassing en niet aan de onderliggende techniek. Een generieke chatbot die informatie opzoekt, is dus iets heel anders dan een chatbot die op basis van die informatie beslissingen ondersteunt die grote invloed kunnen hebben op iemands leven, ook als beide technisch op hetzelfde model draaien.
De wetgever heeft dit expliciet onderkend en legt de verantwoordelijkheid primair bij de aanbieder. Een aanbieder die van mening is dat een systeem niet als hoog-risico kwalificeert, moet die beoordeling documenteren voordat het systeem op de markt wordt gebracht of in gebruik wordt genomen. Die beoordeling is geen formaliteit, maar moet aantoonbaar zijn gebaseerd op een analyse van het beoogde gebruik, de doelgroep en de verwachte impact.
Bovendien is de classificatie geen eenmalig oordeel. Een chatbot die vandaag als beperkt risico kwalificeert, kan morgen door nieuwe functionaliteiten of een gewijzigd toepassingsgebied alsnog in een andere categorie vallen. De classificatie vraagt daarom om periodieke heroverweging, zeker wanneer het systeem wordt uitgebreid of in een andere context wordt ingezet.
Verplichtingen bij hoog-risico
Als een chatbot wél als hoog-risico kwalificeert, zijn de verplichtingen aanzienlijk. Zowel aanbieders, de partij die het systeem ontwikkelt of op de markt brengt, als gebruiksverantwoordelijken, de organisatie die het systeem inzet, hebben verplichtingen. Die omvatten onder meer:
• Het opzetten van een uitgebreid risicobeheersysteem;
• Het bijhouden van technische documentatie waaruit blijkt dat het systeem aan de eisen voldoet;
• Het inbouwen van menselijk toezicht om risico’s te voorkomen of te beperken;
• Registratie van het systeem in de centrale EU-database voor hoog-risico AI-systemen;
• Het melden van incidenten, monitoren van prestaties en periodiek rapporteren na marktintroductie.
Voor sommige hoog-risicocategorieën volstaat een interne beoordeling, maar voor andere is een onafhankelijke conformiteitsbeoordelingsinstantie vereist. De EU-conformiteitsverklaring moet minimaal tien jaar worden bewaard.
Boetes onder de AI Act
De boetes zijn flink. Voor het gebruik van verboden AI geldt een maximumboete van €35 miljoen of 7% van de wereldwijde jaaromzet. Voor niet-conforme hoog-risico AI bedraagt dit €15 miljoen of 3% van de jaaromzet. Voor het verstrekken van onjuiste informatie aan toezichthouders geldt een maximum van €7,5 miljoen of 1%. Voor mkb-bedrijven gelden lagere grenzen, waarbij het laagste van beide opties wordt gehanteerd.
Hulp nodig bij AI Act compliance?
Zoals gezegd zullen de meeste chatbots onder de AI Act niet als hoog-risico worden aangemerkt. Dat betekent echter niet dat er geen verplichtingen gelden. Ook voor deze systemen schrijft de AI Act concrete transparantiemaatregelen voor. Anders wordt het wanneer een chatbot wordt ingezet binnen gevoelige domeinen zoals de zorg, financiële dienstverlening, overheid of arbeidsmarkt, en daar een rol speelt bij autonome of zwaarwegende besluitvorming. In dat geval kan wel degelijk sprake zijn van een hoog-risico AI-systeem.
Praktisch betekent dit voor organisaties:
- Inventariseer welke AI-systemen, inclusief chatbots, worden ingezet en voor welk doel.
- Beoordeel per systeem de risicocategorie op basis van functie, sector en impact.
- Documenteer die beoordeling, ook wanneer je concludeert dat het systeem niet hoog-risico is.
- Zorg dat medewerkers die met AI werken aantoonbaar AI-geletterd zijn.
- Implementeer transparantiemeldingen voor chatbots die met eindgebruikers communiceren.
- Controleer periodiek of de classificatie nog klopt, zeker wanneer functionaliteiten worden uitgebreid.
Heb je vragen over de AI Act of wil je weten welke verplichtingen gelden voor jouw chatbot of AI-systeem?
Wij helpen organisaties bij het uitvoeren van risicoclassificaties en de praktische implementatie van de AI Act. Neem gerust contact met ons op.
