383 – Een goedkope AI als efficiënte juridisch stagiaire

Randal Peelen:
[0:43] In deze aflevering hoor je hoe je in 2024 een eigen AI-tool bouwt. En dat dat heel stuk lastiger is dan je denkt. En waarom advocatenkantoren meer goedkope stagiaires kunnen gebruiken. En ik zeg er maar voorbij, deze aflevering is niet opgenomen in de studio. Deze is opgenomen remote, gewoon vanuit huis. Met iemand die op Bali zit, dus het was even niet anders. En daarom klinkt het iets anders dan je gewend bent. Maar ik wens je toch heel veel luisterplezier.

Randal Peelen:
[1:21] Welkom bij Met Nerds om tafel. Mijn naam is Randal Peelen. Ik heb geen Jurian bij me. Weer een weekje zonder. Maar ik heb wel gastnerds. Erwin Lengkeek en Sander Denneman. Jeetje wat een namen. En Erwin is programmeur en ontwikkelaar van DevTools. Sander is podcastmaker. En ik heb met hem de Achmea-podcasts gemaakt. En daar zijn we laatst een update van aan het doen geweest. Ik heb nieuwe voice-overs gemaakt. Dus die gaan binnenkort ook te horen zijn

Randal Peelen:
[1:43] voor iedereen die dat nog niet heeft meegekregen. En ja, toen raakten wij weer aan de praat en had Sander het opeens over een nieuwe start-up. Dus daar gaan we het dit keer over hebben met hem en Erwin. Jullie zijn samen het bedrijf begonnen genaamd Lexboost, een legal research tool die uiteraard, ja, het is 2024, gestoeld is op AI. Hoe kan het ook anders? Anders, Sander, jij kwam hiermee aanzetten. En ik kan me ook herinneren dat ik een aflevering van BNR Zaken doen heb zitten kijken, heel kort. Maar jij kon me een pitch binnen een minuut. Denk je dat je die nog een keer uit de duim kan zagen?

Sander Denneman:
[2:18] Ja, kan ik wel proberen. Kan het misschien nog wel korter? Dan kunnen we daar gewoon lekker doorlullen. Lexboost is eigenlijk een juridische researchmedewerker met AI. En als je de echt commerciële pitch hebt, dan zeg je krachtgraan voor minder dan jouw uurtarief per maand. Want we markten het natuurlijk naar juristen. Maar wat het doet, even kort samengevat, is met generatieve AI doorzoekt het rechtspraak van rechtspraak.nl. Dus al die uitspraken, al die juridische uitspraken van alle rechtbanken, die staan online. En daar akkert die doorheen. En het verschil dan wat je nu hebt, is dat je gewoon echt een vraag kan stellen, zoals je dat gewend bent in ChatGPT. Bijvoorbeeld, nou weet je, mag ik mijn medewerker op staande voet ontslaan? En dan geeft hij ook echt een antwoord, maar dan gebaseerd op daadwerkelijke juridische uitspraken, zodat je weet dat het klopt. Dat is een goede bron. Dat is het in een notendop. En voorheen moest je nog helemaal lijsten met de jurisprudentie klikken. Klopt het? Helemaal doorlezen. Doorakken gekost. Zeeën van tijd. En dit gaat een stukje sneller.

Randal Peelen:
[3:25] Ja, de meeste mensen die een bedrijf beginnen, die zien een probleem en kennen daar een oplossing voor en beginnen dan te kijken, bestaat die oplossing al en kan ik dan misschien beter? Maar als podcastmaker kan ik me niet voorstellen dat jij dagelijks met juridische zaken in aanmerking komt. Hoe kwamen jullie dan tot dit idee?

Sander Denneman:
[3:43] Ja, dat zou je zeggen, maar ik kom dus eigenlijk best wel vaker in contact met advocaat Randal als podcastmaker. Omdat ik voor een paar kantoren ook gewoon een podcast produceer voor een paar advocatenkantoren. Dus dan spreek ik er nog wel eens een. En daar kwam dit idee ook een beetje op. Ik denk, wat is het nou? Misschien inmiddels al een klein jaartje geleden, ongeveer rond deze tijd. Toen was net de chat-GPT-hype aan het landen. In ieder geval in advocatuurland aan het landen. En ook de teleurstelling, omdat ze gingen prompten. En dan gaf die onzin antwoorden. In ieder geval voor juristen. En toen kwam ik een beetje de conclusie... Ja, shit in is shit out. Dus toen... En Erwin en ik kennen elkaar van een ander project... Dat we ooit gedaan hebben. Ik heb een app die Erwin gebouwd had die ik wilde ontwikkelen. Toen ben ik eigenlijk op een gegeven moment naar Erwin gegaan. Toen zei ik, joh, kunnen we niet iets maken dat eigenlijk gewoon een AI-model op betrouwbare juridische bronnen doorspit? Want ik weet dat advocaten dat op zich wel voor openstaan, dus alleen zijn gewoon teleurgesteld. Toen zei Erwin iets in de richting van, geef me twee weken, dan probeer ik wel wat.

Randal Peelen:
[5:04] Famous last words Dat kan of to the moon Of een grote aanfluiting zijn Maar als een programmeur dat zegt Dan weet ik dat er iets gaat gebeuren.

Sander Denneman:
[5:13] En we hebben natuurlijk een prachtige Openbare bron trouwens in Nederland Je hebt gewoon rechtspraak.nl En rechtspraak is openbaar Die mag je gewoon gebruiken als burger En ook als bedrijf, En toen is Erwin aan de slag gegaan Eigenlijk toch Erwin?

Erwin Lengkeek:
[5:30] Ja Ja, het was wat dat betreft hele goede timing, want de groep vrienden die ik hier heb, die waren eigenlijk allemaal aan de gang met AI, die waren al aan de gang met GPT en de APIs die ervoor waren. En ik hoorde heel veel gepraat daarover en leerde ook al flink wat bij van ze. En toen kwam jij inderdaad met, nou kan dit? Toen dacht ik nou, zo'n beetje inschat wat andere mensen om me heen aan het bouwen zijn, dan moet dat zeker weten kunnen. De twee weken was ambitieus, moet ik erbij zeggen. Nou volgens mij lukte het toch best wel. Misschien twee, misschien drie weken, ik weet niet precies meer wat het was. Maar we kwamen er vrij snel achter dat het zeker potentie had.

Sander Denneman:
[6:18] Hebben we er iets van, wat was het, volgens mij honderd uitspraken ingegooid of laten er duizend zijn ofzo? Ik weet niet, niet extreem veel, maar gewoon om eens even te testen.

Erwin Lengkeek:
[6:26] Ja, de eerste maand was het geloof ik toch, de laatste maand aan uitspraken, ja.

Sander Denneman:
[6:32] En toen ging ik een beetje prompten. Wat ik op zich ook nog wel een beetje kan juridisch, omdat ik ook ooit way back, mijn carrière voordat ik podcastmaker was. Ik heb recht gestudeerd. Ik ben ooit gestart op de Zuidas bij een advocatenkantoor. Dus ik dacht, ik heb natuurlijk nog wel enige juridische kennis. Dus ik ga gewoon even wat prompten. En als er wat zinnigs uitkomt, dan kunnen we er denk ik wel mee de boer op.

Randal Peelen:
[7:00] Ik vind het ook grappig dat ik steeds meer over jou leer. Jouw liefde voor Back to the Future was op een gegeven moment nieuw voor mij. En we hebben natuurlijk samen al een keer eerder een Nerds om tafel gemaakt. Dat was aflevering 362 over thuis pubquizzen. Dus ja, je bent wel een hyperactief figuur dat een keer in de zoveel tijd iets nieuws wil. Of ben ik dan iets te kort door de bocht?

Sander Denneman:
[7:22] Nee, nee, nee, nee. Ik hou gewoon van ondernemen, denk ik. Of gewoon nieuwe dingen verzinnen. Ondernemen is misschien soms een groot woord. Maar ik vind gewoon heel veel dingen best wel leuk. Maar de keerzijde daarvan is misschien ook wel dat ik dat dingen ook... Ja, weet je, dat je snel doorgaat. Dat je snel een nieuwe uitdaging wil hebben. Maar ik denk dat mijn turnover altijd ongeveer vijf jaar is, zeg maar, om iets nieuws te starten. Dus dat is denk ik precies lang genoeg. En ik herinner me ook wel, vroeger kreeg ik ook wel van mijn vader dan te horen iets van, ja, je moet niet halverwege de wedstrijd stoppen, weet je, van dat soort wijsheden. Maar ik denk altijd, je hebt ook mensen die niet eens beginnen.

Randal Peelen:
[8:05] Ja, en je hebt ook zo'n Silicon Valley wijsheid die zegt, fail fast and fail often, weet je wel. Je moet er ook snel genoeg achter kunnen komen dat iets het niet is. Ja, dat kun je ook alleen maar ontdekken als je het eerst hebt geprobeerd. Maar kun je me iets vertellen over hoe de geschiedenis is geweest? Ik ben namelijk van opleiding dan weer IT'er en dat is voor mij echt wel lang geleden. Dan hebben we het over twintig jaar terug of zo. En ik heb toen ook heel lang computers beheerd voor een advocatenbedrijf in Zutphen. Dat was best wel gaaf, maar dan moest ik één keer in de zoveel tijd CD-rommetjes van Walter Kluwer meenemen naar de server die op zolder stond en dan moest ik die jurisprudentie inladen. Ik weet dat woord nog heel goed, omdat ik dat heel vaak in heb moeten typen en aan heb moeten klikken. Op dat moment, als naïef nerdje van 18, geen idee wat dat betekent en wat je eraan hebt. Maar ik weet wel dat als ik daar een beetje in ging bladeren, ik heel veel lange teksten tegenkwam en ik daar een broertje dood aan heb. Maar volgens mij is het in de basis nog steeds wel zo saai als dat. Als jij advocaat bent en je denkt, goh, wat heeft een rechter hier eerder ook een keer over gezegd?

Randal Peelen:
[9:13] Je toch op sleutelwoorden gaat zoeken en lange teksten moet gaan lezen. Misschien wel even de samenvatting, maar daarna toch moet spitten. En dat huiswerk best altijd rovend kan zijn.

Randal Peelen:
[9:25] Alleen nu doe je dat dan met uitspraken.nl en heb je gratis toegang en onbeperkte tekst voor je neus. Misschien is de drempel wat lager, maar in essentie is dat huiswerk natuurlijk ongewijzigd.

Sander Denneman:
[9:37] Ja, dat is denk ik zo. En dat zal er ook altijd blijven, want er blijven gewoon nieuwe uitspraken bij komen die je wel of niet moet kennen. Maar ik denk dus dat het grote verschil is dat hoe het in de praktijk werkt veel, is dat je wat meer senior advocaten hebben, die dat ook allemaal gedaan hebben toen ze jong waren. En die eigenlijk opdrachten geven aan of researchmedewerkers of junioren van ik wil dit weten, zoek het uit. En die gaan het allemaal doorspitten. En die schrijven dan een memo of een e-mail ligt aan hoeveel ze moeten uitzoeken. Met dat soort samenvattingen en dan antwoord op de vraag die gesteld wordt. En ik denk eigenlijk dat dat precies is wat Lexboost doet, namelijk dat werk. Dat een beetje toch repeterend werk of doorspitwerk. Dus dat wordt overgenomen. En uiteindelijk zal denk ik echt nog wel... In ieder geval de meeste advocaten die ermee werken... in ieder geval de advocaten die er nu mee werken... die gaan stiekem echt nog wel... als ze dat antwoord krijgen... Checken of die uitspraak klopt. Die krijgen een antwoord. De Lekboest verwijst terug naar rechtspraak.nl... naar de oorspronkelijke bron. En die duiken daar echt wel nog even in... van klopt het en is het zo? Maar dat is eigenlijk best wel vergelijkbaar... met hoe het vroeger was. Want dan gaf ik, toen ik op de Zuidas was, een of ander memo aan de partner. Die ging dat dan doorlezen. Die zei dan dank je wel. Maar die ging echt nog wel even vervolgens inderdaad even checken van klopt het 100%?

Sander Denneman:
[11:06] Maar in de basis is het dat. Het enige verschil is dat het nu in een kwestie

Sander Denneman:
[11:10] van seconden, nog een paar keer doorprompten, laat het minuten zijn, realistisch gezien. Versus dat het soms misschien een hele ochtend duurt.

Randal Peelen:
[11:18] En hoe verhoudt zich dat tot de hele saaie wet? Want rechters die interpreteren de wet en die zeggen daar wat van. Ik kan me ook voorstellen dat er een uitspraak is en vervolgens zie je toch in de nuance dat de casus wel iets anders was dan wat jij nu aan het behandelen bent. Dus dan begin je al na te denken van hoe kansrijk is het. Dat is dan in dat geval echt nog wel een mensenwerk of een stagiair dat nou voor je voorkoudt of dat een large language model dat doet. Maar ik kan me voorstellen dat je zelf die wet kennen en daar aan de hand van zo'n uitspraak interpreteren. Maar dan ook wel snappen... nou, elke casus is uniek... en hoe sta ik ervoor? Ja, ik denk dat een large language model... vooralsnog... gewoon een wat snellere stagiaire is. Maar ook dan... Ik ga altijd dubbel checken wat ChatGPT tegen mij zegt als het gaat om feiten.

Sander Denneman:
[12:08] Ja?

Randal Peelen:
[12:09] Altijd.

Sander Denneman:
[12:10] Ik ook wel over het algemeen hoor. Nee, maar dat is het denk ik nu ook. Maar het is ook maar net wat je prompt, zeg maar. En dat is denk ik het goed leren prompten. Of het nou ChatGPT is of Lexboost. Daar zit wel de magie in, denk ik, van wat de resultaten zijn. Dus je ziet als je...

Sander Denneman:
[12:30] Dit is geen grap, maar je hebt mensen die starten. die gewoon nog heel erg de Google-methode gewend zijn, om het zomaar even te noemen. Die typen gewoon in contractbreuk, enter. Ja, daar kan AI niet zo heel veel mee. Sterker nog, helemaal niks.

Randal Peelen:
[12:42] Daar kan je stagiair ook niet zo veel mee.

Sander Denneman:
[12:44] Nou ja, dat is ook wat ik zeg. Je moet het dus heel erg behandelen, zo'n tool, eigenlijk dus als je je stagiair of je junior, of hoe je het ook wil noemen. Dus je moet hem wel een beetje handvatten meegeven van, nou ja, weet je, dit is de situatie. En ik denk ook wel een beetje gestuurd prompten met waar je naartoe wil. En daar zit wel een naad nog wel enige. Ja, die creativiteit heeft, daar heb je mensen voor.

Randal Peelen:
[13:09] Ja, ja. Oké, Erwin. Even dat prototype van twee weken. Want ik kan niet programmeren. En al helemaal niet zo goed als jij. Maar ik kan me met de ogen dicht wel voorstellen als ik gewoon heel uitspraken.nl leeg scrape. Wat ze vast niet leuk vinden als ik dat doe. Maar bij wijze van spreken. En ik gooi dat gewoon in een large language model. Ja, de kern van die techniek is in feite al jaren geleden ontwikkeld door OpenAI en wat JetGPT allemaal kan. Dus dat ei van Columbus ligt dan toch wel echt in andermans stoel.

Erwin Lengkeek:
[13:47] Aan de ene kant snap ik wat je bedoelt, zeker, ja.

Erwin Lengkeek:
[13:52] Allereerst, rechtspraak heeft een API, dus echt scrapen doe ik het niet. Ze vinden het niet erg. Het mag.

Erwin Lengkeek:
[14:01] Rechtspraak biedt het aan. Als het gaat om die large language models is het in principe inderdaad zo dat alle AI, alle ontwikkelingen die hebben zij gemaakt en daar ben ik blij mee, want een large language model trainen is een extreem kostbare handeling. Dus dat is mooi. Tegelijkertijd, je hebt een context window bij large language models. En hoeveelheid tekens die je kan meegeven en hoeveelheid context. En die context die in de afgelopen twee jaar is wel iets vergroot. De nieuwere modellen kunnen iets meer context aan.

Erwin Lengkeek:
[14:42] Maar over het algemeen kom je echt wel aan het limiet op een gegeven moment. En heel rechtspraak.nl, dan hebben we het over ongeveer 6 à 7 miljard tokens. Tokens, ja. Een context dat een model aan kan in één keer is 128.000. Dus dat betekent dat je niet heel rechtsspraak als context kan meegeven. Je large language model en dan zeggen. Geef me een antwoord.

Randal Peelen:
[15:22] Kun je me helpen? Want volgens mij er staat iets van. Wat is het? 800.000 uitspraken op die site. Iets in die orde grootte. Wat is dan een token? Als ik gewoon een gesprek heb met ChatGPT.

Erwin Lengkeek:
[15:37] Is een klein beetje lastig te definiëren. Maar. Om en aan mij de vier karakters. Dat zijn er in sommige gevallen vijf. Maar ja.

Randal Peelen:
[15:48] Het is niet een bit, een byte of een kilobyte. Het is iets wezenlijk anders.

Erwin Lengkeek:
[15:54] Ja. En dat heeft te maken met hoe met embeddings zo'n large language model werkt. Maar goed, korte de bocht wat wij doen is dus. Dus eerst een zoekactie met de vraag van de gebruiker in de database die we hebben. En onze uitdaging is voornamelijk heel snel een antwoord daaruit krijgen met welke zaken relevant zijn. En die geven we vervolgens door aan AI en zeggen we maak hier iets moois van.

Randal Peelen:
[16:25] Dus je bent in feite al aan het voorkouwen is wat je zegt.

Erwin Lengkeek:
[16:29] Je bent in feite al aan het voorkouwen ja, om maar iets relevanters te zoeken. En dat helpt natuurlijk ook, want hoe minder tokens input een AI model krijgt, hoe sneller die natuurlijk gaat antwoorden. Dus ook voor snelheid is dat best belangrijk.

Randal Peelen:
[16:44] Oké, maar hoe ziet die uitdaging voor jou dan uit? Want jij gaat programmeren, je opent die API van rechtspraak, uitspraken. Je praat tegen de API van OpenAI toch? Je gebruikt wel gewoon de techniek van ChatGPT.

Erwin Lengkeek:
[17:00] Ja, het proces is eigenlijk OpenAI modellen werken met embeddings. Dat zijn matrices, meer dimensionaals. OpenAI gebruikt bijvoorbeeld 1536 dimensies. Dus dat is een matrice en de tekst die zij hebben en wat OpenAI op is getraind dat zijn embeddings en wat wij tekst verwerken van rechtspraak zijn ook embeddings dus wat we eigenlijk doen is de vraag in eenzelfde model gieten als dat OpenAI heeft en dan gaan we vergelijken dus je vergelijkt in principe vergelijk je een, wiskundige versie van de vraag en de wiskundige versie van tekst dat OpenAI heeft.

Randal Peelen:
[17:52] Ik voel me hier met afstand te dom voor, maar ik vind het wel leuk. Dus ik ga gewoon even doorvragen van, oké, hoe pak je dat aan? Heb je een soort van, convertere deze pdf'tjes naar zo'n matrix scriptje? Of hoe werkt dat in de praktijk?

Erwin Lengkeek:
[18:10] Ja, ongeveer. Hoe het in de praktijk werkt is, je kijkt eerst naar het AI-model, welk soort wiskundig model gebruik je, welke embedding gebruik je. OpenAI heeft er eentje, of meerdere tegenwoordig trouwens, een andere model als Cloud AI bijvoorbeeld, of Lama van Facebook, die hebben dus net iets andere modellen. Dus je moet eerst daarna kijken. En dan maak je er een embedding van. En dat kan via de API van OpenAI, die biedt dat aan. Er zijn ook andere... Een manier om dat te doen zonder de API van OpenAI. En als je dat eenmaal hebt, dan kan je dus, gaan zoeken op de data die je in je database hebt, die je op dezelfde manier in een wiskundig model hebt gegoten.

Randal Peelen:
[19:05] Oké, en dan ga je er vanuit dat ik een sukkel ben en in mijn leven een paar programmaatjes C++ en her en der een scriptje PHP heeft geschreven en niet veel meer.

Sander Denneman:
[19:15] Dat is meer dan ik hoor, Ronald.

Randal Peelen:
[19:16] Dank je. Ja, dat is leuk. Maar stel dat ik me hier in vastbijt. Jij zegt twee weken is eigenlijk ambitieus. Maar als ik zeg twee maanden, geef je me dan kans of zeg je van nou, hoef je niet te proberen om een proef of concept achtig ding te maken? Hoe hoog ligt die lat?

Erwin Lengkeek:
[19:36] Ik, als je me twee jaar geleden had gevraagd, had ik gezegd twee maanden, dat zou ambitieus zijn. Ik zou denk ik nu zeggen dat het hier waarschijnlijk niet meer dan twee weken duurt. En dat komt niet omdat het makkelijk is, maar omdat AI ook iets heel anders moois kan. Je kan namelijk ook aan ChatGPT vragen om je een prototype te laten bouwen.

Randal Peelen:
[20:04] Ik heb daar wel echt, trouwens, sorry, dit is een zijtak hoor, ook voor de luisteraar, maar ik heb dit laatst aan Leven en Lijven ervaren. Ik had, er is een bepaalde Slack waar ik op zit, daar spelen weleens weerwolven. En iemand had een pop-up gekregen die zei, joh, wil je gratis een maandje Slack Pro proberen? En die had gezegd, ja, dat wil ik wel. Opeens stond alle historie open en alle potjes weerwolven die we ooit hadden gespeeld online op Slack, waren weer terug te lezen. Nou, wij vinden dat allemaal heel mooi, maar als je dan zegt, maak een export van deze Slack, dan zegt Slack ja, maar je hebt een heleboel daarvan in privékanalen gedaan, dus dat exporteren we niet, want privékanalen zijn geheim.

Randal Peelen:
[20:42] Nou, toen zijn we begonnen met al die kanalen openbaar maken met de hand en op een gegeven moment zei iemand, oh, dan kan ik wel met een scriptje, waren al die kanalen openbaar, ging ik dat exporteren. Had je nog steeds niet alle bijlages. Dus toen heb ik uit de HTML, nee, had ik uit de JSON files, die de export is, eerst HTML getrokken, En daar heb ik gezocht op de string waar alle files gehost zijn. En toen een platte tekstlijst laten maken met alle urls naar al die files. En daar kon ik ook bij. En toen heb ik tegen JetShippity gezegd, maak een shell script voor mij. Dat ik op mijn laptop in kan vullen. En met Wget al die files op gaat halen, één voor één. En het ook nog eens in het mapje zet. Dat hoort bij het weerwolvenpotje. Dat was een soort van pseudocode in een soort van mensentaal. En toen dacht ik wel van, oké, het scriptje dat hier uitkwam werkt, feilloos, deed perfect wat ik deed. Maar ik moest wel zelf nadenken van, maak de map waar het potje bij past. Als die map al bestaat, zet het dan in de bestaande map. En al dat soort dingen zet je er dan bij.

Randal Peelen:
[21:50] Toen had ik zo'n moment in mijn leven dat ik dacht, ja, wat onderscheidt nou de programmeur? Zeg maar, is het het feit dat het mij lukt om concreet dat bash scriptje te schrijven? Nee. Of zou je ook kunnen zeggen dat je in wezen al een programmeur bent als je die logica toch stap voor stap uit je vingers krijgt. En als Chachibiti dan het werkende script voor je schrijft, ja, hoe gênant is dat dan eigenlijk? Dat is precies wat je nu zegt. Het zou me ermee kunnen helpen in dit geval.

Erwin Lengkeek:
[22:16] Het is een vraag waar ik elke dag over nadenk. En eigenlijk om eerlijk te zijn, ook elke dag weer net iets andere antwoorden op heb. De techniek gaat namelijk echt razendsnel en het wordt steeds beter. Wat het onderscheidt? Nou ja, ik denk inderdaad wat je zegt. Logica is zeker weten die factor. En het is het niveau van instap wat je maakt. Dus zoals je zei, je hebt wat kennis met programmeren. Je kan in ieder geval op een logische manier denken wat een programmeur ook kan. dan daarmee stap je sneller in met AI en heeft AI sneller en beter antwoord. Ik denk dat als je geen technische kennis hebt of zou hebben en dit alsnog zou willen doen, dan beschrijf je de situatie zoals jij hem, niet logisch, maar gewoon praktisch ziet. Weet je, ik heb een slagkanaal en dit weet wat ik wil. Dus je stapt eigenlijk op een hoger niveau in en dan vraag je door en kom je waarschijnlijk op hetzelfde uit. Ik denk dat de programmeur van vandaag met AI dingen nog steeds sneller kan dan iemand die daar geen verstand van heeft. Maar je kan alsnog tot het resultaat komen zonder echt technische kennis te hebben.

Randal Peelen:
[23:33] En bovendien, een paar jaar geleden waren we al luie programmeurs, omdat we GitHub hadden en daarvoor was het vanwege Google. Ga ver genoeg terug en alle tools worden beter en het leven wordt makkelijker. Ik vind dat uiteindelijk alleen maar mooi.

Erwin Lengkeek:
[23:46] Ja, zeker zo.

Sander Denneman:
[23:48] Deze analogie kan je natuurlijk ook wel een beetje trekken voor juristen. Gewoon exact wat jij je afvraagt, Rommel, toch? Wat maak je nou uiteindelijk een goede jurist als je zo'n tool gebruikt? Denk toch ook gewoon. Ik denk dat je iedereen een bepaalde logica moet aanleren. En dat leer je misschien aan als IT'er op school en in de praktijk, maar als jurist ook. Maar uiteindelijk is het toch ook wel veel argumentatie leren, retoriek, zeker in het juridische, zeker als je bijvoorbeeld in de procespraktijk zit en echt op zitting. En dan gaat het gewoon om argumenten te verzinnen. En als jij dan bijvoorbeeld kan prompten, joh, ik wil dit en dit standpunt bepleiten, wat gewoon misschien gewoon een argumentatie is die jij hebt verzonnen. Ja, dan kan je gewoon vragen, net als wat jij net doet met een chat GPT voor jouw weerwolven. Dan kan je gewoon zeggen, joh, ik wil dit argument aanvoeren. Geef, werk dit uit of onderbouw dit. Ja, en dan komt Lex Boost in dit geval, net als bij jou, gewoon terug met argument en onderbouwd. Weet je, met de rechtspraak die daarbij hoort. En ja, maakt dat jou dan een beetje filosofische vraag. Maakt dat jou dan een slechtere jurist omdat je niet zelf het handwerk hebt gedaan?

Randal Peelen:
[25:04] Nou ja, en weerleg dit eens. Ga er eens tegen in. Wat zou een rechter kunnen zeggen dat mijn standpunt kapot maakt? Ik denk niet dat dat vandaag feilloos kan, maar dat gaat natuurlijk gebeuren.

Sander Denneman:
[25:17] Nee, die kan het omgekeerd natuurlijk ook doen. En als het verder gewoon klopt binnen de wet en binnen de uitspraken die er zijn. Ja, dan is dat toch gewoon een argument die je kan aanvoeren.

Randal Peelen:
[25:30] Ja, ik word er ook niet nerveus van hoor. Ik heb een post geleden een podcast gemaakt met een accountantskantoor. Dat heet Coney Minds. Daar zitten ook mensen van bij ons op de Slack. Het is trouwens een podcast als iemand zich nog verveelt. Coney Minds podcast, leuk om te horen. Hetzelfde verhaal. Dus heel veel mensen denken, nou, accountants die kunnen wel inpakken. Want over een paar jaar gaat de AI dat natuurlijk doen. Je gooit die hele bak met cijfers die een bedrijf rijk is in een AI. En die vertelt wel of het klopt. Maar goed, laten we er even van uitgaan met de zonnige versie, dat dat heel erg makkelijk is. Je moet eerst nog naar zo'n klant toe. Je moet een heel gesprek hebben over wat willen ze, wat moeten ze. Hé, er komt een duimpje bij mij in beeld. Wat grappig. En ja, die menselijke maat, die ben je voorlopig nog niet kwijt. En als je heel veel cijfers in een vergaarbak gooit, dan wil je wel patronen zien en dan wil je ook vragen kunnen stellen. Daar heb je voorlopig ook een mens voor nodig. Maar zelfs als dat allemaal lukt en zelfs als je gewoon kunt zeggen, dit cijferwerk is allemaal in de haak, daar staat er nog steeds in de wet dat jij registeraccountant moet zijn. We moeten eerst met z'n allen de wet nog updaten. Die wet moet dan op een gegeven moment zeggen, nee, als die en die AI zegt dat die cijfers kloppen, dan is het ook akkoord. Dus dan is eigenlijk een virtueel wezen, dat ook nog eens eigendom is van een bedrijf, staat juridisch opzelfde voet als iemand die daar zes jaar voor gestudeerd heeft. Ik zou dat heel merkwaardig vinden.

Sander Denneman:
[26:58] Ja, maar en sowieso wordt het recht, Of het nou trouwens het financiële recht is waar accountants zich aan moeten houden, wordt toch ook gewoon gevormd door mensen. Namelijk om te beginnen in de Tweede Kamer met politiek debat en dan komt daar iets uit. En de rechtspraak waar wij gebruik van maken, wordt ook uiteindelijk uitgedacht en recht gesproken door mensen die daar, met z'n drieën dan, als het een meervoudige kamer is, die daar een discussie over voeren op basis van de wet en dan een uitspraak komt. En dat verandert ook steeds. Het wordt ook weleens gezegd, ik zou op een gegeven moment zo'n legal AI tool bijvoorbeeld niet gewoon rechters kunnen vervangen. Ja, dat weet ik niet. Uiteindelijk baseert hij zich op historische data. Uitspraken die al gedaan zijn. En als er dan nieuwe situaties zijn, dan kan hij dan zelf daar een nieuw oordeel over vellen. Het is misschien wel lekker dat mensen dat blijven doen, toch? Met z'n allen.

Randal Peelen:
[27:57] Voorlopig wel, ja. Erwin, laten we even verder doorpakken op die techniek, want we hebben nog niet helemaal de grond wat mij betreft. Je zou heel cynisch kunnen zeggen dat wat jullie doen, twee slimme dingen aan elkaar knopen. Dus een grote bak met uitspraken en een kundige implementatie van een large language model. Maar ik heb een vraag van een luisteraar, Egon Willighagen. Hij zegt, zeker in de legal is het nauwkeurig vermelden van je bronnen van groot belang. Vaak tot op zinniveau. Heel nauwkeurig, net als in de wetenschap. En hoe zorg je ervoor dat een large language model weet precies welke regel

Randal Peelen:
[28:38] uit welke wettekst achter een statement zit dat het maakt. Hoe nauwkeurig kun je daarin zijn.

Erwin Lengkeek:
[28:48] Het ligt er heel erg aan wat je prompt en wat je vraagt. Maar in de algemene zin, wij geven ook instructies aan de achterkant mee waar de AI zich aan moet houden. En op het moment dat er casussen terugkomen aan de hand van een vraag die een gebruiker stelt, dan we hebben natuurlijk meer stappen dus er zitten veel meer stappen aan de achterkant en één daarvan is checken of, of er genoeg accurate informatie is om iets met zekerheid te zeggen en als dat niet het geval is, dan vragen we AI ook om daar niet zeker een antwoord op te geven dus dan wordt er gesuggereerd om bijvoorbeeld door te vragen aan de gebruiker, het is natuurlijk niet zo dat we dat we meteen AI de instructie geven wat je nu aan de context krijgt is exact dat, en alles wat er buiten is bestaat niet we geven natuurlijk wel de instructie dat, er informatie kan missen bijvoorbeeld dat we een wetstekst niet extra mee sturen die misschien wel nodig is om een beter antwoord te geven etc. Dus het ligt er ook maar net aan wat voor basis instructies je AI geeft, hoe die daadwerkelijk daarop reageert.

Randal Peelen:
[30:18] Ja, en als ik het goed begreep is er nu nog niet maar misschien in de toekomst wel een large language model dat gewoon alle 800.000 uitspraken in één klap kan doorgronden. Hoe bouw je dan de tussenlaag die je daarin ook gaat zoeken. Is dat dan wel weer op basis van keywords en dergelijke? Of zit er een andere AI tussen?

Erwin Lengkeek:
[30:46] Dus wat ik net uitlegde is dat je stelt een vraag, we kijken in een database we halen wat informatie op en die sturen we door aan AI en die formuleert er een antwoord op dat is uiteraard een simplistische versie, wat een tool zoals ons doet is we doen heel veel calls met AI dus er zit een hele ketting calls die verschillende dingen doen, het checken op. Wordt er gevraagd naar bepaalde dingen, zeg een samenvatting. Of worden er bijvoorbeeld bepaalde wetten genoemd door de gebruiker. Dat halen we vervolgens op. Er zitten heel veel calls tussen. En dus terugkomend op je vraag, is het niet eigenlijk dat er gewoon twee dingen slim aan elkaar gekoppeld zijn?

Erwin Lengkeek:
[31:41] Ja, in bezen is dat inderdaad zo. Maar er zitten natuurlijk heel veel stappen tussen die ook weer bijvoorbeeld heel specifiek zijn voor het Nederlands recht. We filteren daar heel specifiek op en we doen daar heel specifiek op, we prompten er heel specifiek op ertussen. Dus ik maak me geen zorgen dat er dadelijk een large language model is, getraind door zeg open AI, die toegang heeft tot dat alles en dat op zo'n manier kan doen. Hun use case is veel breder en veel algemener en die zullen natuurlijk nooit zo'n niche bouwen dat het beter is dan een specialistisch product als Lexbook.

Sander Denneman:
[32:31] Hij geeft ook soms gewoon geen antwoord. Wat ik super irritant vind. Maar eigenlijk net een jurist is. Want dan zegt hij gewoon. Dat kan ik niet. Gezien wat je nu hebt gegeven. Kan ik daar geen antwoord op geven. Heb ik niet genoeg informatie. Of ik had een voorbeeld van iemand. De bedrijfsjurist. Die ging voor de grap. Op test ging die prompt. Van deze situatie. Hoeveel kans. Heb ik dat ik bij die en die rechtbank met mijn medewerker mag ontslaan om deze reden.

Randal Peelen:
[33:06] Goeie vraag, ja, dat wil je weten.

Sander Denneman:
[33:08] Gaat hij dus echt antwoorden als een jurist? Zegt hij, ja, op basis van gegevens kan ik geen specifieke percentage geven. Maar gezien de uitspraken van deze en deze rechtbank over de afgelopen periode, is het het meest waarschijnlijk dat je in het ongelijk wordt gesteld. Dus dan exact het antwoord wat je zou krijgen, denk ik, als je je advocaat het zou vragen. Die zou ook nooit gaan zeggen, 60%. Dus hij begint dat... Hij snapt dat denk ik wel een beetje. Maar dat ligt een beetje aan wat we aan de achterkant meegeven.

Randal Peelen:
[33:40] En neem maar dan... Oké, dus dit is hoe het in mijn hoofd nu gevormd wordt. Als ik een wetenschappelijk artikel heb... en ik download dat als pdf... En ik gooi dat in ChatGPT en ik zeg... Vat dit samen, dan werkt dat best wel goed. Dan heb ik daarin eigenlijk nog nooit echt... grandioze fouten ontdekt. Want dat is gewoon heel erg top of mind voor die chat-GPT op dat moment. Maar jij zegt, er is maar een x-aantal tokens dat je tegelijk kunt gebruiken. En dus stel ik het me in mijn brein zo voor. Stel dat ik wil nadoen wat jullie doen. En ik heb 800.000 pdf's bij uitspraken.nl gedownload. Stel dat het me lukt en ik heb die pdf's. Die sleep ik allemaal tegelijk in chat-GPT. Die upload die. En dan ga ik daarna vragen stellen. Stel dat dat kon. Ja, dan was ik natuurlijk al een stap op weg om jullie tool te evenaren. Maar dat kan niet, want dat zouden veel te veel tokens zijn. Dus wat ik me voorstel is, wat jij eigenlijk bouwt is... Oké, ik heb al die data en die data is in zekere zin publiek verkrijgbaar. Dus daarin zit niet mijn oneerlijke voordeel ten opzichte van de concurrentie. Als iemand bij uitspraken.nl of rechtspraak.nl of waar dan ook... Denkt, wij gaan ook zo'n tool bouwen. Die data hebben zij ook.

Randal Peelen:
[34:52] Waar jouw eerste magie begint is het bouwen van een trechter die aan de onderkant iets.

Randal Peelen:
[35:03] Oplevert dat klein genoeg is dat die large language model het op kan vreten.

Erwin Lengkeek:
[35:11] Ja.

Randal Peelen:
[35:12] Klopt dat ongeveer?

Erwin Lengkeek:
[35:13] Het is een hele slimme filter met heel veel tussenstappen. Maar ja, klopt. Dat is één aspect ervan. Om daar... Kijk, er zijn heel veel manieren om een unfair advantage zoals je zei te hebben in een start-up en ik denk dat het niet alleen in technische zin kan je die hebben natuurlijk dat kan ook zijn met, hoe fijn de interface is voor advocaten bijvoorbeeld is het simpel of is het in het Nederlands of, maar een fair advantage kan ook zijn in distributie bijvoorbeeld, kan je überhaupt klanten bereiken? Ja, ik denk dat het, als je een bedrijf bouwt, moet je natuurlijk ten alle tijden al die facetten bekijken en daar op elk vlak proberen om daar een unfair advantage bij te hebben.

Randal Peelen:
[36:14] Maar goed, dat was mijn vraag nog niet. Ik zit meer van, hoe bouw je die trechter? En hoeveel sens maakt het om het te vergelijken met een trechter? Want ik snap nog steeds niet precies hoe jouw verhaal ging. Jij zegt, je kunt niet in één klap al die pdf's erin gooien dus je moet wel, call op call op call ik zie dat als een soort rechter.

Erwin Lengkeek:
[36:38] Ja, als je er iets dieper in wil duiken, zijn het eigenlijk twee trechters. Dus we doen eerst een stuk verfijning op de vraag om beter iets uit onze database te kunnen halen. Daar zijn een paar stappen voor nodig. Dan hebben we het eenmaal uit de database en dan doen we een aantal stappen om richting OpenAI om een beter antwoord te krijgen met de context die we hebben gegeven uit de database. Dus ik zou het niet, het is niet per se eentrechter, het is AI, tussen ons systeem en vervolgens ook weer AI tussen AI zelf, het is een hele ketting AI ik zou niet zeggen dat het een tweedimensionale filter naar beneden toe is per se.

Randal Peelen:
[37:26] Maar heb je zelf die bak met uitspraken dan liggen of bevraag je dat ook live op het moment dat je erom verlegen zit?

Erwin Lengkeek:
[37:35] Die hebben we liggen, ja.

Randal Peelen:
[37:37] Ah, die heb je liggen, ja. Want eigenlijk als je dat niet doet en je praat tegen de API aan, ben je onder water toch nog weer met keywords bezig, stel ik me voor.

Erwin Lengkeek:
[37:47] Ja, de API zelf van de rechtspraak, die accepteert geen keywords überhaupt. Die accepteert een aantal filters, zoals datum bijvoorbeeld of rechtstype.

Randal Peelen:
[38:01] Ja, ingewikkeld. Oké, en Sander, maak jij je er wel zorgen over? We hebben een luisteraar, Mos Redna, die zegt... hoe groot schat je de kans dat Rechtspraak.nl zelf komt met zo'n tool... of dat er een update of een nieuw AI-model komt... waardoor dit product eigenlijk niet meer relevant is?

Sander Denneman:
[38:15] Ja, dat laatste weet ik niet. Dat kan natuurlijk altijd gebeuren. Of er een nieuw model komt waardoor het niet meer relevant is. Of ik me daar zorgen over maak... Nou, niet per se eigenlijk, omdat je, omdat ook wat wel blijkt. Kijk, er zijn natuurlijk gewoon ook andere partijen die dit proberen, maar die krijgen het niet altijd voor elkaar. Dus ergens gebeurt er iets met, waar ik ook zeker geen verstand van heb, met wat Erwin programmeert, waardoor het er bij ons ook gewoon echt relevante resultaten uitkomen. Dus dat dat 1, 2, 3 gekopieerd wordt, daar ben ik niet zo bang voor. Ook als ik kijk wat er om me heen gebeurt. Tegelijkertijd zien we natuurlijk wel dat je begint bij een openbare bak data. En dat we natuurlijk ook bezig zijn met kijken hoe kan je die data verrijken. Waardoor die data die jij hebt unieker wordt. En dat gewoon simpelweg niet gebruikt kan worden door anderen. En dat doen we bijvoorbeeld door... Wanneer komt dit uit? Woensdag.

Randal Peelen:
[39:17] Woensdagmiddag om vier uur.

Sander Denneman:
[39:18] Kan ik er nog net niks over zeggen. Maar kondig morgen dan in dit geval een samenwerking aan met een andere partij die ook uitspraken doet. Want niet alleen rechters doen uitspraken, een grote partij. Die zeggen van oké, wij doen onze uitspraken exclusief bij jullie erin. En dan wordt het natuurlijk... Ja, dan heeft het wat minder te maken met de technische kant. Maar meer met gewoon wat commercieel de handige kant is. En hoe je afspraken kan maken met partijen die unieke bronnen hebben. Hebben en die bronnen ook... bij jou willen stallen en niet bij anderen.

Randal Peelen:
[39:53] Hoe ver ben je zelf al gegaan in het spelen... met dit soort tools? Of je eigen tool?

Sander Denneman:
[39:59] Veel. Ik vraag hem bijvoorbeeld ook. Nee, heel veel. Ik prompt juridische dingen... die ik zelf heb, die we allemaal wel hebben... Prompt ik gewoon daarin. Omdat je dan snel antwoord krijgt. Maar ik vind het ook leuk om een beetje... onzin te doen. Dus ik heb hem bijvoorbeeld ook gaan prompten... Of hij me een recept kan geven voor een goede zomercocktail. En of dat hij me tips kan geven hoe ik mijn kind die niet naar bed wil, in bed wil liggen. En dat is best wel geestig. Want wat hij dan anders doet is, pakt hij die context en gaat hij putten uit uitspraken waar dat komt. En dan krijg je bijvoorbeeld hier, bij dat laatste voorbeeld, krijg ik gewoon antwoord. Dat je een routine moet doen en zo. Dat werkt. Ik dacht, dit verzint hij zelf. Hallucineert hij zelf. Maar wat er dan blijkt is dat er gewoon een uitspraak is van een rechter over een uithuisplaatsingszaak. Waarin een expert ook commentaar geeft in die uitspraak over hoe je structuur moet bieden aan je kinderen. Dus geeft hij aan een niet juridische vraag. Het is niet echt de use case die we bedoelen. Maar geeft hij dus wel antwoord op basis van juridische uitspraken. Wat ik dus best wel geestig vind. Dus hoever ga ik down the rabbit hole met mijn eigen tool. Best wel ver.

Randal Peelen:
[41:15] Ja, want jij kwam ook met een verhaal waarin een rechter, Chetji Piti, had gebruikt, zelf in een uitspraak, toch?

Sander Denneman:
[41:23] Ja, klopt. Ik denk daar stond, dat is denk ik maand of begin van de zomer, een beetje de hele rechtspraak voor juridisch Nederland op zijn kop. Want er was een rechter en wat die gedaan had was, het was een zaak over, ik weet niet meer exact wat het probleem was, maar het ging over de levensduur van zonnepanelen. Moest hij weten hoe lang dat was. Dus die was naar Chad GPT gegaan. En die zei gewoon, ja, als ik zonnepanelen heb, wat is dan de levensduur van? En dan kwam Chad GPT keurig met een antwoord. Dat is het, 20 jaar of zo, zoiets. Dat is ongeveer de levensduur. Wat hij gedaan had, was in zijn vonnis, dus in zijn uitspraak, als bron aangehaald. Hij had gezegd, nou, we gaan zussen zo besluiten in deze zaak. Want de levensduur van zonnepanelen is 20 jaar, zegt Chad GPT. En dan is natuurlijk de wereld te klein in die juridische wereld want ja.

Randal Peelen:
[42:20] Het staat even los van het feit of dat correct is nee.

Sander Denneman:
[42:23] Wat ik er wel grappig aan vind is dat je heel juridisch linkt in en ook trouwens commentaar in kranten enzo stonden helemaal vol van belachelijk en dit kan niet, tegelijkertijd denk ik ik vond ergens iets aandoenlijks hebben hebben. Omdat ik zo'n beetje zo, ik weet niet waarom, maar ik heb het niet gecheckt, maar ik zie gewoon een rechter iets wat op leeftijd, die probeert een nieuwe techniek, die krijgt een antwoord, wat denk ik in zijn hoofd ook best zinnig klinkt, maar hij is eigenlijk gewoon vergeten te prompten, waar baseer je dit op, of geef me een paar bronnen op internet waar dit uit blijkt, of gewoon daarna nog eens even te gaan kijken bij, weet ik veel, bouwendnederland.nl of zo, of in ieder geval een bron met om te checken of het een beetje klopt. Maar, ja, Ja, dit is wel wat er gebeurt dan. En iedereen die daarna ook gewoon vanuit de vak commentaar gaf, zei ja, die levensduur klopt wel ongeveer. Alleen ja, je kan JetGPT misschien gewoon niet als bron aanhalen, maar het klopt wel wat hij zei.

Randal Peelen:
[43:28] Ik vind dat wel spannend, hoor. Ik merk dat ook als ik gesprekken heb en ik vraag om feiten. En daarna zeg ik van, joh, kun je dat onderbouwen met een website of een bron? Zie je aan Chet Jepetier dat hij op dat moment even de bronnen op gaat halen. Weet je wel, die had hij dus niet paraat. Dus hij heeft eerst gewoon het antwoord gefabriceerd. Daarna gaat hij eens kijken van, joh, waar kan ik dat vinden? En ik heb ook zeker wel eens meegemaakt dat hij op dat moment achterkomt dat het helemaal niet klopt. Dus ja, je kunt hem zelf laten fact-checken... en vervolgens in die bron die hij geeft... even grasduinen om te kijken of het klopt. Het is echt niet heel moeilijk soms... Om hallucinaties te vangen, vind ik.

Sander Denneman:
[44:08] Nee.

Randal Peelen:
[44:08] Maar je moet er wel je best voor doen.

Sander Denneman:
[44:09] Nee, maar daarom denk ik ook... wat ik al zeg, dit is gewoon een beetje naïef gebruik... van een tool voor de eerste keer, om het zo maar te zeggen.

Randal Peelen:
[44:16] Ja, maar dan had die rechter toch ook in Google kunnen gooien... En als hij dan tien resultaten kreeg... en hij bekijkt de bovenste drie en die zijn al bij fout... Daar had niemand daar echt een sterke mening over gehaald.

Sander Denneman:
[44:26] Nee joh, dan had hij dat gewoon geklikt en had hij dus verwezen naar, weet ik veel, een installatiebedrijf. Die daar iets over zegt, of drie installatiebedrijven, dan zal het wel kloppen. Of hij had de magische truc kunnen gebruiken in het recht van, het is een feit van algemene bekendheid. Dat wordt ook nog wel eens getypt. Maar nee, ja, dus kijk, wat ik daar bij dit soort dingen denk is dan, je leert ervan. Wat veel kwalijker is, daar hadden we het ook over in de voorbereiding, is wat in Amerika heb je. Dat is ook wel een grappig voorbeeld. Daar had ook een advocaat gechat-gpt'd en gevraagd, is er case law? Zijn er casussen van Amerikaanse rechters die mijn standpunt onderbouwen? Volgens mij ging het over een schadeclaim van iemand had in een vliegtuigmaatschappij zo'n karretje, waar je de drankjes bestelt, had die tegen zijn knie gekregen. Dus die wilde schadevergoeding.

Sander Denneman:
[45:21] Toen kwam Chad GPT, want AI houdt van pleasen, kwam met prachtige caselol aan, met helemaal namen, had hij allemaal gehallucineerd. En die had hij in zijn zaak gewoon gebruikt op zitting. Die was gewoon naar de rechter gegaan van nee, nee, maar dit hoort, weet ik veel, een ton te krijgen. Want zo blijkt uit deze zaak en deze zaak en deze zaak. En toen is die rechter gaan googlen of in de databases gaan kijken waar de uitspraak is. En die zei, ik kan het gewoon nergens vinden. Dan kan je even mij de oorspronkelijke uitspraken laten zien. En toen moest hij opbiechten. Ja, nee, het kwam uit ChatGPT. En ik had eigenlijk niet gedouble-checkt of het bestaande zaken waren. Maar ja, die meneer in Amerika is wel van het... Die moest wel zijn toga in de wil gehangen, om het zo maar te noemen.

Randal Peelen:
[46:10] Oh, echt?

Sander Denneman:
[46:10] Ja, die heeft het helemaal gekregen. Ja, die werd geschorst voor een periode. Omdat hij voor het voorliegen van de rechtbank...

Randal Peelen:
[46:18] Ja, dat is wel een ding. Advocaten mogen niet liegen inderdaad. Dat heb ik altijd heel bijzonder gevonden, want hoe kun je nou nooit liegen? Maar goed, dat heeft vooral te maken met niet moedwillig liegen. Een mens heeft nog wel eens een gesprek natuurlijk. Maar als je iets beweert in de rechtszaak, dan gaat iedereen er wel van uit dat je dat als advocaat ook kan onderbouwen.

Sander Denneman:
[46:38] Ja, maar je leert het ook in je opleidingen. Althans, ik ben strafgegeven advocaat geweest. Dan leerde ik altijd dat je zegt, dan zeg je niet het is zodat. Dan zeg je, ja, mijn cliënt stelt dat. Dat kan je, dat is niet liegen. Dat is gewoon wat je cliënt, en je cliënt mag gewoon liegen natuurlijk. Of dat slim is, is een tweede, maar het is helemaal niks dat je liegt tegen een rechter. Als hij erachter komt, is hij er niet blij mee, maar het weerhoudt je er, niks weerhoudt je ervan.

Randal Peelen:
[47:10] Hé, wat zijn voor jullie de volgende stappen? Want ik heb een beetje een idee van hoe bouw je zo'n tool, Ik neem ook aan dat Erwin daar gewoon lekker mee doorgaat. Maar het voelt voor mij, en misschien ben ik naïef. Kijk, iedereen die een startup begint, is altijd zenuwachtig dat die wordt ingehaald. En op elk moment omver kan worden gerend door de concurrentie. En in het algemeen is dat vaak niet zo. Over het algemeen heb je al een voorsprong. En komen dan ook de klanten wel jouw kant op. Op het moment dat jij dat het beste doet. En groei je op die manier het hardst. Maar ik zie wel een soort van window of opportunity zeg maar, je moet nu niet vijf jaar lang rustig aandoen klinkt wel als iets waar je je kans moet pakken en door moet pakken en dat momentum een beetje levend moet houden, hoeveel kanten kun je op en welke van die kanten kiezen jullie?

Sander Denneman:
[48:05] Nou, één van de dingen is dus je bronnen verrijken, denk ik. Dus dat is een kant waar je op kan. En een andere kant die je denk ik op kan, is het nog meer integreren in de dagelijkse workflow van advocaten. Kijk, we hebben er bewust voor gekozen. Het is een webtool, hè. En dat hebben we eigenlijk bewust gedaan enerzijds, omdat dat ook is wat mensen gewend zijn van chat GPT. Dus hou het zo herkenbaar mogelijk bij wat mensen al gebruiken.

Randal Peelen:
[48:33] Het ziet er ook wel ongeveer uit, toch?

Sander Denneman:
[48:34] Ja, precies. Maar dat is ook bewuste keuze. Want dan snappen mensen wat ze gaan gebruiken. En veel juristen vinden het ook fijn. Omdat het dan niet gekoppeld is aan hun systemen. Want dat vinden ze spannend. Wat ik ook wel begrijp. Want het is niks zo eng als door... Advocaten zitten natuurlijk op enorm veel vertrouwelijke data. Dus het leeft dan een angst. Dat als je daar een AI aan koppelt. Dan god knows where dat eindigt. waar die data, tegelijkertijd als je dat toch wel meer in hun, nog meer in hun dagelijkse workflow kan doen, dus dat je het ergens brengt waar ze aan het mee bezig zijn, zeg maar. Gewoon praktisch. Ja, dan kan dat denk ik een gewoon een win zijn. Dat is even gewoon de praktische kant waar we naar kijken.

Randal Peelen:
[49:28] Maar, wat heb je daarvoor nodig? Want dit zijn allemaal Normaal zou je baat bij hebben met investeringen. Zou je meer personeel willen hebben? Is als Nederland mooi op de kaart staat, niet snel tijd om naar buitenland uit te breiden enzovoort enzovoort. Je hebt een soort van prototype in twee weken. Nou, volgens mij zit een paar maanden geleden en zitten we nu hier. Het gaat wel snel, maar ik kan me ook voorstellen dat er nog heel wat werk aan de winkel is.

Sander Denneman:
[50:04] Ja, ik denk, ik kijk even naar Erwin, willen we naar het buitenland? Ik denk dat eerst Nederland goed doen, dat dat denk ik wel de winst is. Ook als je ziet wat er, kijk ik kijk er niet altijd mee, maar als je ziet wat er aan de achterkant moet gebeuren om juridische uitspraken toch goed in Nederland te verwerken en ieder land is weer anders. Ik weet niet hoe het in Tsjechië zit, snap je?

Erwin Lengkeek:
[50:28] Ja, en de vraag is of je natuurlijk ook de data beschikbaar hebt in die landen op hetzelfde niveau en met dezelfde hoeveelheid. Dat is sowieso de vraag. Ik denk dat als het gaat om uitbreiding naar het buitenland, dat dit product zich daar best wel voor leent. Aanzien, we hoeven niet heel veel werk te doen aan hoe het product er bijvoorbeeld uitziet.

Erwin Lengkeek:
[50:50] Maar tegelijkertijd zit je ook met dingen als distributie. Dus, hoe bereik je klanten in het buitenland? Daar moet je ook weer iets op optuigen. Ik spreek, omdat dit product wel er baat heeft bij het gebruik van de taal van dat land. Ja, zal het natuurlijk heel moeilijk worden om inderdaad bijvoorbeeld naar Tsjechië te gaan. Want ik kan de taal niet. Dus, daar zit wel wat meer complexiteit aan vast om te uitbreiden. En waar we graag naartoe willen sowieso met LexBoost is ook het technisch gewoon verbeteren, zoals Jossander al zei, het integreren en dergelijke. Maar ook continu meegaan met nieuwe ontwikkelingen. Dus om een voorbeeld te geven, waar een jaar geleden het best wel duur was om een model te fine-tunen, zoals dat heet. Dus iets meer af te richten op wat voor antwoorden je precies wil, et cetera. Is dat nu best wel te doen, goedkoop. Daar zou je een jaar geleden investeringen voor nodig hebben en misschien nu niet meer.

Erwin Lengkeek:
[52:10] Dus de andere AI modellen komen ook continu uit en ik test continu is dat model beter? Is dat model beter? Wat kunnen we daarmee? Kunnen we het combineren bijvoorbeeld? Dus ook op dat vlak is er nog heel erg veel te doen.

Randal Peelen:
[52:28] Ja. Nee, en ik kan me ook wel voorstellen, je hebt op een gegeven moment sales en marketing nodig. Je wil klanten hebben. Je hebt een bepaald tarief dat je nu hebt Je hebt neergezet, nou ja, jullie hebben vast nagedacht over hoe groot is die markt en hoeveel van die klanten heb ik dan nodig. Die klanten moet je onborden en ook trainen in het stellen van de juiste vragen en het beetje begrijpelijk neerzetten van die prompt. Ik vraag me vooral af hoeveel daarvan is bedrijfskundig gezien voor jullie een technisch component. Je hebt nu één programmeur die bovendien ook nog andere bedrijfjes heeft om aandacht aan te geven. Gaat dat genoeg zijn?

Erwin Lengkeek:
[53:07] Ja, ik denk dat dit natuurlijk een vraag is die je continu afstelt. Ik bedoel, afgraagt. Ik kan niet voor Sander spreken, maar ik zelf denk natuurlijk continu. Wat er op het bord ligt en wat we graag in de komende weken of maanden willen bouwen. Kan ik dat aan? Lukt dat? En als het antwoord daarop langzamerhand nee wordt, dan moeten we natuurlijk actie ondernemen. Ik denk dat een start-up hebben in die ze natuurlijk ook altijd, het is vooruitkijken voor morgen, vooruitkijken over een maand en vooruitkijken over een jaar. En dat zijn verschillende dingen die je doet, maar als het gaat om, hebben we extra developers nodig bijvoorbeeld? Ja, die vraag kan je natuurlijk niet beantwoorden voor over een jaar. Die moet je gewoon elke dag stellen, denk ik.

Sander Denneman:
[53:55] Ja, en ik denk ook wel, ik geloof ook wel heel erg, want jij zegt ook, heb je investeerders nodig? Die vraag krijgen we heel veel. Ik geloof wel een beetje in dat... Als je het kan ontwikkelen nog zonder externe investeerders... Moet je dat blijven doen. Volgens mij moet je gewoon zo lang mogelijk zelf blijven groeien. Omdat je dan ook het meeste regie erop houdt. Want dan kan je gewoon met z'n tweeën blijven beslissen... wat je heel lang wil.

Randal Peelen:
[54:23] Heb je er heel lang lol van in de toekomst. Hoe later je dat doet.

Sander Denneman:
[54:26] Ja, en dat ook. Dit is financieel ook de slimste keuze. En inderdaad, you hire when it hurts, denk ik. Dus daar denk ik ook wel over na. Van wanneer hebben we het nodig?

Sander Denneman:
[54:43] Maar het voordeel is ook wel door AI. Ik gebruik het echt, echt iedere dag. Dat best wel een gedeelte van de workload, die je vroeger, waar je vroeger misschien echt sneller mensen voor zou moeten aannemen, bijvoorbeeld qua marketing en communicatieactiviteiten, je ook gewoon door AI-tools voor een heel groot gedeelte kan overnemen of gewoon de basis kan laten overnemen. Dat maakt echt gewoon even zoiets simpels als, ik kan het gewoon zeggen, zoals bijvoorbeeld persberichten opstellen of zo, waar je normaal misschien echt best wel even tijd bent om dat eerst zelf helemaal te gaan uitschrijven en uit te denken. Ja, dat kan je gewoon nu prompten. En dan hoef je het alleen maar te redigeren. En daar zou je misschien op een gegeven moment... zeker als je snel groeit en we hebben veel te vertellen... zou je misschien moeten denken... Dat is misschien wel lekker om daar een halve FTE voor aan te nemen... om al dat werk te doen. Maar ja, als die halve FTE... Ik heb het gewoon... Bij ChatGPT... Ik heb gewoon meerdere bots geprogrammeerd. En eentje is gewoon de Lex Boost Copywriter. Die heb ik gewoon ingesteld, getraind op wat onze tone of voice is. Hoe ik het wil hebben. En als er iets uit moet, dan vraag ik dat gewoon aan dat ding. Ja, dat maakt echt, echt waanzinnig veel uit.

Sander Denneman:
[56:09] Dus misschien is dat ook wel... Ik vind dat te gek eigenlijk, dat dat zo is. Dus dat je misschien kan je de run langer doen tegenwoordig in de huidige tijd dan dat je het een jaar of twee of zeker tien jaar geleden kon doen.

Randal Peelen:
[56:23] Ik vind het wel mooi. Ons panel lid Sander Bijleveld die zei laatst in de aflevering. We zijn nu aan het meemaken dat mensen AI gebruiken om steeds nettere langere e-mails te schrijven. Terwijl aan de andere kant de ontvanger zijn bordjes aan het trainen is om die teksten zo kort mogelijk samen te vatten. Zodat je direct snapt wat voor middeltje dat is. En dan gaat straks veel meer tekst over de lijn. Terwijl aan beide kanten mensen alleen nog maar met steekwoorden bezig zijn. Dat vind ik wel heel komisch.

Erwin Lengkeek:
[56:52] Binnenkort, het is zo. De andere dev tool die ik bouw is voor ontwikkelaars om iets productiever te zijn. Het is een browser extensie. Ik krijg soms support e-mails binnen voor geld terug of een vraag voor bepaalde functionaliteit. En vaak zijn e-mails geschreven met AI en ik reageer ook met AI. En die e-mails zijn inderdaad significant langer. Het is al een ding, maar ik vind het heel fijn hoor. Daar niet van, het bespaart me flink tijd.

Sander Denneman:
[57:23] Het ligt ook wel echt aan wat je prompt dan. Want in mijn instructie van mijn Lexboost copywriter staat... hou het altijd zo kort mogelijk. En meestal geef ik het dan ook nog in de prompt... geef ik hem een soort norm mee van in niet meer dan drie regels.

Randal Peelen:
[57:39] Ja, ik ben ook heel erg... Ik ben fan van kort en bondig, maar ook leestekens en emojis. En ik wil dat mijn ogen worden toegetrokken naar alleen de cruciale, essentiële dingen. Dus als ik iemand uitnodig, ik zou het liefst gewoon een klokje met achter zo laat en een wereldbolletje met dat adres. En ja, ik vind dat altijd lekker duidelijk, dat soort dingen.

Sander Denneman:
[58:06] Ja, ik vind het ook heerlijk.

Randal Peelen:
[58:09] Laatste vraag ik heb een vraag gekregen van Simon en die heeft hij al vaker gesteld en hij is nu toch wel echt heel relevant we zijn hier alle drie mensen die graag ons laten helpen hij zegt als jullie Chachipati of een andere AI gebruiken zijn jullie dan ook extra beleefd voor het geval dat, ik wel ik niet ik heb je hulp nodig en ik betaal ervoor.

Erwin Lengkeek:
[58:35] Weet je het woord bitch gebruiken is natuurlijk dat duurt langer. Ik ben gewoon efficiënt. Dus ik ben gewoon, nou ja, je zou het onbeleefd kunnen noemen. Ik zeg geen dankjewel of alsjeblieft. Extra's geldt voor dus niet. Maar wel kort en bondig. Ja, ik een large language model AI zoals we nu hebben, uiteindelijk we gaan niet toe naar een situatie waar die opeens voor zichzelf kan denken. Het voorspelt wat het beste is om daarna te zeggen. En dat doet hij bij elk woord. En dat is ongeveer wat AI is. En daar bouwen we mooiere systemen bij, om dat net iets beter te maken door de maanden en jaren heen. Ik denk niet dat die... OpenAI of JGPT degene zal zijn wat uiteindelijk terug kan denken en misschien beledigd kan zijn.

Randal Peelen:
[59:30] Nee.

Sander Denneman:
[59:31] Misschien ziet straks de overkoepelende AI Erwin, die erna komt, die dan denkt ja, maar weet je hoe jij je gedroeg tegen een van mijn voorouders? Dat toller Erik niet.

Erwin Lengkeek:
[59:43] Ja.

Sander Denneman:
[59:44] Dan zitten Randal en ik gewoon veilig. Met onze slijmerige mails. Oh, wat een mooi antwoord. Het is misschien net niet wat ik bedoeld had. Maar ik vind het toch fantastisch. Maar zou je misschien eventueel dit woord kunnen wijzigen?

Erwin Lengkeek:
[59:58] Ja, ik denk dat beledigd zijn een emotie is. En dat zal nou juist hetgeen zijn wat hij niet heeft, toch?

Sander Denneman:
[1:00:04] Ja, dat is waar.

Randal Peelen:
[1:00:05] Ik heb er wel een belangrijke andere reden voor. En dat is heel simpel, egoïstisch. Het voelt goed. Ik vind het heerlijk als ik zeg, ja, dit is een fantastische tekst. Hartelijk dank. Goed gedaan. aan, love you. En weet je dat hij dan heel erg vriendelijk terug gaat doen en er ook zo'n knipoog achteraan geeft. Ja, voel toch lekker. Ik bedoel, waarom niet? Het is wel zonde van de tokens en de rekenkracht misschien.

Erwin Lengkeek:
[1:00:27] In perfectie doet dat, ja. Ik denk dat het mensen willen altijd alles overal mensen en emoties inzien, toch? We zien in de raarste dingen smileys bijvoorbeeld, terwijl ze er niet zijn. Ik denk dat we willen er iets menselijks inzien. Omdat we er ook menselijk tegen praten. en het menselijk reageert soort van. Ik denk dat dat het voornamelijk is. Maar, ja. In ieder geval dat het wel zo is en ik het beleefd had moeten zijn en het backfired. Ja, c'est ça. Ik hoop dat ik het niet meemaak.

Randal Peelen:
[1:01:02] Hé Sander, wat ik ook nog zat te denken, je hebt natuurlijk als je wetenschappelijke artikelen gaat lezen, heel erg moeilijk taal gebruiken, dingen waar je echt niet elke Nederlander zomaar uitkomt. Ik heb dat gevoel ook een beetje bij juridische tekst, weet je wel, dat advocaten en rechters ook heel goed zijn in super dure moeilijke woorden gebruiken. Is dat voor zo'n large language model extra uitdaging? Maakt het eigenlijk niet uit? Of is het juist een kans om het allemaal wat simpeler te maken? Hoe heeft dat taalgebruik je invloed op?

Sander Denneman:
[1:01:32] Ja, ik denk wat grappig is. Wat zo'n model ermee kan. Dat is denk ik misschien meer een vraag voor Erwin. Maar wat wel grappig is. Ik heb wel eens een keer op een borrel gesproken met Jan Smits. En die is hoogleraar of inmiddels gepensioneerd hoogleraar aan de TU in Eindhoven. En die is gestart ooit als jurist. Ook gepromoveerd. promoveert en in het juridische en toen is hij de data- en informatiekant opgegaan in Eindhoven. En die heeft dus al heel vroeg wel eens onderzoek gedaan, ook al naar, want ook toen, want dit gaat echt over 25 jaar geleden, vertelde hij mij naar, talen en taalmodellen, want daar zijn we al heel lang mee bezig, alleen nu werkt het opeens. En daar had ik ook zo'n gesprek mee van, nou het is toch grappig dat zo'n AI zoiets complex als het juridische kan doorgronden. En toen Toen lachte die me een beetje uit. En toen vertelde hij van... dat denken mensen altijd. Maar dat is eigenlijk onzin. Want hij is een keer gaan pijlen... Van de corpus noemt hij dat. Dus hoe groot is een taal? Een woordenschat. Ja, een woordenschat.

Sander Denneman:
[1:02:42] En wat blijkt... Ik weet de getallen even niet exact. Maar even een aanname qua voorbeeld. Zo'n taal Zo'n juridische taal Dus wat juristen gebruiken, is ongeveer, noem maar wat, even bij wijze van spreken, vijfduizend woorden. En dat zijn misschien hele moeilijke woorden, maar het is een heel beperkt aantal woorden. Als je het dan vergelijkt, dat noemen die met een journalist, in het vak van de journalist, die schrijft de ene dag over economie, de andere dag over volkstuinen, en dan schrijft hij weer een keer over een aanslag. Dus die heeft dan, bij wijze van spreken, het was echt een verschil van twintigduizend woorden in zijn vocabulair.

Sander Denneman:
[1:03:22] Dus de body op zich van de juristerij is complex misschien. Omdat je de woorden niet kent. Maar de omvang daarvan is eigenlijk heel beperkt. En als je dan ziet ook hoe juristen schrijven. En als je kijkt naar uitspraken is het ook heel erg gestructureerd. Alle uitspraken zijn altijd hetzelfde. En heel vaak wordt er dingen herhaald van een hogere instantie. Want die hangt erboven. Dus dan kan je zeggen die heeft dit gezegd en daarom zeggen wij dit. Dus dat is best wel grappig. En ja, hoe dat dan technisch werkt, dan kop ik hem even door naar Erwin. Of dat dan lastig is voor een taalmodel. Dat zal er wel een beetje mee samenhangen.

Erwin Lengkeek:
[1:04:01] Ja, voor een taalmodel zelf is het niet heel erg ingewikkeld. Het zijn woorden. Het schat simpelweg in wat de context is. Het werkt echt op context. En kan vervolgens in diezelfde taal dingen terug genereren. Maar tegelijkertijd kan je AI, en dat is een van de mooiere dingen van die techniek, is je kan dus ook vragen, heel erg bekend, Eli5, explain it like I'm 5, vragen of je het met een hele makkelijke woordenschat kan uitleggen. Dan zal hij dus exact hetzelfde behandelen, alleen makkelijker woorden gebruiken. Dat maakt voor een large language model niet uit. Maar daar kunnen we wel gebruik van maken natuurlijk.

Sander Denneman:
[1:04:52] Het boeit, denk ik, zo'n taalmodel in de end een algoritme die structuren herkent, om het heel onaardig te zeggen. Die boeit toch ook eigenlijk überhaupt niet. Die heeft toch überhaupt geen besef van of een woord complex is, ja of nee? Of het echt besef is? Het woord jurisprudentie bijvoorbeeld is voor hem toch hetzelfde als het woord ei. En dit heeft niet een awareness. Dus het is gewoon iets wat je moet verwerken in een context. Of denk ik er dan te makkelijk over?

Erwin Lengkeek:
[1:05:26] Nou ja, goed. Het is altijd een stuk complexer als je er diep in duikt. Maar kort door de bocht, ja, het is zo. Het werkt echt op context. Dus het maakt niet uit of je een vraag moeilijk of makkelijk stelt, bijvoorbeeld. Je zal hetzelfde antwoord krijgen. Dat maakt niet heel veel uit, nee.

Randal Peelen:
[1:05:45] Ik ben het hem aan het vragen. moeilijke woorden gebruik of makkelijke, wat Chet Chibetier er zelf van vindt. Hij zegt, voor mij maakt het geen verschil of je moeilijke of makkelijke woorden gebruikt. Kost het ook niet meer rekenkracht als een woord langer is? Nee, de lengte of moeilijkheid van een woord kost niet per se meer rekenkracht. Nou, Chet Chibetier heeft dit gezegd, dus is het waar, Sander?

Sander Denneman:
[1:06:13] Ja, nee, zeker. Ik ga het ook nergens checken, hoor. Ik neem het van hem aan.

Randal Peelen:
[1:06:16] Nee, precies.

Sander Denneman:
[1:06:18] Het gaat over zichzelf, toch? Er zijn wel meer tokens.

Erwin Lengkeek:
[1:06:21] Het zijn wel meer tokens, dus het kost het zal waarschijnlijk minim uiteindelijk, maar iets meer rekenkracht is er nodig natuurlijk, omdat het gewoon meer tekst is, maar ja, that's it. En niet vergeten dankjewel te zeggen natuurlijk.

Randal Peelen:
[1:06:36] Inderdaad. Hartelijk dank JetJPT en hartelijk dank jullie heren. Tot zover deze aflevering van Met Nerds om tafel en Met Nerds om tafel is een podcast door Jurian Ubers en mij, Randal Peelen en onze panelleden zijn Esther Krammerdam, Ruurd Sanders Sander Bijleveld. Onze muziek wordt gemaakt door de mysterieuze Brinkmaster Cinder. En onze gast-nerds van vandaag waren Erwin Lenkeek en Sander Denneman. Heren, hartelijk dank dat jullie er waren. Ik begin even bij Erwin. Waar kunnen mensen meer op jou teweeg komen?

Erwin Lengkeek:
[1:07:03] Voornamelijk op Twitter. Of X moet ik tegenwoordig zeggen.

Randal Peelen:
[1:07:06] Echt? Doe je dat nog?

Erwin Lengkeek:
[1:07:08] Sterker nog, daar ben ik eigenlijk alleen maar actief. Andere social media niet. Dus dat is x.com slash Erwin underscore AI.

Randal Peelen:
[1:07:17] Uhum.

Erwin Lengkeek:
[1:07:19] X.com.

Randal Peelen:
[1:07:20] En score AI. Dat kan er maar één zijn dan natuurlijk.

Erwin Lengkeek:
[1:07:24] Precies.

Randal Peelen:
[1:07:26] En jij dan Sander?

Sander Denneman:
[1:07:29] Ja, LinkedIn.

Randal Peelen:
[1:07:30] Ken je dat?

Sander Denneman:
[1:07:31] Dat is ook een social media platform voor bedrijven. Daar publiceer ik wel eens op. En anders op Threads. Het Facebook alternatief van Twitter.

Randal Peelen:
[1:07:41] Ik heb je ook op Instagram. Wil je nog steeds elke dag een foto uitmaken?

Sander Denneman:
[1:07:47] Ja, maar dat is op mijn een gesloten profiel. Ik heb ook een open profiel. Dat is gewoon Ed Sander Deneman in beide gevallen. Ja, daar eigenlijk. Oké.

Randal Peelen:
[1:07:59] Nou, meer informatie over ons als podcast staat op onze website. Dat is mnot.nl. Join onze slechtergingen 24-honderd charmante kapamen en gezellige nerdsje voor. Anders Sander trouwens, die zit daar ook. Word je nou vriend van de show, dan krijg je toegang tot het clubhuis. Vier meetups per jaar, stickers en biervultjes, dooi brieven, dus je luistert zonder reclame eerder dan de rest en elke week met een bonusaflevering. Voor nu hartelijk Bedankt voor het luisteren en tot de volgende keer.