Waarom Eerst Prompt Engineering, Dan RAG, Dan Fine-Tuning (In Die Volgorde)
Free Academy AI: begin altijd met prompt engineering. Voeg RAG toe wanneer je kennis nodig hebt. Fine-tune alleen wanneer gedragsveranderingen niet met eenvoudigere aanpakken kunnen worden bereikt. De meeste teams slaan het over. Ze gaan direct naar fine-tuning omdat het voelt als echte AI-ontwikkeling. Dat is het niet. Fine-tuning is de dure, trage laatste optie, niet het eerste antwoord.
Waarom Teams Te Vroeg Fine-Tunen
Waarom fine-tuning voelt als echte AI-ontwikkeling: het betreft het trainen van een model, wat technisch klinkt. Je hebt een dataset, wat rigoureus aanvoelt. Je verandert modelgewichten, wat fundamenteel klinkt. Prompt engineering voelt als simpelweg instructies schrijven.
Waarom dit achterlijk is: prompt engineering is eigenlijk moeilijker. Je moet diep begrijpen hoe het model instructies interpreteert. Fine-tuning is mechanischer: bereid data voor, run training, evalueer. Het moeilijke werk is uitvogelen wat je wilt dat het model doet. Dat is prompt engineering. Fine-tuning zorgt er alleen voor dat het model het sneller doet.
De kostenconsequentie: te vroeg fine-tunen betekent maanden training plus $5.000 tot $50.000 of meer aan kosten. Dan ontdekken dat prompt engineering zou hebben gewerkt betekent verspilde tijd en geld.
Waarom het blijft gebeuren: teams willen het AI-probleem oplossen en door. Fine-tuning voelt als een permanente oplossing. Prompt engineering voelt tijdelijk. Maar prompt engineering is eigenlijk de juiste basis.
Wat 20 tot 40 Uur Prompt Engineering Eigenlijk inhoudt
Week 1: leg de baseline vast in 10 uur. Test het basismodel met nul custom prompts. Documenteer wat werkt, wat niet werkt, en waar het faalt. Dit geeft je de baseline om verbetering tegen te meten.
Week 1 tot 2: systematische prompt-iteratie in 20 uur. System prompt die definieert welke rol het model moet spelen. Few-shot examples die het model laten zien hoe goede outputs er uitzien. Output format instructions die precies specificeren hoe de output gestructureerd moet zijn. Chain-of-thought asking of het model zijn redenering moet tonen. Constraint instructions die specificeren wat het model moet vermijden.
Week 2: testen met echte queries in 10 uur. Test met 50 tot 100 echte gebruikersqueries uit productie. Meet of de output overeenkomt met wat nodig is. Iterate en verfijn prompts op basis van failure patterns.
Wat je leert in 20 tot 40 uur: is het probleem dat het model de taak niet begrijpt? Gebruik prompt engineering. Is het probleem dat het model de kennis niet heeft? Gebruik RAG. Is het probleem dat het model verkeerd redeneert? Gebruik fine-tuning.
Het 80/20-resultaat: veel teams ontdekken dat 20 tot 40 uur prompt engineering 80% van hun doel bereikt. Als 80% niet genoeg is, weet je nu precies wat de resterende 20% vereist.
De Volgorde in de Praktijk — Prompt, RAG, Fine-Tune
Stap 1: Prompt Engineering gedurende 2 tot 4 weken. Wat je kunt bereiken is output format, toon, redeneeraanpak en structuur. De test is of prompt engineering je naar 80% kan brengen. Als ja, stop daar.
Stap 2: RAG gedurende 2 tot 4 weken na prompt engineering. Voeg RAG toe wanneer het model kennis nodig heeft die te groot is voor context, frequent verandert, of eigendom is. Wat je leert is of het probleem kennis of redenering is.
Stap 3: Fine-Tuning gedurende 8 tot 16 weken als laatste optie. Alleen wanneer prompt engineering plus RAG echt zijn uitgeput en het probleem gedragsmatig is. Wat het niet oplost is gebrek aan kennis, dat is RAG's taak, of slecht output format, dat is prompt engineering's taak.
Het Besluit om te Fine-Tunen — De Echte Signalen
Signaal 1: prompt engineering is echt uitgeput. Je hebt 40 of meer uur besteed aan prompt engineering. Het model begrijpt de taak perfect maar maakt consistent dezelfde redeneerfouten. Het probleem is gedragsmatig, hoe het model denkt, niet wat het weet.
Signaal 2: inference kosten zijn prohibitief. Je prompts zijn erg lang met few-shot examples en context. De token cost per request is te hoog bij schaal. Fine-tuning vermindert prompt length terwijl het performance behoudt.
Signaal 3: domein-specifieke redeneerpatronen moeten veranderen. Medische AI waar het model moet redeneren als een clinicus. Juridische AI waar het model moet redeneren als een advocaat. Financiële AI waar het model moet redeneren als een quant.
Signaal 4: je hebt consistent gedrag nodig over duizenden requests. Prompt engineering kan licht variëren per request. Fine-tuning produceert consistentere outputs.
De verkeerde signalen: het model kent ons product betekent RAG. Je wilt dat het slimmer wordt betekent prompt engineering eerst. Fine-tuning voelt serieus betekent het is duur en traag.
De Timeline Vergelijking
Juiste volgorde: prompt engineering in 2 tot 4 weken, RAG in 2 tot 4 weken indien nodig, fine-tuning in 8 tot 16 weken indien nodig. Totaal worst case: 24 weken.
Verkeerde volgorde: fine-tuning eerst in 8 tot 16 weken plus $5.000 tot $50.000 of meer, ontdekken dat het het probleem niet oploste, dan RAG toevoegen in 2 tot 4 weken. Totaal worst case: 24 of meer weken plus $50.000 of meer verspild.
Voordat je $5.000 besteedt aan fine-tuning, besteed 40 uur aan prompt engineering. Als je niet bereid bent die 40 uur te besteden, ben je niet klaar om te fine-tunen.