Datawijs met Thijs
Ongefilterd ยท notitie

Notitie van maandag 9 november, 10:19

Ik ben vorige week begonnen aan een leuk projectje dat binnenkort in m'n Lab komt: een online data adventkalender (een datadventkalender dus :D).

Dit is tegenwoordig prima te doen samen met m'n vriendje Claude Opus maar ik was ook benieuwd of het kleinere Qwen Flash-Next mee kon doen om zo tokens te besparen.

Ja dat kan! Maar met een paar asterisken: Het model dat ik gebruikte is niet zo goed in weergaves checken dus een afgekapte as viel niet op. Data verzinnen voor de voorbeelden achter iedere dag ging ook niet vlekkeloos Humor en toon heb ik toch maar samen met Claude gedaan

Maar toch: Qwen schreef ongeveer 80% van de code. Spelregels, server inrichting en weergave per speltype lukt allemaal. Claude Opus schrijft een strakke opdracht voor Qwen en Claude test daarna of het gelukt is en laat Qwen opnieuw werken aan de dingen die nog niet goed zijn. Van de 23 taken werden er 12 in 1 keer goed opgeleverd. Als het fout ging kwam het vaak door een onduidelijke opdracht of slechte test. Bij grote modellen als Claude Opus kom je daarmee weg omdat ze genoeg redeneerskills hebben maar bij kleinere modellen is die ruimte veel kleiner!

De GPU waar ik dit op draaide is niet super snel, dus sneller is het niet maar wel goedkoper. Omgerekend naar API tarief had ik nog 12 euro extra naar Anthropic moeten overmaken. Nu kost het vooral tijd (in dit geval betaal ik een flat-fee om van de GPU gebruik te mogen maken voor Qwen en heb ik geen exact stroomverbruik voor een beter vergelijk helaas).

Is dit nodig?

Met de huidige (door Anthropic) gesubsidieerde abonnementen niet maar het is wel leuk om te experimenteren en als de prijzen in de toekomst hoger worden dan is het goed om alvast een idee te hebben wat alternatieven kunnen zijn en hoe je meerdere verschillende modellen op 1 project combineert.

Terug naar Ongefilterd