Evaluering: Elefanten i maskinrummet

Mads Christiansen, Trustworks

I klassisk maskinlæring er vi vant til at have konkrete metrikker til at evaluere vores modeller. Disse metrikker er fundamentet for modeludvikling og performancevurdering. Når det kommer til generative modeller, såsom store sprogmodeller (LLMs), står vi over for en helt ny udfordring: Hvordan evaluerer vi output, der er åbent og varieret?

Generative modeller genererer output, der kan være uendeligt varierende, hvilket gør traditionelle evalueringsmetoder utilstrækkelige. Mens LLM leaderboards giver et overblik over generelle præstationer, fortæller de os meget lidt om, hvordan en given model vil klare sig i specifikke forretningskontekster.

Om sporet AI
Machine Learning er på ganske kort tid gået fra at være noget, få brugte, og til nu et metodesæt, som bruges over det hele. På AI-delen af sporet kigger vi praktisk på aktuelle muligheder og værktøjer.

Optagelsen stammer fra dette års Driving IT afholdt i København den 1.11.2024, hvor 345 IT-professionelle mødtes for at  høre om nye tendenser og teknologier inden for IT.