Hur ”kvalitet” ska utvärderas är en ständigt aktuell fråga i offentliga upphandlingar, och metoderna för bedömning varierar kraftigt. I den här artikeln fokuserar vi på utvärderingsmodeller där upphandlande myndigheter låter tilldelningen avgöras av anbudsgivarnas beskrivningar. En upphandlande myndighet kan exempelvis ange att ”anbudsgivaren ska beskriva sin metod och den poängsätts 1–5”. På ett par A4 ska anbudsgivarna då beskriva ett hypotetiskt case, sin projektorganisation eller sina metoder som poängsätts utifrån uppsatta kriterier. Kriterierna kan exempelvis handla om att visa på kvalitativa arbetssätt, förståelse för projektets förutsättningar eller redundans i organisationen. Antingen är priset fast och kvalitet avgör hela tilldelningen, eller så viktas poängen ihop med priset.
Det finns ibland fog för frågan om dessa utvärderingsmodeller lyckas identifiera verklig kvalitet av det slag som märks i leveransen. Även om den upphandlande myndighetens intentioner är goda kan den verkliga utvärderingen komma att handla om vem som formulerar texten bäst snarare än vem som faktiskt kan utföra det upphandlade uppdraget bäst. I vissa fall saknas en tydlig koppling till det kommande uppdraget.
Generativ AI och språkmodeller förstärker riskerna. Det som tidigare tog ett anbudsteam dagar att skriva och sätta ihop gör språkmodellerna på några minuter. Resultatet blir texter som är välskrivna, strukturerade och ”metodtäta” med fokus på de aspekter som ska premieras vid utvärderingen. När fler anbudsgivare levererar en polerad beskrivning synliggörs svårigheten med att identifiera verklig kvalitet för att skilja anbuden åt.
Risken är att den som promptar bäst får högst poäng, snarare än den som kan leverera högst kvalitet. Språkmodellerna sätter därmed förnyat ljus på frågan: Vad är det egentligen som ska utvärderas i en utvärdering av kvalitet?
KVALITET SKA GÅ ATT MÄTA
I 16 kap. 2 § LOU anges att tilldelningskriterier ska säkerställa effektiv konkurrens, vara kontrollerbara och inte ge den upphandlande myndigheten en obegränsad valfrihet. EU-domstolen har i ett antal rättsfall förtydligat hur kvalitet, och särskilt anbudsgivarnas egna beskrivningar, får utvärderas.
I Antea Polska prövade domstolen en upphandling av projekteringstjänster där kvalitetskriterier utgjorde 60 procent av utvärderingen (se EU-domstolens dom i mål C-54/21). Domstolen konstaterade särskilt att kvalitetskriterier som bygger på anbudsgivarens egen beskrivning av projektet och genomförandet måste kompletteras med specifikationer som gör det möjligt att göra en tillräckligt effektiv jämförande bedömning av varje anbuds prestanda. I de fall kvalitetskriterierna står för en stor del av utvärderingen är det än viktigare att kriterierna formuleras på ett tydligt sätt för att garantera en objektiv jämförelse och eliminera risken för godtycklig behandling (se punkt 92).
Det nya förslaget till upphandlingsförordning förtydligar detta. I EU-kommissionens förslag ska kvalitetskriterier som huvudregel utgöra minst 30 procent av totalpoängen (50 procent vid arbetsintensiva upphandlingsföremål). Bara om den upphandlande myndigheten kan motivera en avvikelse från detta kan pris användas som ensam tilldelningsgrund. Det anges särskilt, i artikel 98.3, att tilldelningskriterier ska vara icke-diskriminerande, proportionerliga, specifika, objektiva och mätbara, utvärderas i en process med tillräckliga skyddsåtgärder mot oegentligheter, möjliggöra en effektiv jämförelse av styrkor och svagheter och får inte ge den upphandlande myndigheten en obegränsad valfrihet.
I skäl 42 anges att fokuset ska ligga på långsiktig samhällsnytta snarare än den lägsta initiala kostnaden, ett fokus som förutsätter att utvärderingen faktiskt fångar substans och inte bara språklig form.
KONKRET I STÄLLET FÖR VACKERT
Det har länge stått klart att kvalitetskriterier måste vara kontrollerbara. Vi bedömer ändå att både den föreslagna upphandlingsförordningen och den ökade användningen av språkmodeller aktualiserar kraven på objektivitet och mätbarhet. Många utvärderingsmodeller som bygger på anbudsgivarnas beskrivningar är varken objektiva eller mätbara och bör därmed fasas ut ur den offentliga affären, av juridiska och affärsmässiga skäl.
Vägen framåt är givetvis inte att överge kvalitet. Det handlar om att utforma varje utvärdering så att modellen faktiskt bidrar till långsiktig samhällsnytta. Kvalitetskriterier kan fokusera på mätbara utfall, dokumentbaserade referenser, krav på personers erfarenheter och faktisk tillgänglighet samt bindande servicenivåer eller garantier. Där det är lämpligt kan även intervjuer eller tester vara en del av utvärderingen. Det som förenar dessa moment är att de förutsätter verifierbara fakta. Därmed ökar sannolikheten att den anbudsgivare som tilldelas kontraktet också är den som faktiskt kommer att utföra det bäst.
Sammanfattningsvis ökar AI-utvecklingen kraven på hur kvalitet behöver utvärderas. Framåt hoppas vi få se utvärderingsmodeller som skiljer det som ser bra ut från det som faktiskt är bra.




Instämmer med dig ! Vem hinner läsa den informationen?
Nya regler om ramavtalKommentar av Östen Granberg på Nya regler om ramavtal