Metoder för utvärdering

Även om varje upphandling är unik, så finns det en meny av utvärderingsmetoder som ofta förekommer. 

Syftet med denna artikel är att ge exempel på metoder som ofta används vid tjänsteupphandlingar. 

Texten kommer inte att behandla användartester som är vanligare vid till exempel upphandling av ett IT-system, som resulterar i ett kontrakt. En mycket stor del av den offentliga upphandlingen sker nämligen genom ramavtal, till skillnad från en objektsupphandling, som är mera avgränsad (även om det kan vara komplext). Objektet för ramavtalsupphandling är ofta mer diffust. Innehållet i ramavtal är av en annan karaktär, där resultatet visar sig längre fram. 

I en kommande artikel gör jag en jämförelse med och exemplifierar hur man som privatperson agerar vid inköp, för att belysa för- och nackdelar med utvärderingsmetoder inom offentlig upphandling.

Referenser som tilldelningskriterium
Referenser är inte alltid pålitliga, eftersom anbudsgivare som huvudregel får välja sina referenser, och de flesta kan hitta till exempel tre bra referenser. Men det visar ändå att anbudsgivare har lyckats ibland, och har förmåga att utföra uppdraget.

Och efterfrågas många referensuppdrag så ökar chansen förhoppningsvis att få ett rättvist omdöme. Det ökar trovärdigheten.   

Ofta sätter man upp ramar för referensuppdragen, de ska uppfylla förutsättningar ifråga om längd och innehåll. Då blir det heller inte lika fritt att välja referensuppdrag. Samtidigt lyfts detta ofta som ett problem: Anbudsgivaren har flera bra referensuppdrag, men det saknas någon del, som blir utslagsgivande.  

En nackdel är att betygssättningen överlåts åt en tredje person, som upphandlaren dessutom inte känner till. Man lägger ansvar på någon annan att sköta utvärderingen. En del personer strösslar superlativ,  medan andra lägger sig i mitten (även med en verbaliserad betygsskala). Det beror mycket på personen. Det finns ingen lösning på detta. 

Processbeskrivning
Att utvärdera anbudsgivarens arbetsprocesser är ett rutinmässigt och återkommande förfarande. Min erfarenhet är liksom för referenser, att många uppnår högsta poäng. Stora leverantörer är ofta vana och rutinerade att skriva processbeskrivningar, och skriver saker som slår an. 

Ett exempel är när jag utvärderade delprocessen Konsultvård, i en upphandling av bemanningstjänster.

Nästan samtliga bemanningsföretag anser att konsultvård är en viktig aspekt. Både inhyrd konsult och kund ska känna leverantörens närvaro och engagemang. Med god konsultvård kan bemanningsföretagen attrahera bra kandidater, och minska förtidiga konsultavhopp, och på så sätt öka kvaliteten i tjänsten. Krav på konsultvård är också ett socialt kriterium.

Det kan dock förekomma att anbudsgivare beskriver sådant som alla företag med kollektivavtal ändå gör, eller redan följer av arbetsmiljölagstiftning.  

Eller formulerar sig så att man inte utfäster något, såsom att ”arbetsmiljökontroll/avstämning med konsult huvudsakligen sker på plats hos kund, vid behov.” En konkret och verifierbar beskrivning bör däremot kunna premieras. I så fall bör utvärdering av processbeskrivning kombineras med intervju, där upphandlare får möjlighet att ställa kontrollfrågor, och anbudsgivaren att precisera och visa med goda exempel (med möjlighet att verifiera dessa). 

Det vore mer rimligt om bemanningskonsulterna bedömer konsultvård och inte bemanningsföretagen, men på samma sätt som för referensuppdrag så kan anbudsgivare utesluta konsulter som är missnöjda och plocka fram de nöjda. Dessutom är konsulterna i beroendeställning till sin arbetsgivare. 

Ett alternativ är att skriva in och reglera direkt i avtalet vad som är viktigt, till exempel att friskvårdbidrag ska avsättas med 125 kronor per månad från första månaden, och en fysisk arbetsmiljökontroll ska ske inom åtta dagar. Men då har myndigheten inte bedömt kvalitetskriterier, vilket blir huvudregel enligt EU-kommissionens förslag om förordning om offentlig upphandling och koncessioner.

Fiktiva uppdrag
Tidigare har jag ansett att fiktiva uppdrag är en av de bättre metoderna för utvärdering. Utvärderingen sker här och nu (alla blir jämlika), och är mer framåtsyftande jämfört med tidigare genomförda uppdrag. Men sedan generativ AI:s intåg är det kanske ingen bra lösning längre. I så fall får man kalla in anbudsgivare att redovisa det fiktiva uppdraget med egna ord, så man kan bedöma hur pass grundat det är. 

Det är också av stor vikt att personen som besvarat det fiktiva uppdraget arbetar kvar hos anbudsgivaren. 

Tidigare genomförda rapporter
Vid konsultupphandlingar kan till exempel tidigare utförda konsultrapporter utvärderas, vilket är mindre tidskrävande för anbudsgivare. Anbudsgivare kan visserligen skicka in sina mest noggrant utformade rapporter (eller rapporter som t.o.m. har rättats av beställaren). Genom att utvärdera flera rapporter från varje anbudsgivare minskar risken. Genom att ställa krav på att de ska vara framtagna av flera olika konsulter hos anbudsgivaren, blir det inte lika beroende av en person (som kanske lämnat företaget). 

En utmaning med att utvärdera såväl fiktiva som faktiskt utförda arbetsprover: Ofta handlar man upp en tjänst för att man själv saknar kunskapen, samtidigt ska vi utvärdera anbudsgivarens kunskaper för det kommande uppdraget. 

De utvärderingsmetoder jag beskriver (förutom referenser) är svåra att genomföra för mindre upphandlande myndigheter, för de saknar resurser. Jag har märkt en tendens att utförarna blir färre, i förhållande till de som arbetar mer teoretiskt. Men det är ofta utförarna, i just detta sammanhang upphandlare, som ser utmaningarna. Det är för lite dialog mellan de olika nivåerna, man talar olika språk. 

Ratingsystem
I rapporten ”Sätt betyg på leverantörerna!” föreslår några forskare inom nationalekonomi, publika ratingsystem liknande de som finns på privata marknader. Grundtanken är väldigt bra. Som framgår ovan kan kvalitetsdimensioner vara svåra att mäta, vilket dessa nationalekonomer sätter fingret på (jag vill påstå att detta gäller även vid varuupphandlingar). Egentligen är det konstigt att dessa frågor inte är mer belysta. Det krävs ofta någon som kommer utifrån och ifrågasätter. 

Slutsats
Det är ofta svårt att på ett korrekt och rättvisande sätt rangordna leverantörer, det blir lätt teoretiskt. Många anbudsgivare kan ”på papperet” lämna likvärdiga anbud kvalitetsmässigt, vilket också visar på att de håller en hög förmåga och kompetens. 

Inom till exempel bemanningstjänster är det svårt att hitta ett riktigt bra system.

Kanske kan branschorganisationer ta fram konkreta utvärderingsmodeller för specifika branscher? Ibland talas i allmänna ordalag om att utvärdering bör vara mer framåtsyftande än referenser. Men som framgår ovan finns det svårigheter inbyggda i det resonemanget. 

Konsekvenser för avropsordning

Detta visar också på nackdelar med att rangordna leverantörer, och att ha en del på förnyad konkurrensutsättning kan vara att föredra, vad gäller till exempel längre uppdrag. Vid avropstillfället fördjupas utvärderingen. Då blir det tydligt vem som är bäst.  

Förnyad konkurrensutsättning är också ett sunt förfarande, för att värna leverantörsmarknaden. Flera leverantörer måste då skärpa till sig, vilket är utvecklande för leverantörerna. 

Ibland är ändå renodlad rangordning att föredra, om uppdrag behöver påbörjas snabbt. Förnyad konkurrensutsättning är mera krävande vid beställning. Det är också lättare att förhålla sig till en leverantör, som lär sig kundens rutiner. 

Alternativ fördelningsnyckel

Rangordning kan dock få stora negativa konsekvenser för leverantörer. Det är ibland väldigt lite som avgör rangordning, ibland slumpen, men det lilla som avgör får så stora konsekvenser. 

Att den högst rangordnade leverantören är ”bäst” är ibland en teoretisk slutsats (vissa föredrar till exempel lägre rangordnadsprocesser och metoder). Det vore därför mer rimligt om åtminstone rangordnad två kan få flera uppdrag. 

En tänkbar modell är procentuell fördelning av avropen mellan leverantörerna. Det speglar verkligheten bättre, eftersom det ofta inte är så mycket som skiljer leverantörerna.