Sammanfattning
Vid bedömningen av om en utvärderingsmodell är tillräckligt tydlig och transparent måste hänsyn tas till upphandlingsföremålets karaktär och hur utvärderingsmodellen har utformats. En utvärderingsmodell som grundas på ett antal öppna frågor i en upphandling av konsulter ansågs förenlig med transparensprincipen. Upphandlingsföremålet och utvärderingsmodellens karaktär medförde att alltför höga krav inte kunde ställas på utvärderingsmodellens tydlighet.
Bakgrund
Stockholms stad upphandlade upphandlingskonsulter som ett öppet förfarande enligt LOU. Key Man ansökte om överprövning avseende delområdena It-system och Varor och tjänster.
Key Man menade att upphandlingsdokumenten var otydliga gällande den genomförandebeskrivning som leverantörerna skulle bifoga till sitt anbud, vilket var en överträdelse av transparensprincipen. Bristen hade också påpekats under upphandlingen i Frågor och svar-funktionen.
I upphandlingen kunde leverantörer erhålla poäng genom att bifoga en genomförandebeskrivning. Genomförandebeskrivningen skulle bestå av underkategorierna Kompetensförsörjning, Samarbetsform och Kvalitetssäkring. Ju bättre genomförandebeskrivningen ansågs vara, desto fler poäng fick leverantören.
Förvaltningsrätten ansåg att modellen för poängsättningen inte gav någon vägledning i hur anbuden skulle utformas för att ge poäng. Det gick inte att utläsa vad kommunen tillmätte betydelse vid utvärderingen och utrymmet för godtyckliga bedömningar var därmed alltför stort, enligt förvaltningsrätten.
Efter att ha konstaterat att bolaget också hade lidit skada av överträdelsen, beslutade förvaltningsrätten att upphandlingen avseende delområdena It-system och Varor och tjänster skulle göras om.
Domstolens dom
Kammarrätten menade att det, vid bedömningen av utvärderingsmodellen, måste tas hänsyn till upphandlingsföremålets karaktär. Eftersom det i det här fallet var fråga om upphandlingskonsulter, och inte en specificerad och jämförbar produkt, fanns det enligt kammarrätten större utrymme än annars för att använda sig av en mer öppen utvärderingsmodell.
Med hänsyn till att utvärderingen av genomförandebeskrivningen var utformad som öppna frågor och poängsattes utifrån en samlad bedömning, menade kammarrätten att bedömningen av hur väl ett anbud motsvarar det efterfrågade måste vara delvis skönsmässig.
Kammarrätten ansåg att informationen som lämnats i upphandlingsdokumentet gav tillräckligt tydlig vägledning om hur utvärderingen skulle gå till och vad Stockholms stad skulle lägga vikt vid. Kammarrätten ansåg därför inte att utvärderingsmodellen stred mot de grundläggande upphandlingsrättsliga principerna.
Eftersom Key Man också fört fram att utvärderingen genomförts felaktigt – vilket inte prövats av förvaltningsrätten – upphävde kammarrätten förvaltningsrättens dom och återförvisade målet till förvaltningsrätten för ny prövning.
Analys
Det här är inte första gången som en leverantör anser att en öppet formulerad utvärderingsmodell strider mot transparensprincipen – och det lär knappast vara den sista gången heller.
Å ena sidan är det naturligtvis viktigt att utvärderingsmodellen utformas på ett sätt som gör att den upphandlande myndigheten kan ta hänsyn till alla relevanta faktorer i samtliga leverantörers anbud.
Det här kan leda till att myndigheten inte vill låsa sig fast vid en alltför bestämd utvärderingsmodell utan hellre vill beskriva tilldelningskriterierna på ett relativt flexibelt sätt.
Å andra sidan behöver också leverantörerna, så konkret som möjligt, förstå vilka faktorer som kommer vara avgörande för utvärderingen för att kunna maximera sina chanser att tilldelas avtal och ytterst avgöra om de bör lämna anbud.
I praxis från EU-domstolen har de krav som de grundläggande upphandlingsrättsliga principerna ställer på tydlighet uttryckts så, att varje rimligt informerad och normalt omsorgsfull anbudsgivare ska kunna förstå den exakta innebörden av ett kriterium (Mål C-27/15 Pizzo).
Det här uttalandet kan i och för sig ge en del ledning, men låter en knappast avgöra om en utvärderingsmodell är förenlig med transparensprincipen.
Vad gäller svensk rätt tycks praxis i mångt och mycket gå tillbaka på RÅ 2002 ref. 50, även om det därefter kommit ytterligare praxis från högsta instans. I det målet uttalade Regeringsrätten att ”de skiftande förhållanden som förekommer i det ekonomiska livet gör att även förfrågningsunderlag och utvärderingsmodeller som inte är optimalt utformade får godtas” så länge de upphandlingsrättsliga principerna upprätthålls.
Även det här uttalandet är abstrakt, men indikerar kanske ändå att särskilt höga krav inte alltid kan ställas på utvärderingsmodellernas transparens.
Balansgången mellan att göra en helhetsbedömning av leverantörernas anbud och att ge leverantörerna tydlig vägledning kring hur ett anbud ska utformas är med andra ord knepig. I det här fallet syns det inte minst genom att förvaltningsrätten och kammarrätten kommit till motsatta slut.
Kammarrättens avgörande lägger till en bit till det här juridiska pusslet, eftersom domstolen anser att de krav som kan ställas på utvärderingsmodellen varierar beroende på upphandlingsföremålet men också på vilken utvärderingsmodell som valts.
Det kan enligt kammarrätten ställas högre krav på tydlighet avseende en utvärderingsmodell som syftar till att utvärdera enkelt kvantifierbara egenskaper hos det som offereras eller, med kammarrättens ord, produkter som enkelt kan specificeras och jämföras mot till exempel uppställda tilldelningskriterier. Att däremot bedöma kvaliteten och kompetensen hos konsulter skulle alltså kunna motivera en utvärderingsmodell med öppna frågor som till viss del leder till en bedömning med skönsmässiga inslag.
I vår mening är det också rimligt att, som kammarrätten gjort, inte ställa alltför höga krav på utvärderingsmodellernas tydlighet i fall som dessa. När det gäller i huvudsak rent intellektuella arbeten är det svårt att på ett mätbart sätt redogöra för vad en genomförandebeskrivning ska visa prov på för att få maxpoäng.
Till viss del vill myndigheterna ofta lämna utrymme för anbudsgivarnas kreativitet och eftertanke. I det här fallet framstår dessutom beskrivningen av vad genomförandebeskrivningen skulle innehålla enligt vår mening som förhållandevis fyllig.
Målnummer och domstol
Kammarrätten i Stockholm mål nr 3488-23.
Juristpanelen
Det var ett väldigt bra beslut från FR och mycket synd att KR kände att de behöver lägga sig i och vända domen. KR verkar sakna förståelse för vad upphandlingsarbete betyder och går ut på i verkligheten och verkar ha en naiv syn på myndighetens avsikt med att genomdriva den här undermåliga upphandlingen.
Att skönsmässigt betygsätta en öppen beskrivning på ett anvisat tema pekar omisskännligt på en otransparent utvärderingsmodell. Det finns två möjligheter för en leverantör med en sådan modell: 1) gissa vad upphandlaren vill höra med inte velat berätta och skriva ner det, 2) fantisera fram sagolika beskrivningar som kommer att överträffa allt som en annan fantasirik leverantör kan komma på. Båda alternativ är vansinnigt dåliga och tydliga exempel på hur upphandlingar inte ska gå till. Med van leverantören gör kanske spelar ingen roll…
Det är nämligen så att den här typen av skönsmässiga upphandlingar uppstår inte av ett sammanträffande (empiri). De används ofta med avsikten att UM ska kunna välja leverantörer efter eget behag och göra beslutet i princip oöverklagbart. Utfallen från den här typen av upphandlingar är ofta iögonfallande märkliga (fel leverantör vinner), något som andra leverantörer reagerar på när tilldelningsbeslutet kommer men som oinitierade personer som KR-domare eller juristexperter inte själva kan förstå. Det finns alltid en stark indikation på fiffel eftersom de beskrivningar som utvärderas alltid sekretessbeläggs så att det som utlovats av vinnaren stannar mellan dem och UM. Vad tycker rätten om det faktum att upphandlingen avgörs av sådan information som förblir hemligt för evigt? Hur passar det in i kravbilden på likabehandling och transparens? Svaret? Det passar naturligtvis inte men rätten skulle behöva tänka ett eller två steg till för att kunna förstå det och det verkar vara bortom deras förmåga.
Executive summary: Hade jag en morsa som jobbar på upphandlingsenheten och jag vill få lite affärer i kommunen genom min firma så skulle jag råda henna att genomföra just den här typen av upphandling. Det skulle gå jättefint.
Ojojoj Björn, vad du är bra.
Snacka om huvudet på spiken. Självklart är den typen av utvärderingsmodeller bara en konstruktion gjord för godtycklig bedömning och för att kunna klara en överprövning.
Att just Stockholms stad är föremål för denna överprövning är inte konstigt. Var är den goda affären?
I Sverige finns ett flertal superduktiga upphandlingskonsulter som både kan nyttja lagstiftningen maximalt, bygga goda affärer samt genomföra upphandlingsuppdrag effektivt och till låg kostnad. Många gånger exkluderas dessa pga myndigheternas oproportionerliga kravställning och icke transparanta utvärderingsmodeller till förmån för juniora konsulter med marginell affärskunskap men som tillhör någon av de stora konsultbolagen med muskler.
Oj oj vad det raljeras och ryggdunkas idag
Som vi alla vet så har olika varianter av utvärderingsmodeller prövas i våra domstolar i ett otal antal domar och resultaten av dessa prövningar har varierat kraftigt. I vissa fall har en modell klarat prövningen, för att vid en senare prövning, ibland av en annan domstol och ibland av samma, blivit ogillad. Under de senaste åren har domstolarna varit mindre accepterande/tillåtande till olika utvärderingsmodeller där kvalité på något sätt har varit med i beräkningen, detta är min uppfattning och inte statistisk belagt 🙂
Vi kan nog alla vara överens om det svårt att tillämpa en modell är 100% transparant och förutsägbar när det gäller tjänster, antingen så är en produkt 10 cm eller så är den inte det. För tjänster blir frågan mycket mer komplex.
För att kunna bedöma en anbudsgivares beskrivning av ett kriterie kräves det en tydlig modell och ett strukturerat tillvägagångsätt samt inte minst en kunnig bedömningsgrupp. De som genomför bedömningen ska inte veta vilka som står bakom det som ska bedömas och gruppen ska inte ha tillgång till anbudspriserna. Det är av yttersta vikt att bedömningen är opartisk och ingen läckage sker, självklart ska allt dokumenteras i vederbörlig ordning.
Personligen gläds jag åt detta beslut och det känns hoppfullt att KR at lagt sig i, speciellt i denna fråga som är så viktig för oss som vill bedöma och tilldela på annat an bara lägsta pris.
För om vi som upphandlande myndigheter hela tiden hindras att bedöma kvalité så blir motreaktionen lägstapris och den utvecklingen vill vi nog inte ha, eller?
Min uppmaning till er som förlorar med för lite poäng. Sluta använda domstolarna som utlopp för en besvikelse, bit ihop, prata med upphandlarna hör med dem om varför de gav de poäng ni fick (om nu detta inte framgår av tilldelningsbeslutet, fråga vad ni kan göra för att bli bättre nästa gång, ta lärdom och bli bättre.
Det kommer alltid nya möjligheter till nya affärer.
Bra dom av KR.
Det måste naturligtvis få finnas mer utrymme för bedömningar när det handlar om utvärdering av intellektuella tjänster som inte låter sig beskrivas och ramas in på samma sätt som varor eller enklare tjänster.
Sen är det ju en annan fråga om hur mycket man får ut av en bifogad genomförandebeskrivning nu efter AI:s intåg? Utvärderar man något som anbudsgivaren själv skrivit eller bedömer man i själva verket en text framtagen av Chat GPT? Låter kanske en aning hokus pokus, men (tyvärr) lär ju användandet av AI för att utforma anbud inte minska i framtiden.
Mycket känslor gällande denna dom verkar det som. Jag är hyfsat van konsultupphandlare och ofta vill jag inte skriva konsulten allt för specifikt på näsan vad jag vill höra i en anbudspresentation (eller liknande där konsulten ska visa på sin kunskap och erfarenhet). Jag vill ju ha en konsult som kan sitt område och absolut inte den billigaste. Däremot är det alltid viktigt att jag i utvärderingen sedan kan motivera och ange vad det är som anledningen till att det ena anbudet fått en viss bedömning och ett annat ett annat utfall. Lite förenklat; vad gör att den ena sticker ut positivt och/eller vad saknas hos den som fick sämre poäng?
Ett bra domskäl/-slut enligt mig.
Kul att denna ”klassiska fråga” debatteras – här kommer lite inspel i julefriden.
Jag delar INTE Björns uppfattning att det enda som kan motivera ”öppna frågor” är korruption, utan ser den typen av utvärderingsupplägg som ett sätt att få in nyheter och utveckling (kanske rentav modeordet innovation?) i affären. Och i synnerhet kring tjänster av mer komplex/intellektuell karaktär, brukar det handla om någon form av öppna frågor/beskrivningar/förslag på arbetssätt ell likn.
Enligt en stram och (nästintill) 100 % transparent modell, har ju UM angivit exakt vad som ger exakt vilken poäng/mervärde, vilket förutsätter att UM har fullständig koll på sakområdet.
Om man (som undertecknad) tror att anbudsgivarna alltid har bättre koll på sakområdet och därför sannolikt är de som lär komma på nya fiffiga arbetssätt, metoder, så blir utmaningen hur man ska kunna uppmuntra till dessa? Jag tror inte UM kommer att hinna/orka/kunna få fram detta oavsett hur många RFIer och dialoger man genomför, så mitt svar har hittills blivit att be om förslag från anbudsgivarna, och sedan utvärdera dessa i en utvärderingsmodell som är öppen, alltså i viss mån subjektiv.
Kan detta missbrukas? Säkert, men i motsats till Björns upplevelser har jag under +20 år inom off upphandling i princip alltid fått samstämmiga reaktioner från mina utvärderingsgrupper (motsv) att ”det där svaret som vi inte hade tänkt på, är ju klart bäst” – oavsett om man tidigare lutat åt en annan lösning; alltså har vi vidgat vår uppfattning om kvalitet.
Men om man anser att det krävs (nästintill) 100 % transparens på kvalitetssidan av en upphandling, hur kan det komma sig att man inte kräver samma förutsebarhet för den andra planhalvan, dvs priset? Om man som UM ska veta allt om kvalitet, borde man väl också veta allt om prisnivåerna?
Och om vi spetsar till det ännu mer: om man ”vet” vem som uppfyller alla krav och till ”rätt” pris – varför ska vi då annonsera och krångla, borde vi inte gå direkt till den ”rätta” leverantören?
Min uppfattning är avslutningsvis att off upphandling inte handlar om den typen av vetande kring absoluta värden (jfr världsrekord), utan om bedömning av relativa värden (jfr VM-guld) – vilket anbud av de som råkade lämnas i denna upphandling, hade den här gången den bästa lösningen (mixen av pris/kvalitet)? Om vi sedan är transparenta vid motiveringen, kan det leda till utveckling för alla inom resp bransch – problemet här är dock sekretesshysterin kring stora delar av anbuden… men det är en annan debatt!
En synnerligen God Jul önskas alla upphandlingstomtar som läser så här långa och torra inlägg!
En annan Björn dyker in i tråden såhär dan före dan före dan. Uppenbarligen är jag en av Ulfs upphandlingstomtar 🙂
Jag har följt diskussionen med intresse eftersom den här frågan är såväl komplex som viktig. Även jag har arbetat med offentlig upphandling i 20+ år och är för egen del övertygad om att en bra utvärderingsmodell av intellektuella tjänster eller komplexa produkter både får och bör innehålla subjektiva inslag. Precis som Ulf konstaterar, finns det flera olika grunder till varför man vill bedöma subjektivitet. Samtidigt tror jag inte att vi ska vara naiva. För egen del har jag sett många exempel där subjektiviteten har använts för att välja ”rätt” leverantör, d.v.s. ”favoriten”. Jag har dock även sett många upphandlingar där utvärderingen använts på det sätt Ulf pekar på, nämligen att hitta en ny eller bättre lösning.
Frågan är för komplex för att fullt ut hanteras i en tråd, men det finns ett par avgörande faktorer för om en utvärderingsmodell med subjektiva bedömningar kommer att vara bra eller inte. En av de viktigare är utvärderingsgruppens kompetens. Helt enkelt – är de som gör bedömningen tillräckligt kompetenta eller erfarna inom området. För att bedöma en komplex beskrivning måste den som gör bedömningen ha en egen hög förståelse och kompetens. I annat fall kommer någon av följande situationer att uppstå. Anbudet får en för låg poäng eftersom utvärderingsgruppen inte förstår vad som är bra (när det som står är bra på riktigt). Anbudet får en för hög poäng eftersom utvärderingsgruppen tror att det som står är bra (men där det egentligen inte är det).
Frågan i stycket ovan kan synas självklar, men min erfarenhet är att variationen är stor. En annan avgörande fråga är var subjektiviteten ligger. Är det någon mer än jag som sett utvärderingskriterier på temat ”uppfyller upphandlande myndighets förväntningar på ett utmärkt sätt”? Vad avses med ”förväntningar”? På den frågan finns oftast inget svar. Då går vi tillbaka till frågan om kompetens hos utvärderingsgruppen. Har gruppen en hög kompetens inom området kan jag förstå vad förväntansbilden är. Vet jag inte om kompetensen är det en helt annan sak. Här finns helt klart ett arbete att göra för att bli avsevärt mer tydlig i ett stort antal upphandlingar.
Vill jag med detta säga att alla upphandlingar är bra eller att alla är dåliga? Inget av alternativen. Jag vet dock att det finns en utvecklingspotential i många utvärderingsmodeller (och hanteringen av själva utvärderingen) som skulle förbättra såväl utfall som anbudsgivarnas förtroende för den offentliga upphandlingen.
Frågorna ovan är bara två av flera viktiga. Men frågor som, enligt min uppfattning, diskuteras alltför sällan. Nu är det troligen bara jag själv och Ulf som läser detta, men frågan är värd en större diskussion, varför inte i ett fysiskt möte där frågan kan behandlas utifrån alla aspekter?
God jul och gott nytt upphandlingsår!
Okej då kommer här mina kommentarer på detta ärende. Då jag haft lite för mycket ledighet 🙂
För det första så tycker jag att de senaste överprövningar där kvalitet ska utvärderas så läggs det allt för stor vikt på hur en anbudsgivare uppfattar en utvärderingsmodell och alldeles för lite på hur den upphandlade myndigheten eller i detta fall upphandlaren själv vill särskilja leverantörerna på för att få fram en vinnare.
Det är alltid en utmaning att skapa en tydlig och öppen utvärderingsmodell. Men om man inte kan se lite längre och försöka förstå hela vitsen med att utmana anbudsgivarna som i detta fall upphandlaren gjort, har jag svårt att hålla med Key Man om att en överträdelse skett gentemot transparentsprincipen.
Det handlar i slutändan om att den upphandlade myndigheten ska kunna välja ut den leverantör som tydligast och med mest egen insikt i vad de kan leverera och vilka krav som ställs. Eftersom samtliga anbudsgivare väl vet vad som kommer förväntas av dem inom detta segment och att just upphandlingsföremålets karaktär som är upphandlingskonsulter gör en mer tydligt.
Om en leverantör inte ser sig kunna motivera eller bevisa vad de kan leverera utifrån de uppställda reglerna eller kraven så ska de heller inte bli beaktade med fullt mervärde.
Modellen är mycket tydlig och den vägledning som den upphandlade myndigheten gett ut ger även den en ytterligare tydlighet och transparent om vad de vill lägga vikt på vid en utvärdering. Detta måste vara det som ska styra hela syftet med modellen, inte vad att en förlorande anbudsgivare tycker efter att de inte blir tilldelade.
Detta gör det så svårt för mig att acceptera att en leverantör som så fort de inte blir tilldelade maxpoäng ska få en möjlighet att överpröva. Istället för att bara acceptera att man inte var så bra på att formulera sig, det tyder enligt mig endast på att de inte är så bra som de tror.
Det finns allt för många upphandlare där ute som tror att de är experter, och att de tror sig ha all rätt att kunna pröva allt så fort de inte blir upphöjda till skyarna. Jag tycker att de kanske kan lära sig något genom att kunna ta emot kritiken med ett omfång istället för att gå till attack.
Tack för mig