Rikard Blom, grundare e-avrop.
Rikard Blom, grundare e-avrop.

Problemen med viktade utvärderingar

Att vikta pris och kvalitet i utvärderingen är en vanlig metod att sålla fram det bästa anbudet. Rikard Blom visar med konkreta exempel på fallgroparna med metoden.

I lagen om offentlig upphandling anges att en upphandlare dels kan anta anbudet med lägst pris, dels ta hänsyn till andra kriterier än pris. I dessa fall ska det framgå av underlaget hur sådana kriterier kommer att viktas inbördes.

De formler som används för att beskriva viktningen är en funktion där pris och kvalitet samverkar på ett förutbestämt sätt. Resultatet av denna samverkan, mellan pris och kvalitet, avgör anbudens rangordning. En konsekvens av viktning är att ett anbud med hög kvalitet kan vinna upphandlingen trots att det inte är billigast. Vikt är därför en matematisk beskrivning som visar hur priset tillåts öka när kvalitén ökar.

Det finns en föreställning om att viktning av kvalitetskriterier förhindrar ”dåliga” anbud med lågt pris från att vinna en upphandling. Detta uppnås genom att vikta upphandlingen så att anbud med högre kvalitet gynnas. Därmed kan ett anbud med högre kvalitet vara dyrare än anbud med lägre kvalitet. Viktade upphandlingar ses ofta som ett uttryck för myndighetens villighet att betala för kvalitet.

Viktning signalerar att verksamheten kan anta hög eller låg kvalitet beroende av priset. Rimligtvis borde det vara rätt kvalitet oberoende av pris.

Det är dessvärre bara halva sanningen. Eftersom vikt är en funktion där pris och kvalitet samverkar är det lika sant att ett kvalificerat anbud, utan mervärde, kan vinna en upphandling bara priset är nog lågt.

Viktade upphandlingar är därför både ett uttryck för myndighetens villighet att betala för kvalitet men också ett uttryck för hur lite kvalitén betyder bara priset är nog lågt.

Ett högt pris kan kompenseras av hög kvalitet. Ett anbud utan mervärden kan kompensera bristande kvalitet genom lågt pris. Vikt är kommunicerade kärl mellan pris och kvalitet.

Högsta kvalitet är sällan bäst

I verkligheten är högsta kvalitet sällan bäst. Om så vore fallet skulle alla våra leasingbilar vara av märket Rolls Royce och alla skolbarn skulle äta Wallenbergare gjorda på oxfilé i skolmatsalen. Bra kvalitet handlar i stället om att det ska vara rätt kvalitet i förhållande till verksamhetsuppdraget, inte högsta kvalitet.

I många fall innehåller utvärderingen en bedömning av anbudens kvalitetshöjd. Exempelvis ”beskriv arbetet med x y z”. ”Eller ange a b c”.

Uppenbarligen vet upphandlaren vad ett anbud ska innehålla för att få en viss poäng. Annars skulle utvärderingen inte kunna genomföras. Om man nu vet det, varför beskriver då förfrågningsunderlag så sällan hur bra ett anbud måste vara får att vi ska kunna genomföra vårt verksamhetsuppdrag på ett tillfredsställande sätt?

I dag används ofta en metod för viktning som medger successivt stigande pris i takt med stigande kvalitetspoäng. Hur kunde det bli så kan man fråga sig? För utom att all utvärdering driver priset uppåt så är kontraktsföremålets kvalitetshöjd nu beroende av innehållet i inlämnade anbud. Om vi är beredda att betala mer för anbudet med hög kvalitet varför ställer vi då inte det som krav? Det är bara genom kravställning som en leverantör kan få en uppfattning om vad den offentliga marknaden behöver.

Hela idén med viktad utvärdering är i bästa fall mycket tveksam.

Metoden med viktning signalerar att verksamheten kan anta hög eller låg kvalitet beroende av priset. Rimligtvis borde det offentliga ha rätt kvalitet oberoende av pris. Det kan inte vara en mänsklig rättighet att alltid köpa det med högst kvalitet bara för att man betalar med skattemedel.

I stället för att försöka bedöma vad som är bäst, och betala ett högre pris, bör vi bedöma om anbudet klarar våra krav och är tillräckligt bra. Av alla anbud som bedöms som tillräckligt bra väljer vi anbudet med lägst pris.

Frågan är om det finns något sakligt skäl till att betala mer för ett anbud som är bättre än det vi själva anser vara tillräckligt bra? Jag tror att vi alla kan vara överens om att om vi har två anbud, där båda är tillräckligt bra för att vi ska kunna genomföra vårt verksamhetsuppdrag, så är det anbudet som har lägst pris av de bägge som är bäst. Bäst för så väl myndigheten som för skattebetalarna. Det innebär att hela idén med viktad utvärdering i bästa fall är mycket tveksam.

Tillräckligt bra är för övrigt just den metod vi använder när vi handla för våra egna pengar. Som privatpersoner viktar vi aldrig pris och kvalitet. Vi är inte heller beredd att betala mer för något som är bättre än vi är i behov av. I synnerhet om vi redan har något som är tillräckligt bra och som dessutom är billigare.

Tveksam affärsmodell

Metoden med viktade upphandlingar är i bästa fall en mycket tveksam affärsmodell. I synnerhet hur kvalitetspoängen sammanställs och beräknas. Ur ett affärsperspektiv räcker det knappas att vi räknar på det sätt vi sagt i förfrågningsunderlaget. Vi måste också säkerställa att vi beräknar det vi vill veta.

Anta att vi utvärderar ändamålsenlighet i ett IT-system. Vi listar en mängd kriterier. Två av dom är användarvänlighet och tillgänglighet. I utvärderingen poängsätter vi dessa egenskaper och för varje ökning av kvalitetspoängen tillåts anbudets pris öka med den fastställda viktningen. I detta fall är vikten eller maxpoängen lika stor för bägge kriterierna (max 9) då vi bedömt att dom är lika viktiga.

Beakta nedanstående anbud och fundera på vilket av anbuden som är bäst.

Summering av kvalitetspoäng

Användar-
vänlighet
Tillgänglighet Summa
Anbud A 1 9 10
Anbud B 5 5 10

Vi har två anbud med samma poäng. Poängen är något överdrivna i syfte att klargöra hur summering fungerar.

Enligt vår modell har bägge anbuden samma kvalitet. Men stämmer det?

I verkligheten har Anbud A ett system som i princip är oanvändbart, oavsett pris. Anbud B är det klart bästa och representerar ett system som går att använda. Anbuden får samma poäng då alla kriterier är utbytbara. Det beror på att metoden summerar kvalitetspoängen i stället för att multiplicera den.

Summametoden tillåter en leverantör att kompensera en dålig egenskap genom att vara bra på något annat. Man kan byta dålig användarvänlighet med bra tillgänglighet eller tvärt om. Men det vi är ute efter är naturligtvis ett system som är bra på alla kravställda kriterier. För att få modellen att representera det vi vill veta måste alla kvalitetspoäng multipliceras, inte summeras. Det är bara då vi får en rättvis bild som representerar anbudens kvalitet och de vi vill veta.

Multiplicering av kvalitetspoäng

Användar-
vänlighet
Tillgänglighet Produkt
Anbud A 1 9 9
Anbud B 5 5 25

Vid multiplikation är poängen inte utbytbara på samma sätt som vid summering.

När kvalitetspoängen multipliceras blir Anbud B mer än dubbelt så bra som Anbud A. I andra sammanhang, exempelvis vid riskanalys, där man precis som i upphandling sammanställer ”mjuka” kriterier används multiplikation i stället för summering. Det är oklart varför summering av kvalitetskriterier är den förhärskande metoden inom offentlig upphandling. Det finns inget som talar för att det blir rätt.

Metoden gör också att det blir omöjligt för upphandlaren att skapa ett underlag som styr marknaden genom att premierar vissa kvalitetsegenskaper före andra.

Kombinationen av att summering medger full utbytbarhet mellan alla kvalitetsegenskaper samt att metoden tillåter kompensation av bristande mervärde genom sänkt pris, gör att ett anbuds slutpoäng och därmed kvalitet inte behöver ha någon representation i anbudet.

Metoden visar inte heller hur bra eller dåligt ett anbud svarar mot verksamhetsuppdraget, dels för att det så sällan är kravställt med uppdraget som utgångspunkt, dels för att metoden inte beräknar det vi vill veta.

Måste veta verksamhetens behov innan annonsering

Ingen upphandlare kan vid anbudsöppningen utvärdera sig fram till verksamhetens behov av kvalitet eftersom kvalitén då är begränsad till innehållet i de anbud som inkom i upphandlingen.

Som upphandlare måste du känna till verksamhetens behov innan annonsering, uttrycka dessa krav i ett avtal och ta in anbud. Man måste helt enkelt veta vad man vill ha.

Om en förvaltning inte talar om inför upphandlingen hur bra något måste vara för att vara tillräckligt bra kan denna kunskap inte ersättas genom att upphandlaren viktar pris och kvalitet.

För att säkerställa den bästa affären måste man därför återgå till upphandlingens grundläggande princip och ställa rätt fråga:

   Vi ska köpa det här! Hur mycket kostar det?

Rikard Blom
Rikard Blom
Rikard Blom är grundare av e-Avrop som startade 1999. Rikard leder utveck­lings­arbetet med e-Avrops elektroniska inköps­system. Systemet riktar sig i första hand mot offentlig sektor. Många talar om den goda affären utan att närmare gå in på vad den består av. Upphandling, med det stora värde den representerar, verkar samhällsförändrande. Förändring finansierat av skattemedel. Därför är det viktigt att man granskar metoder och affärsmodeller som används i upphandling. Lagen är ingen affärsmodell. Den är bara ett rättesnöre. Det är säkerställandet av den goda affären som är upphandlingens kärna. Fritiden ägnas åt fiske utan att det nödvändigtvis måste nappa.
Rikard Blom

Om Rikard Blom

Rikard Blom är grundare av e-Avrop som startade 1999. Rikard leder utveck­lings­arbetet med e-Avrops elektroniska inköps­system. Systemet riktar sig i första hand mot offentlig sektor. Många talar om den goda affären utan att närmare gå in på vad den består av. Upphandling, med det stora värde den representerar, verkar samhällsförändrande. Förändring finansierat av skattemedel. Därför är det viktigt att man granskar metoder och affärsmodeller som används i upphandling. Lagen är ingen affärsmodell. Den är bara ett rättesnöre. Det är säkerställandet av den goda affären som är upphandlingens kärna. Fritiden ägnas åt fiske utan att det nödvändigtvis måste nappa.

Kommentatorerna ansvarar för sina egna inlägg

13 reaktioner på ”Problemen med viktade utvärderingar

  1. Ovanstående är förvisso sant, men gäller endast på en fungerande marknad. Inom många tjänsteupphandlingar så är det ett väl känt branschproblem att anbudsgivarna lämnar ett för lågt fast pris som inte täcker deras kostnader för att utföra vad som är kravställt. Sedan räknar de med att komma undan genom att inte göra allt som är tänkt, samt att försöka ta igen det på en mängd tilläggstjänster som de vet kommer att behövas. Då fungerar det dåligt med lägsta pris, då det normalt leder till en leverantör som fokuserar på tilläggstjänster och bråkar om allt för att överleva, istället för att leverera vad som är tänkt och kravställt.
    Den uppmärksamme tänker då att ”det är väl bara att kräva att de gör vad som är kravställt”, men det är de facto inte så lätt att se och följa upp. För att göra det krävs enormt mycket resurser som kan sitta och detaljgranska utförandet och sedan var kunniga nog att koppla det till vad som är avtalsenligt. Och dessa resurser finns i stort sett aldrig, för hur ofta har du ordentligt med städkompetens kvar när du väljer att köpa in städningen?
    En annan aspekt är att det knappast driver utvecklingen, om man som verksamhet kravställer precis den tjänsteleverans man vill köpa. Det kan finnas annorlunda och bättre sätt att göra det ute på marknaden, men det kommer då aldrig den upphandlande enheten till godo.
    Det tredje är att författaren vid poängberäkningsresonemanget förutsätter att 1p är katastrofalt. Vid ett mervärdessystem så är 1p ändå bättre än vad som är kravställt, och alltså inte uselt. Man får ju inte glömma att kravställa en basnivå bara för att man jobbar med kvalitetspoäng. Men visst är det tänkvärt att arbeta med multiplicering istället för summering!

    Så ja, för varor och enklare tjänster som går att tydligt kravställa så stämmer resonemanget. Men för komplexa tjänsteentreprenader så gäller inte alls detta förhållandet.

  2. Hej Anna

    Jag håller med om de svårigheter som finns i tjänsteupphandlingar. Om man anser att ”marknaden” inte fungerar måste man fråga sig – vem är marknaden? Marknaden består av tillgång och efterfrågan. Myndigheten är därför en del av marknaden och representerar den starkaste marknadskraften. Man kan därför säga att det är myndigheten som utgör den viktigaste delen av marknaden. Inte leverantören. En leverantör kan inte tvinga marknaden att köpa stödstrumpor på 6 000 kr paret om inte marknaden självmant beställer dessa.

    Jag håller också med om dina tankar om uppföljning. Men avsaknaden av uppföljning under avtalsperioden kan inte ersättas av utvärdering vid anbudsöppning. Det finns en stor övertro på utvärdering och problemen med upphandling av tjänster blir knappast mindre för att vi använder tveksamma affärsmodeller.

  3. Dessutom:
    Tvärt emot vad man kan tro, är det bara när vi använder metoden ekonomiskt mest fördelaktiga som vi kan få billiga anbud med lågt mervärde. Vid upphandling till lägsta pris är kvalitetskraven redan fastställda. I dessa upphandlingar går det inte att kompensera brister i mervärde genom att sänka priset.

  4. Tyvärr en väldigt förenklad bild av verkligheten. Om tillgänglighet i exemplet ovan är den procent av all tid IT-verktygen är tillgängligt för arbete så har vi en totalt värdelös ny utvärderingsmodell, ingen accepterar ett it-verktyg som bara är igång hälften av all tid. Jag kan tänka mig många tillfällen då det är helt OK att betala extra för något utöver tillräckligt bra, både i min tjänst och privat. Jag upphandlar ofta bygghandlingsprojektering, tillräckligt bra är då en projektör som får fram handlingar som det går att bygga ifrån och ger en anläggning som håller sig inom vissa LCC-kostnader. Ett mervärde som vi är beredda att betala för (även om det är väldigt svårt att utvärdera och mäta) är en projektering som ger lägre LCC-kostnader i framtiden. Privat lägger jag ofta lite mer pengar på snygga/sköna kläder än vad som skulle behövas för tillräckligt bra.

  5. Va????? Måste man sänka kvalitetskraven när man använder ekonomiskt mest fördelaktiga? Det är faktiskt OK med starka krav och utvärdering.

  6. Nu förutsätter du att man inte har tillräckliga krav bara för att man jobbar med mervärden. Man kan – som Kjell skriver – ha en good enough-nivå på kraven, men ändå öppna för att det finns mervärden som gör att man kan tänka sig att betala mer.
    Men visst är det ett problem att det lätt kan bli ett anbud med lågt pris och obefintligt mervärde som vinner, så man ska inte använda metoden utan tanke. Det kräver en väldigt hög viktning av kvalitetskriterierna, vilket inte alls lämpar sig för alla upphandlingar. Utan för sådana som normalt har stark prispress och det verkligen är väsentligt med kvalitet i leveransen och denna inte låter sig lätt beskrivas eller mätas. T.ex. konsulter som Kjell nämner. Kostnaden för konsulten är inte den stora kostnaden för projektet, utan konsulten kostar en liten del men påverkar stora värden. Svårt att kravställa exakt vad man är ute efter, för om man kunde det så skulle man nog inte köpa konsulten utan göra arbetet själv…

    1. Nej Kjell, man behöver inte sänka kraven men man bör veta vilka krav man har innan man annonserar. Att mitt exempel är ett dåligt upplägg när man upphandlar ett IT-system håller jag med om. Det är inte det som exemplet handlar om. Exemplet visar på kriterierna utbytbarhet, oavsett vilka dom är. Frågan är således om denna egenskap, utbytbarhet, är önskvärd och i så fall varför.

      Det handlar inte heller om att kravställa något man inte vet hur man ska utföra själv. Det handlar om att kravställa vad man vill uppnå. Om det är svårt för en upphandlare att kravställa exakt vad man är ute efter kan så kan man ju inte förvänta sig att leverantören ska förstå det. Frågan är också hur man kan utvärdera ett anbud om man inte vet vad man vill uppnå eller vilka svar som ger en viss poäng.

      Att upphandlaren inte kan allt om allt är helt naturligt. Men att beställaren, den interna experten på området, inte vet det, eller delger upphandlaren denna information, är ett problem som inte upphandlaren kan lösa genom att vikta utvärderingen. I synnerhet som det är ytterst tveksamt om affärsmodellens slutresultat speglar de man vill veta.

  7. Poängmodellen som du beskriver är inte bra vid viktning och ger därför en sned uppfattning av nyttan med viktning. Istället bör man prissätta alla bör-krav som man kan ha nytta av för att få en tydlighet i vad man vill uppnå. Ett exempel som säkert både du och jag tillämpar privat: Vi ska köpa bil och har satt en minimistandard på denna men om vi får ett förmånligt pris på t.ex metalliclack kan vi tänka oss att köpa även det. Vi är beredda att betala max 5.000kr för detta och värdet av börkravet sätts således till 5.000kr. Leverantörer som kan erbjuda detta till ett lägre pris än 5.000kr kommer att inkludera detta (dvs mot ett tillägg på egenkostnaden för detta, t.ex 3.000kr) medan de som har en egenkostnad överstigande 5.000kr kommer att avstå. Tydligt och bra för både säljare och köpare. Som synes är det alltså väldigt viktigt att köparen har marknadskännedom om rådande priser och även vet vad man vill ha som ett minimum och vad man kan tänka sig att betala extra för.

    1. Instämmer helt, monetär utvärdering med prissatt kvalitet är att föredra framför omräkning av poäng. Men oavsett vad du väljer, pengar eller omräkning av poäng, har affärsmodellen samma inneboende problem. Alla egenskaper i utvärderingen är utbytbara på grund av att dessa summeras samt att du kan kompensera för bristande mervärde genom att sänka priset.

      Och som sagt, ytterligare en brist eller i var fall något som kräver en förklaring är varför man skulle betala mer för något som är bättre än det verksamhetsuppdraget kräver. Om det ”extra” är viktigt bör det ingå i minimikravet. Om det är något man både kan ha och vara utan bör man inte betala något alls, oavsett prislapp. Vi bör med andra ord tillämpa samma affärsmodell i yrkesutövningen som när vi gör affärer med egna pengar.

  8. Som alltid gäller det att ju mer Du och ditt team vet om vad som ska köpas och vad marknaden har att erbjuda desto bättre affär gör man.
    Då man inte vet är urvalsförfarande med sekretesskyddad dialog att föredra. Lite omständigare men alltid med gott resultat så här långt.

    Låt leverantörerna vara med och tycka till om sättet att utvärdera så alla förstår vad som menas med de olika kraven då mjuka värden är väldigt svårt att få ner till siffror.

    Jag är dock helt för att inte bara gå på pris då good enough sällan driver verksamheten framåt. Tänk även på förbättringar under avtal som en viktig del att utvecklas tillsammans för att få mer värde för varje krona efter en tid i avtalet.

    MVH Johan

    1. Din kommentar och tidigare kommentarer tenderar att inte handla om samma sak som artikeln.

      Det jag ville visa är att metoden med viktning inte ger oss svar på de vi vill veta. Rent matematiskt är alla kvalitetskriterier utbytbara och bristande mervärde kan kompenseras genom att sänka priset. Det är inte en åsikt, det är bara matte.

      Om man som du skriver ”vill driva verksamheten framåt” uppstår en central fråga. Är den matematiska metoden vi använder för utvärdering en metod som är lämplig om vi ska driva verksamheten framåt?

      Jag menar att svaret är nej. Metoden är direkt olämplig. Jag menar också att vi alla står inför ett mycket allvarligt problem när vi med hjälp av skattemedel, i stor omfattning, sätter normala marknadskrafter ur spel genom upphandla leverantörer med en felaktig affärsmodell.

  9. Jag måste säga att du presenterar en otroligt förenklad bild av hur upphandlare jobbar med viktning och utvärderingsmodeller. Jag säger inte att du inte har en poäng, men artikeln är så pass förenklad att den varken går att bekräfta eller dementera.

    Det väcks dock en rad frågor:
    I ovan nämnda exempel har du endast två kriterier, i de fall man använder sig av fler, låt oss säga 5, så blir ju skalan väldigt exponentiell. Med max 9 (som i ditt exempel) på samtliga så blev det plötsligt 59049 som produkt mot 45 i summa.
    Drar det inte iväg lite väl snabbt om man använder fler än 2 kriterier?
    På grund av att skalan blir exponentiell, blir då inte modellen väldigt okänslig för pris i de fall det finns ett antal anbud som faktiskt kan konkurrera med kvalitet på flera kriterier?
    Vidare säger du att samtliga kriterier är utbytbara, nu brukar ju kriterierna ofta vara viktade mot varandra, oavsett om det är i procent, pengar eller poäng. Så hur gör du i din modell när kriterierna inte är värda lika mycket? Ändrar skalan för dessa?

    En utvärderingsmodell ger aldrig fel vinnare, den ger rätt vinnare utifrån de faktorer vi väljer att stoppa in i modellen. Detta gör att det oftast är användningen av en modell som kan ses som felanande snarare än modellen som sådan.

    Jag anser att det är viktigare att se hur vi använder oss av en modell och hur vi väljer att betygsätta inom kriterierna, exempelvis utifrån vilka skalor vi använder med mera. I exemplet använde du gissningsvis 1-9. Om man använder sig av 0-9, eller av binära börkrav (ja/nej, 1/0) så torde ju modellen med multiplicering göra det lite tufft för vissa, ett betyg 0 och det blir noll rakt igenom, eller?

    Hur pris ska beräknas (totalkostnad, lägst pris, TCO etc) samt val av utvärderingsmodell och viktning är bland det viktigaste i en upphandling och jag tror att alla upphandlare kan lära sig mer och kan behöva ta till sig av nya kunskaper och idéer. Jag tror dock att många upphandlare redan nu är kreativa, kompetenta och skickliga på att använda olika modeller och metoder för utvärdering och jag anser att din artikel förringar det arbete som görs och förenklar väldigt mycket utan att besvara en rad frågor. Nu tror jag inte alls att så var din tanke med artikeln, men den kan uppfattas som ”Allt ni gjort hittills är i bästa fall mycket tveksamt likt de affärsmodeller som används”.
    Som jag sagt så väcker artikeln fler frågor än den besvarar, några av nämnda frågorna har jag listat ovan, men inte alla.

    Jag brukar säga till mina beställare att oavsett hur vi väljer att vikta, vilka skalor vi använder så har vi alltid bara 100 % att fördela ut. Bara en sådan enkel sak brukar hjälpa till och få dem att tänka på hur viktigt något är i förhållande till något annat samt om de är villiga att betala mer för det, om det ska ingå i grundkraven eller kanske rent av slopas som krav eller utvärderingskriterium.

    1. Det stämmer, mitt exempel är otroligt förenklat. Men bara för att det är enkelt betyder det inte att det jag påstår fel. Det fina med matematik är att matematikens regler gäller för alla tal, även för talet noll. Det spelar därför ingen roll om poängen växer exponentiellt eller hur många kriterier det är. Det som gäller för 2 kriterier gäller för 1000. Viktningen av kriterier beskriver bara deras inbördes relation, inget annat. Du kan använda vilken skala som helst, exempelvis x antal av A och y antal av B. Alla skalor, oavsett vilka dom är, kan räknas om till hundradelar (%) för den som föredrar det.

      Du skriver att ”En utvärderingsmodell ger aldrig fel vinnare” att det blir rätt bara man följer sin modell och stoppar in rätt värden. Det beror på vad man menar med fel vinnare. Jag menar att det är modellen som måste vara rätt. Oavsett vilka värden vi stoppar in i modellen kan det inte blir rätt om ett grundläggande antagandena om hur modellen fungerar är felaktigt.

      Man kan inte kräva att en upphandlare ska göra en 100% korrekt bedömning i alla lägen. Ingen är mer än människa, inte ens upphandlare. Däremot kan man kräva det av en beräkningsmodell. Den ska vara 100% rätt och ge oss svarat på det vi vill veta, vilken är den bästa affären.

      Kärnfrågan är därför om vi vill ha en modell där kvalitén inte har betydelse bara priset är nog lågt, där det är möjligt att kompensera något man är dålig på genom att vara bra på något annat? Det är möjligt att man vill det men det kräver en förklaring. Att du påpekar att det kan uppfattas som att jag förringar upphandlaren är att skjuta budbäraren. Att modellen fungerar så är ingen åsikt, det går att testa.

      Jag menar att vi ska göra samma sak i offentlig upphandling som när vi handlar för våra egna pengar, ställa rätt fråga:

      Jag ska köpa det här! Hur mycket kostar det?

      Min åsikt är att du inte kan ersätt kunskap om vad du vill/måste ha genom att vikta pris och kvalitet. I synnerhet inte med den metod som är beskrivs här.

Kommentera

E-postadressen publiceras inte. Obligatoriska fält är märkta *