Mats Lindbäck har i en serie artiklar på Inköpsrådet och i sina nyhetsbrev skrivit om utvärderingsmodeller. Tyvärr spär hans artiklar på den övertro som finns på att viktade modeller ska leda fram till val av rätt leverantör.
I ett av nyhetsbrevet beskriver Mats Lindbäcks en av sina favoritmodeller som han kallar för Mirakelmodellen. Där står avdraget i proportion till medianen av priserna för samtliga anbud. Det innebär att avdraget varierar med vad medianen råkar bli när man öppnar anbuden. Eftersom priserna är okända innan anbuden öppnas bygger Mirakelmodellen på att värdet av en viss kvalitet är okänd både för anbudslämnare och upphandlare innan alla anbud öppnats. Vilken affärsmässig princip tjänar denna metod? Enligt min mening är det mer hokus pokus än mirakel.
Metoden är relativ. Precis som relativ beräkning av prispoäng där lägst pris får högst poäng och alla andra priser får poäng i förhållande till lägst pris har Mirakelmodellen samma problem som alla relativa modeller. Den räknar inte ut det vi vill veta och den är ett påhitt som är helt okänt i litteraturen på alla universitet och högskolor i hela världen.
Dessutom viktas pris och kvalitet inte inbördes som LOU föreskriver. Avdraget för ett visst mervärde beror inte på förhållandet mellan anbudets eget pris och anbudets egen kvalitet utan på anbudets pris och kvalitet i förhållande till medianen. Avdragets storlek bestäms därmed av något som ligger utanför anbudet.
Mycket talar för att utvärderingsmodeller ska undvikas helt.
Jag menar att det är mycket som talar för utvärderingsmodeller om möjligt ska undvikas helt eller användas mycket sparsamt. En upphandling ska fylla ett verksamhetsbehov och vara tillräckligt bra för detta behov. Ingen upphandlare kan utvärdera sig fram till verksamhetens behov vid anbudsöppningen eftersom kvaliteten då är begränsad till innehållet i de anbud som inkom i upphandlingen.
I alla viktade upphandlingar kan både anbudet med lägst och högst pris vinna beroende av mervärdet i respektive anbud. Högsta pris vinner om mervärdet är tillräckligt högt. Ett anbud utan mervärde kan också vinna förutsatt att priset är nog lågt. Man kan hävda att viktade upphandlingar visar hur lite kvaliteten betyder bara priset är lågt.
I stället för att försöka bedöma vad som är bäst, och betala ett högre pris, bör vi utvärdera om anbudet klarar våra krav och är tillräckligt bra. Av alla anbud som är tillräckligt bra väljer vi anbudet med lägst pris. Det finns inget sakligt skäl att betala mer för ett anbud som är bättre än det vi anser är tillräckligt bra. Något som för övrigt sker mycket sällan när vi betalar med egna pengar.
Tillräckligt bra till lägst pris innebär att verksamheten får sina krav uppfyllda samtidigt som man sparar pengar. Det finns inget mervärde i högt pris.
Många modeller är också illa genomtänkta. Det kan vara mycket svårt att förstå vilka egenskaper i anbudet som ett slutresultat representerar. Med Mirakelmodellen är det exempelvis mycket svårt att förstå medianens koppling till avdragets storlek.
Varför är det bra att ha en modell där man låter storleken på avdraget bestämmas av medianen som är helt okänd när vi skapar underlaget?
Vad är det vi räknat ut och vad representerar slutresultatet? Blir det mer rätt med medianvärde än om vi sätter avdraget till vad vi är beredda att betala för ett bestämt utökat mervärde?
Jag menar att vi måste göra ett omtag och återgå till upphandlingens grundläggande princip:
– Vi ska köpa det här! Hur mycket kostar det?
Äntligen, någon som vet vad han pratar om! Jag håller med och uppmanar alla som blir upprörda av debattinlägget att läsa en gång till och åtminstone försöka förstå.
Det finns en övertro på utvärdering enligt min mening. Det borde egentligen inte vara svårare än det Rikard skriver ”Vi ska köpa det här och vill ha den här kvaliteten. Hur mycket kostar det?” . Jag misstänker att många modeller kommer till på grund av att verksamhetschefen inte riktigt kan definiera sitt behov. Jag anser att det borde ingå i verksamhetschefens arbetsbeskrivning att veta vad som behövs för att driva verksamheten. Om man inte vet det har man nog hamnat fel. Hur som helst är det inte en finurlig utvärderingsmodell som ska tala om vad som är bäst för verksamheten. Om man tror sig ha förmågan att utvärdera kvalitet efter att anbuden öppnats borde man också kunna säga vad som krävs för att bedriva verksamheten redan i upphandlingsdokumentet. Dessutom ska vi inte anta anbud som är bäst utan anbud som är tillräckligt bra, precis som Rikard skriver.
Tack för en klar och tydlig artikel. När man inte vet vad man vill ha eller kan begära så finns det så många andra sätt att ta reda på vad marknaden har att erbjuda, exempelvis RFI eller hearing. Själv så tycker jag att ”need to have” är det vi ska betala för, inte ”nice to have”.
Håller helt med Rickard. Varför göra det så himla krångligt?? Det börjar likna mer att hitta den mest krångliga matematiska formeln än att tänka vi vill ha det här, vad kostar det? Vi som har varit med några år i branschen ser igenom detta, men alla ny examinerade upphandlare blir nog väldigt påverkade av denna hets med diverse formler. Sluta krångla till det!!
Vi har under några år jobbat enligt den reflektionen som Richard återger med stor framgång. Vi har på 100 upphandlingar/ år knappt 1 överprövning/år. Vi har även arbetat medvetet med att hjälpa våra uppdragsgivare att göra tydliga, proportionerliga och relevanta behovsanalyser som sedan ligger till grund för upphandlingsunderlaget. Utvärderingsmodellerna är konkreta och relevanta
Rickard B har sedan länge pratat om det felaktiga i sk relativa modeller och Mats L har utrett det matematiska felet i dem och kommit fram till i alla fall då att absoluta modeller som tar hänsyn till anbudets eget pris och egen kvalitet är mer korrekta. Även Kalle Krall hade för länge sedan samma resonemang som Rickard dvs att ”tillräckligt bra till lägsta pris” är bra nog. Vi kan fråga vad är det vi egentligen garderar då vi komplicerar upphandlingar med svåra utvärderingsmodeller istället för att ha fokus på behovet och analysera det bättre i termer av funktion och önskvärda effekter? Just analys och kravställning i upphandlingar är avgörande dvs ”som du frågar får du svar”.
Håller med allt som sägs. Analys och dialog är det vi ska lägga tid på för att göra den bästa affären.
Den bästa affären är ”good enough”. Men detta är inte politiskt korrekt.
Nu är det dags att vi tar tillbaka kärnan i det vår profession handlar, Affären. Istället för den stora diskussionen om vi är strategiska upphandlare eller strategiska inköpare. Gör bra affärer istället tillsammans med våra leverantörer.
Är det vanligt att jobba med avancerade utvärderingsmodeller? Jag har inte stött på dem sedan jag började i branschen. Min enhet och jag upphandlar nästintill uteslutande med att utvärdera pris.
Håller med Rikard fullt…..helt rätt…
Jag är en entreprenör som nyss förlorat en upphandling pga viktad modell
Självklart!
Här är lite kött på benen: https://avtalsratt.com/images/Vad_en_upphandlande_myndighet_inte_beh%C3%B6ver_g%C3%B6ra.pdf.
Instämmer helt och fullt i vad Rikard B skriver ….och om att ”Istället gå tillbaka till grundfrågan: Vi ska köpa det här och vill ha den här kvaliteten. Hur mycket kostar det?”
Först då får vi tillbaka professionen, som ju ligger till grund för de bästa affärerna och till den kvalitet som efterfrågas.
Dela:
Ja! Krångla inte till det. Lägg krutet på att ta reda på vad som behövs OCH vad potentiella anbudsgivare är beredda att erbjuda. Dessutom: gena inte i kurvorna genom att lägga in massa olika tjänster i samma paket även om det förenklar kortsiktigt för den som gör upphandlingen.
När jag ser alla kommentarer inser jag att det finns hopp för upphandlaryrket och också för potentiella anbudsgivare. Upp till kamp för ”tillräckligt bra till lägst pris” och bra affärer både för upphandlande myndighet/enhet och leverantör.
Vad kommer till relativa utvärderingsmodeller är jag helt av samma åsikt, att de ska undvikas av de skäl som Rickard nämner. Det är i det förberedande arbetet (inkl. dialog med marknaden!) som man reder ut vad man behöver och med det kan undvika att krångla till utvärderingsmodeller som ska uträtta ”mirakel”. Att vila sig på begreppet tillräckligt bra kan dock kännas aningen simpelt och utslitet – eftersom man aldrig kan ha fel. I sig är begreppet mycket relativt.
Att påstå att man helt ska undvika att utvärdera annat än pris känns förenklat och rent felaktigt för en del upphandlingar. Jag skulle gärna ta emot synpunkter på hur man på ett vettigt sätt kan upphandla komplexa it-tjänster på det viset?
Det är ofta lättare att skriva ett komplicerat och omfattande underlag är skriva ett kortfattat och enkelt. Bara för att något känns förenklat och simpelt betyder inte att det är det. Att genomföra komplicerade systemupphandlingar är mycket svårt och sätter verkligen upphandlaren på prov. Men utvärdering sänker knappast svårighetsgraden eller ökar säkerheten i valet av ”rätt” leverantör, det är snarare tvärt om.
När det gäller metoder och modeller kan man bara konstatera att det finns en avsevärd övertro på utvärdering. Det förekommer mängder av modeller men få bevis. Jag menar det saknas bevis för att utvärdering fungerar som metod för den goda affären. Det saknas också forskning. Det lilla av forskning som finns inom området ”utvärderingsmodeller inom offentlig upphandling” visar att nästan alla modeller är felaktiga i logisk eller matematisk mening. Många modeller som har använts tidigare och en del som används i dag är rena rama påhitten, exempelvis mirakelmodellen.
Så jag ställer frågan. Behöver vi verkligen mer kunskap om LOU? Eller behöver vi kanske ännu fler utvärderingsmodeller? Kan det vara så att det vi verkligen behöver är bättre metoder för att precisera underlagen och säkerställa relevanta krav med en tydlig koppling till vårt verksamhetsuppdrag. Är det en valid och verifierad metodik vi behöver när vi skapar underlag så att vi kan åstadkomma en förskjutning från utvärdering till kvalificering, kontroll och avtalsdokumenterad kvalitet?
Jag menar att mycket talar för att så är fallet
Skrev något liknande om saken här:
https://praktiskupphandling.wordpress.com/2014/08/29/lagsta-pris-eller-kvalitet/
https://praktiskupphandling.wordpress.com/2018/01/07/utvardering-av-annat-an-pris/
Mest som en reaktion på dåliga artiklar i dagspressen som basunerat ut att pris som enda tilldelningskriterium per automatik innebär dålig kvalitet. Typ.
Övertro eller inte så läggs det nog en hel del energi på utvärderingsmodeller på bekostnad av det övriga underlaget. Har dock egentligen inte några belägg för det påståendet utan det är en känsla.
Ha det!
//Per
utvärdering med vikt beskriver hur priset tillåts öka när kvalitén ökar. Tanken är att man kan vara dyrare om kvalitén är bättre. Problemet är bara att funktionen vikt fungerar åt bägge håll. Bara man är nog billig behöver man inte ha något mervärde alls.
Det är alltså tvärt om vad man kan tro. Det är bara när man använder tilldelningsgrunden bästa förhållande mellan pris och kvalitet som vi kan få fullt fokus på pris då en budgivare kan kompensera bristande mervärde genom att sänka priset. Vid lägstaprisupphandlingar är det inte möjligt. Där måste anbudet uppfylla alla kvalitetskriterier för att delta i anbudstävlan.
Inte nog med att utvärderingsmodellen allt som oftast inte fyller sin nytta, utan snarare utgör ett förtäckt lotteri utifrån upphandlarens chansningar. Det är dessutom så att det alldeles för ofta förekommer utvärderingskrav som istället hör hemma i kvalificeringsprocessen.
Hur många här har inte stött på utvärderingsmodeller där blanda annat anbudsgivarens referensentreprenader/uppdrag kan ge merpoäng. Likaså anbudsgivarens ekonomisystemem m.m. Vidare sätts det poängs på anbudspresentationer/intervjuer vilket är fel i dubbel bemärkelse eftersom det även innebär otillåten komplettering av anbuden.
Ett utvärderingskriteri får ska ha koppling till KONTRAKTSFÖREMÅLET och INTE ANBUDSGIVAREN. Det enda undantaget från den regeln är personal hos anbudsgivaren som ska utföra kvalificerad immateriell tjänst (jmf. https://inkopsradet.se/expert/sa-utvarderas-referenser/ samt LOU 15 kap. 11 § p. 7 motsatsvis).
Håller med helt och hållet utifrån vad Rikard B skriver. Minns också hur han, i början av min karriär som upphandlare, satt i telefonsupport för e-Avrop när jag ringde och hade nybörjarfrågor angående utvärderingsmodeller och undrade varför vi ville använda det.
Nu har ett antal år förflutit i mitt yrke som upphandlare och jag märker dock ett problem, det är inte alltid vi som upphandlare som kan påverka hur vi ska utvärdera, pris eller mervärdesmodell, då vi endast är en stödfunktion i verksamheten och inte har budgetansvaret över upphabdlingens utgång. Där ser jag egentligen att det stora problemet ligger då verksamheten verkar ha en övertro på utvärderingsmodeller och att det är vägen att gå för att få det de vill ha. Ofta beror det på att verksamheten inte har rätt kunskap om produkten/tjänsten de vill ha och därför inte kan kravställa det fullt ut. Sedan beror det nog till stor del även på att verksamheten redan har ställt sig in på vilken leverantör de önskar få i slutänden men det lämnar jag osagt.
Men för att återgå till debatt artikeln, mycket bra skrivet och vet att många upphandlare tycker som du i frågan.
Efter 20 år i branschen vet jag hur det är. Det är inte helt ovanligt att olika förvaltningar bestämmer hur en upphandling ska viktas och vilken utvärderingsmetod som ska användas. Många förvaltningar verkar också på förhand ”veta” vilken leverantör som är bäst. Dessutom förekommer det politisk styrning av vissa upphandlingar. Fenomenet bygger på samma idéer som mötte IT-avdelningar på 90-talet:
– Upphandling är bara är en stödfunktion till förvaltningen.
Inget kan vara mer felaktigt. Alla myndigheters förmåga att hålla budget och genomföra sitt verksamhetsuppdrag påverkas av hur bra dom är på att göra affärer. Utformningen av underlag och affärsmodell är därför en viktig del i myndighetens kommunikation mot marknaden. Den återspeglar hur affärsmässig och professionell en myndighet är. Det är denna bakgrund företagen använder när innan man fattar beslut om att lämna anbud.
Det krävs helt enkelt specifika yrkeskunskaper för att vara upphandlare på samma sätt som att det krävs specifika yrkeskunskaper för att vara socialsekreterare. Det märkliga är att ingen – som inte är socialsekreterare – skulle komma på tanken att genomföra en utredning om omhändertagande av barn bara för att man själv råkar vara förälder.
Tyvärr finns också ett tryck riktat mot upphandling från politiskt håll. Upphandlaren ska främja jämlikhet och motverka diskriminering. Upphandlaren ska värna miljön och förhindra organiserad ekonomisk brottslighet. Jag menar att det finns flera faktorer som talar för att det finns stora pengar att tjäna på att stärka upphandlarrollen genom att begränsa antalet personer med inflytandet över upphandlingsgruppens metodval och arbetssätt.
Det torde också vara mycket svårt för en organisation att göra en bättre besparing än att anställa en upphandlare till. Trots allt prat om upphandling som stödfunktion och ständigt nya regler om hur upphandlaren ska rätta till alla fel i samhället är det svårt att få en politiskt styrd organisation att satsa fem kronor för att tjäna tio. Alla utgifter räknas som kostnader. För att sätta saker i rätt perspektiv: -upphandlare borde föreslå arbetsgivaren kostnadsfria upphandlingar, i utbyte mot hälften av alla besparingar.
Dessvärre tror jag inte att någon kommer att ge upphandlaren mer makt frivilligt. Det är alldeles för roligt att köpa med andra pengar för det. Jag uppmanar därför alla upphandlare att försvara sig. Försvara er yrkesroll och försvara er mot alla som har bristfälliga kunskaper om upphandling samtidigt som dom tror sig veta bättre hur du ska utföra ditt arbete.
Kul att läsa om enkelhet. Självklart kan man gör det enkelt och precisera den ”kvalitet” man vill ha och låta (lägsta) pris eller (lägsta) kostnad vara avgörande. I uppslagsverket Metodhandboken och i mina artiklar på metodhandboken.se skriver jag bland annat om metoder för enkelhet. Jag analyserar också olika metoders för- och nackdelar och beskriver såväl enkla som krångliga utvärderingsmodeller. Mirakelmodellen är en krånglig modell, som jag såg Region Skåne använda 2010. Det är min förhoppning att mitt bidrag i form av Metodhandboken ska ge upphandlare kunskap om olika metoder.
Det finns många sätt att genomföra en riktigt bra upphandling på och jag hoppas att vi fortsätter att utveckla hantverket. Vi har fortfarande mycket att lära av andra och varandra, av såväl framgångar som misslyckanden. Men det är ett stort misstag att tro att vi har redan hittat lösningen på alla utmaningar nu och i framtiden.
Mirakelmodellen är inte bara en krånglig modell, den är helt felaktig och är ett påhitt utan evidens. Om man måste utvärdera pris och kvalitet så finns det bara en utvärderingsmodell och det är prissatt kvalitet. Priset i sig är redan en perfekt ”poäng” som inte behöver räknas eller skalas till något annat. Den är redan rätt. Tanken att pris är en sak och kvalité en annan är också ett ”påhitt”. Pris och kvalitet är samma sak, eller två sidor av samma mynt. Det är en funktion där du inte kan få det ena utan det andra. Det är denna funktion som drivit hela västvärlden framåt under drygt 100 år och den kallas för marknadsekonomi.
I dag verkar det finnas en föreställning om att man kan ha en utvärderingsmodell som ger dig mer kvalitet än den du betalar för. Och visst, det kan förekomma. Men det är precis lika troligt att utvärdering leder till att du får mindre kvalitet än den du betalar för. Det mest sannolika svaret är att under en tidsperiod på ett år får du exakt de du betalar för, vaken mer eller mindre.
Om vi övervärderar kvalitet, d.v.s. tillskriver kvalitén ett högre värde än vad som är praxis på marknaden, tillåter modellen överpriser i anbud som normalt sett skulle vara billigare. Det är alltså fel att tro att högt värderad kvalitet är ett uttryck för vi tycker att kvalitet är viktigt. Det är snarare ett uttryck för att vi inte riktigt vet vad vi håller på med.
När kvalitet ges ett högre värde än det faktiskt har inför vi en funktion i vår arbetsprocess som successivt trycker priset uppåt. Uppåt i den meningen att vi själva inför en marginal på marknadspriset så att leverantörer som inte kan eller är villiga att anpassa sig till det rådande marknadspriset tillåts delta i upphandlingen. Detta skadar på sikt konkurrensen och därmed även myndigheten.
Om vi undervärderar kvalitet, d.v.s. ger kvalitén ett lägre värde än marknadspriset ger modellen ingen ökad kvalitet då marknadspriset för denna kvalitet är högre än vad vi är beredd att betala.
Vi kan därför varken under- eller övervärdera kvalitet. Vi måste värdera kvalitet till sitt rätta marknadspris för att metoden ska fungera. Men om vi gör det är utvärdering inte meningsfullt. Om vi är beredd att betala marknadspriset för mervärdet kan vi lika gärna kravställa det direkt i upphandlingen. Alternativt kan vi avstå för utvärderingen och välja den billigaste produkten och betala för mervärdet i en separat upphandling.
Det finns med andra ord inga gratisluncher och ingen utvärderingsmodell som upphäver förhållandet mellan pris och kvalitet.
Jag håller med i mycket i den här artikeln, även om jag inte tror att man generellt kan säga att det alltid går att definiera att ”det här vill vi ha, hur mycket kostar det?”.
Om du ska köpa en bil och det finns 10 potentiella leverantörer av denna bil så risker du genom att ställa en specifik kombination av krav att utesluta 9 av leverantörerna, med sämre konkurrens och förmodligen ett sämre pris som följd. Då kan det vara bättre att använda utvärderingsmodellen som ett sätt att öka konkurrensen mellan leverantörerna.
Ex1: Fordonet ska släppa ut mindre än 80 g co2/km. Serviceverkstaden ska ligga maximalt 5 mil från centralorten.
Ex2: Vi vill att fordonet ska släppa ut maximalt 120 g co2 / km men erbjudna fordon som släpper ut mindre än 80 g co2 / km tilldelas ett mervärde på x kr. Vi vill att serviceverkstaden ska ligga maximalt 10 mil från centralorten men ligger den närmre än 5 mil så erhålls ett mervärde på x kr.
Om en sådan utvärderingsmodell leder till 5 anbud istället för 1 så hade i alla fall jag kunnat känna mig säkrare på att kommunen gjort den bästa affären.
Andra områden där utvärderingskriterier kan vara bra är när man ska bedöma områden som är svårdefinierade som ska-krav (komfort?) eller om man vill premiera anbudsgivaren för att föreslå framtida lösningar som ännu inte finns på marknaden.
Jag håller dock, som sagt, med om att utvärderingskriterier används i alldeles för många upphandlingar och tycker det är bra att vi ibland tar ett steg tillbaka och försöker förenkla våra tankesätt.
Ja håller med. Det du beskriver är utvärdering av kostnad. Kostnader som uppstår när du äger en vara ska alltid ingå i beräkningen eftersom du får betala den. Jag menar därför att man måste skilja på kostnader och mervärden. Vid tilldelningsgrunden ”lägst kostnad” kan du ta hänsyn till miljökostnader och livscykelkostnader. Dessa kostnader är objektiva och kan sägas ha en sanning. I Ditt exempel är resultatet en funktion mellan co2/km och avståndet till serviceverkstaden. Konsekvensen är att en bil med låga utsläpp och långt till verkstaden kan vara lika bra som en bil med höga utsläpp där verkstaden ligger nära.
Om man ska införa en begränsning i utvärderingen bör det därför vara en begränsning av funktionsvärdet (co2/km * kostnaden för utsläpp=funktionsvärde) snarare än en begränsning i km.
Utvärdering av komfort mm kommer jag att redogöra för i en längre artikel. Det blir för mycket att skriva om i en kommentar som denna.
Tack. Alltid intressant med diskussioner kring hur vi ska utforma våra upphandlingsunderlag på bästa sätt. Skrev lite mer utförligt om mina egna tankar här:
https://www.simrishamn.se/sv/bloggar/Upphandlingsbloggen1/Har-mervarde-och-utvarderingsmodeller-spelat-ut-sin-roll/
Så svenskt att tänka ”good enough”, varför vill vi inte ha det maximal kvalitet per satsad skattekrona. Ett exempel är att satsa 1 krona till under rådande omständighet för att tjäna 3 i slutändan p.g.a. kvalitetsparameter som inte framgick i förfrågan. Problemet är ju att leverantörer kanske vet bättre än upphandlaren hur exempelvis en IT-leverans eller kanske till och med en bläckpenna fungerar optimalt.
Du kan som upphandlare inte värdera/belöna något du inte frågat efter.