Prowadząc jakiś czas temu szkolenia w zakresie kryteriów oceny ofert pokazywałem uczestnikom dwa przykłady zastosowania dużej liczby kryteriów oceny ofert w przypadku zamówienia usług niematerialnych. Główna różnica między tymi dwoma przykładami polegała na tym, iż choć w obu wypadkach mowa była o indywidualnej ocenie ofert przez członków komisji przetargowej w zakresie kryteriów jakościowych, to w jednym wypadku ocena ta została rozpisana tak szczegółowo, że w zasadzie o żadnej indywidualnej ocenie mowy być nie mogło, w drugim zaś ta ocena była faktycznie subiektywna. Na pytanie, która wersja bardziej uczestnikom się podoba, otrzymywałem różne odpowiedzi. Sporo osób uważało, że opcja 1 jest znacznie lepsza. Dlaczego? Właśnie dlatego, że nie było tam żadnej subiektywności, a – de facto – czysta matematyka. Matematyka zaś podobała się głównie dlatego, że trudno się było do niej przyczepić.

I fakt, subiektywne kryteria oceny ofert istotnie są problemem. Ryzykiem, że ktoś się przyczepi do Zamawiającego, ba, że zabierze dofinansowanie unijne. Fakt też, że kwantyfikowalność kryteriów jest często przedstawiana jako ideał, do którego należy zmierzać. Ale czasami tego typu podejście prowadzi do absurdu. Bo jak zmierzyć czy zważyć na przykład kryterium estetyczne? Oczywiście, rzadko w zamówieniach stosowane, zwykle będące raczej domeną konkursów rządzących się nieco odmiennymi prawami, jednak od czasu do czasu jednak niezbędne. Jak też zmierzyć jakość? Gdy coś budujemy, efekt, który mamy otrzymać jest wymierny, i wówczas jakość dość łatwo przełożyć na liczby. Ilość piasku w betonie, cukru w cukrze etc. Zamawiający może to potem również zweryfikować.

Bywają jednak sytuacje, gdy jakości zmierzyć nie można. Dotyczą one zwykle usług niematerialnych, np. doradczych. Gdy zamawiający chce zatrudnić eksperta, który ma mu doradzać, przygotowywać dokumenty itd. trudno znaleźć jakiś miernik tej jakości – jakąś wymierną deklarację wykonawcy, którą zamawiający będzie mógł zweryfikować na etapie realizacji umowy. Ba, nie tyle trudno, co zwykle nie da się. Zamawiający nie będzie przecież pytać się wykonawcy, ile uwag będzie wnosił do przedstawianych mu do oceny projektów dokumentów. Trzy na stronę? Trzydzieści? Absurd. W tego typu sytuacjach jakość bywa trudna do uchwycenia, a niemożliwa do zmierzenia.

Oczywiście, jeśli mamy do czynienia z usługą o charakterze niepriorytetowym, zamawiający może sięgnąć po kryteria doświadczenia wykonawcy czy personelu, który będzie wykonywał usługę. To w jakiś sposób zmierzyć można, a nie ulega wątpliwości, że pomiędzy doświadczeniem czy kwalifikacjami i jakością jest pewien związek (choć niestety nie liniowy). Zarówno doświadczenie czy kwalifikacje można w jakiś sposób na liczby – punkty przełożyć. Poza jednak nieliniowością związku tych kompetencji z jakością, doświadczenie wykonawcy bywa także problematyczne w epoce pożyczania doświadczenia i handlu referencjami; z osobami już ciut lepiej, zamawiający może wszak zastrzec sobie, że to te osoby będą wykonywały zamówienie, a jeśli wykonawca będzie chciał je zastąpić, to na nie mniej kompetentne (choć z tym też różnie bywa).

Zdarzają się jednak odważni zamawiający, którzy próbują oceniać jakość każąc wykonawcom odrabiać „zadania domowe”. Załączana do oferty mała próbka tego, co później wykonawca będzie świadczył. Przyznam szczerze, że pomysł ten mi się podoba, pod warunkiem, że jest dobrze zrealizowany. Nie jest to metoda idealna, bo nie zawsze jakość z przetargu przełoży się na jakość na etapie realizacji umowy (tu wykonawca się postarał, później nie ma czasu, nie ma głowy…). Trudno jednak o lepszą. Można oczywiście i takie kryterium zepsuć, jeśli próbuje się ocenę tego zadania domowego przeprowadzić w punktach z góry narzuconych (za dwa ryzyka wyspecyfikowane – dwa punkty, za trzy ryzyka – trzy punkty, itd.), bo w ten sposób jakość gdzieś ginie, a zostaje tylko ilość. Rzetelna ocena rzeczywiście subiektywna nie pozwala na to.

Cóż to jednak znaczy „rzetelna”? Słowo-klucz :) Cóż, podejmując ryzyko stosowania kryteriów subiektywnych zamawiający musi mieć świadomość, że ryzyko, że ktoś się przyczepi do takiej oceny w dużej mierze zależy właśnie od tego, czy została ona sporządzona prawidłowo. To wymaga przede wszystkim tego, by oceny dokonywali ludzie, którzy cokolwiek na rzeczy się znają. Aby uzasadnienia przyznanych ocen trzymały się ziemi. Inaczej taka subiektywna ocena przerodzi się w szopkę, nie mającą nic wspólnego z racjonalnym wyborem oferty najkorzystniejszej.

Czy warto jednak tego próbować? Jeśli potrzebuję doradcy, kiepski doradca na nic mi się nie przyda, warto by miał głowę. W warunkach przetargu trudno mi będzie zwiększyć prawdopodobieństwo wyboru doradcy „niekiepskiego”, jeśli tego typu kryteriów nie zastosuję. Więc czasami naprawdę warto.