Sim! Coloque um peso negativo caso a lógica seja:

"Se o usuário fizer esse critério, ele deve perder nota".

Assim, se o critério for respondido como "Sim" a nota será impactada para menos.