Il y a plusieurs cas de figure.
Si tu es à temps complet ça va être difficile de dire non.
Effectivement refuser de faire des heures supplémentaires c'est considéré comme une faute sauf pour un temps partiel où il y a plus d'échappatoires.
Ce qui pourrait motiver un refus serait le non respect des règles en matière de droit du travail et de droit conventionnel.
Ceci inclut des minimas de rémunération et des périodes de repos à respecter.