Effectivement, si c'est bien indiqué et que vous avez signé... il faut le respecter. Par contre, rien ne vous empêche de porter à son attention le fait que ce ne soit pas une journée fériée pour tout le monde (certaines responsables ne le savent simplement pas).
En attendant, il faut soit prendre congé, soit utiliser le plan B.