На 100% нормально вежливо отказываться от просьб о вашем времени, не давая длинного объяснения, почему. "К сожалению, я не смогу прийти, хорошего времяпрепровождения." "Я бы с удовольствием встретился в какой-то момент, но сейчас не могу." "Я не могу уделить этому приоритетное внимание сейчас, спасибо, однако."