En 1654, por todo Madrid corrió el rumor de que este edificio estaba habitado por fantasmas, un rumor alimentado por alguno de los personajes que se alojaron allí ya que en el siglo XVII, el Palacio de Cañete era residencia temporal de alcaldes y otros personajes de la vida pública. Parece ser que alguno de los que allí se alojaron, fueron testigos de fenómenos extraños, muebles que se movían solos, lámparas que se encendían y se apagaban sin que aparentemente nadie las tocase y lo más terrorífico, en el silencio de la noche se podía escuchar pisadas por los corredores del palacio, golpes misteriosos y desgarradores alaridos.
Nunca se supo qué fue lo que realmente provocaba esos fenómenos extraños, algunos aseguraron que se trataba del espíritu atormentado del mismísimo marqués, que fue asesinado en extrañas circunstancias, otros, los más escépticos, atribuían los alaridos a las libidinosas juergas que se corrían por allí.
Lo cierto es que los fenómenos extraños se terminaron cuando se supo que el marqués había sido asesinado.
