Il Castello di Zumelle è il meglio conservato di tutta la Valbelluna. Solo le fortificazioni periferiche sono andate completamente distrutte. Il nucleo centrale, con tanto di mura e di torre, è cinto da un profondo fossato, scavato nella roccia. Si accede al castello e alla piccola corte interna attraverso una strada che si arrampica lungo il pendio. La torre, alta 36 metri, è a pianta quadrangolare e presenta cinque piani, collegati da una scala in legno. Sul lato nord delle mura, si trova l'antica chiesetta dedicata a San Lorenzo.