Στον εγκαταλελειμμένο οικισμό της Βιτσιλιάς στέκονται ακόμα τα ερείπια του μεσαιωνικού κάστρου που ήταν χτισμένο εδώ, ήδη από τις αρχές της ενετικής περιόδου. Η υπερυψωμένη θέση στην οποία βρισκόταν, επόπτευε όλη τη γύρω περιοχή, ενώ παράλληλα, η ιδιαίτερη γεωμορφολογία του εδάφους, παρείχε φυσική προστασία από την ανατολική και νότια πλευρά, όπου η απότομη κλίση του λόφου και οι γκρεμοί, καθιστούσαν αδύνατη την προσέγγισή του οικισμού.

Σε αντίθεση με άλλα καστροχώρια της Κρήτης, για τη Βιτσιλιά σώζεται αρκετά λεπτομερής καταγραφή στοιχείων σε χειρόγραφο συμβόλαιο του 1387, του φεουδάρχη Dandulo, το οποίο σε συνδυασμό με τα αρχαιολογικά τεκμήρια παρέχει τη δυνατότητα για μια γενική ανασύνθεση της εικόνας του οικισμού:

Το κάστρο λοιπόν, είχε δύο εισόδους στα δυτικά και προστατευόταν από τείχος, το οποίο διατηρείται σήμερα σε χαμηλό ύψος, στη βόρεια πλευρά. Περιμετρικά του, υπήρχε ελεύθερος κοινόχρηστος χώρος με μη εξακριβωμένη ακόμα χρήση. Το δυτικό μέτωπο της Βιτσιλιάς, πιθανόν προφυλασσόταν από την κατά μήκος σειρά των χτισμένων σπιτιών, η οποία ίσως εδώ, αντικαθιστούσε το προστατευτικό τείχος. Στο εσωτερικό του οικισμού υπήρχαν δύο πύργοι, ο ένας από τους οποίους εικάζεται ότι βρισκόταν στο μέσο του οικισμού, ενώ ο άλλος μεγάλος ή νότιος πύργος, ήταν χτισμένος σε μικρή απόσταση από τον προστατευτικό περίβολο και αποτελούσε την κατοικία των φεουδαρχών της Βιτσιλιάς.

Από τα ερείπια οικιών που σώζονται εντός του κάστρου, φαίνεται ότι ο οικισμός ήταν εξαιρετικά πυκνοκατοικημένος και είχε τη δική του εκκλησία με κοιμητήριο έκτασης περίπου 50 τ.μ. , το οποίο ταυτίζεται σήμερα με λείψανα που εντοπίζονται στο βορειοανατολικό τμήμα του. Επίσης, όπως μαρτυρούν τα αρχαιολογικά ευρήματα, διέθετε τρία μεγάλα πατητήρια, επιβεβαιώνοντας τις ιστορικές πηγές, σύμφωνα με τις οποίες, η οικονομία της Βιτσιλιάς βασιζόταν κυρίως στην αμπελοκαλλιέργεια την εποχή εκείνη.