Το Μοναστήρι ονομάζεται Πανορμίτης λόγω της περιοχής που βρίσκεται η θέση του μοναστηριού. Δύο είναι οι ερμηνείες του ονόματος:
α) επειδή βρίσκεται στην περιοχή Πάνορμο δηλαδή στον όρμο του λιμανιού (παν+όρμος) και
β) επειδή η τοποθεσία αυτή τότε ήταν ερημική (παν+έρμος=έρημος).
Εκτός από το κεντρικό μοναστήρι του Πανορμίτη, υπάρχουν αλλά οκτώ μοναστήρια στο νησί που αντιστοιχούν στα αγγελικά τάγματα του: Άγγελοι, Αρχάγγελοι, Θρόνοι, Δυνάμεις, Αρχές, Κυριότητες, Εξουσίες, Χερουβείμ-Σεραφείμ. Προς τιμή του είναι: ο «Αυλακιώτης» στο Πέδι, ο «Θαρρινός» στο Κάστρο, ο «Περιβλιώτης» στα Περιβόλια, ο «Νημπορίωτης» στο Εμπορείο, ο «Καιλιώτης» στα Τσαγριά, ο «Κουρκουνιώτης», ο «Κοκκιμίδης» στο βουνό Κοκκιμίδη και ο «Ρουκουνιώτης» στην Ερεικα.
Η παράδοση λέει ότι μια Συμιακιά η Μαριώ του Πρωτενιού, βρήκε σκάβοντας το χωράφι της στον Πάνορμο το εικόνισμα του Πανορμίτη στη ρίζα ενός σχίνου. Το πήρε στο σπίτι της και το έβαλε στο εικονοστάσι με τα άλλα εικονίσματά της. Την άλλη μέρα όμως το εικόνισμα έλειπε. Πήγε ξανά στον Πάνορμο και το βρήκε πάλι στο ίδιο σημείο που το είχε βρει. Το ξαναπήρε στο σπίτι της και την επόμενη μέρα το εικόνισμα έλειπε πάλι. Στον ύπνο της εμφανίστηκε ο ίδιος ο Αρχάγγελος και της είπε ότι η επιθυμία του είναι να μείνει στον Πάνορμο. Η γυναίκα την άλλη μέρα πήγε και είπε το συμβάν στον ιερέα και εκείνος της είπε να κτίσει ένα εκκλησάκι στον τόπο όπου βρήκε το εικόνισμα. Και έτσι χτίστηκε το μοναστήρι.
Ο σημερινός ναός έχει σχήμα μονόκλιτης βασιλικής, είναι διπλός σταυρεπίστεγος και σχηματίζει εσωτερικά δύο σταυροθόλια. Ο αγιογράφος Νεόφυτος έχει φιλοτεχνήσει ένα μεγάλο μέρος του ναού.
Οι εικόνες του τέμπλου είναι Βυζαντινές. Εικονίζουν δεξιά της ωραίας Πύλης τον Παντοκράτορα και τον Τίμιο Πρόδρομο, και αριστερά την Παναγία και τον Αρχάγγελο Μιχαήλ. Ενδιάμεσα υπάρχει νεώτερη εικόνα με την Πεντηκοστή. Στη δεξιά πλευρά του ναού μεταξύ του αναλογίου και του τέμπλου, είναι τοποθετημένο στον τοίχο το εικονοστάσι με την μεγάλη εικόνα του Πανορμίτη. Από επιγραφή που υπάρχει μαθαίνουμε ότι ασημώθηκε το 1724 από τον Ιωάννη Πελοποννήσιο με έξοδα των κατοίκων, του κλήρου και της κοινότητας Σύμης.
Μέσα στο Πανορμίτη υπάρχουν δύο παρεκκλήσια, του Ευαγγελισμού της Θεοτόκου και του Τίμιου Προδρόμου. Στην πλευρά της αυλής προς την θάλασσα βρίσκεται το καμπαναριό που είναι ρυθμού μπαρόκ και αναγέννήσης. Η ανέγερσή του είχε αρχίσει το 1905 και το σχέδιο του είναι σχεδόν πανομοιότυπη αντιγραφή του καμπαναριού της Αγίας Φωτεινής στη Σμύρνη της Μ. Ασίας. Επιχρίσθηκε από τον μοναχό Ματθαίο και ολοκληρώθηκε το 1911. Στο Πανορμίτη υπάρχει αξιόλογη βιβλιοθήκη καθώς και λαογραφικό Μουσείο.
Συμιακά ονόματα: Προς τιμή του Πανορμίτη τα επικρατέστερα βαφτιστικά ονόματα στη Σύμη είναι: Μιχάλης, Πανορμίτης, Θαρρινός, Θαρρινή. Εορτάζουν 8 Νοεμβρίου των Ταξιαρχών που είναι και η επίσημη εορτή του Αρχαγγέλου Μιχαήλ.