Ο Άγιος Ιωσήφ ο τραγουδοποιός γεννήθηκε στη Σικελία σε μια ευσεβή χριστιανική οικογένεια. Οι γονείς του, ο Πλωτίνος και η Αγαφία, έφυγαν από την εισβολή των βαρβάρων και μετακόμισαν στην Πελοπόννησο. Σε ηλικία 15 ετών, ο Άγιος Ιωσήφ πήγε στη Θεσσαλονίκη και μπήκε σε μοναστήρι. Διακρίθηκε από ευσέβεια, επιμέλεια, πραότητα και αγαπήθηκε από όλους τους αδελφούς του μοναστηριού. Στη συνέχεια, ο μοναχός χειροτονήθηκε πρεσβύτερος.
Ο Άγιος Γρηγόριος ο Δεκαπολίτης (20 Νοεμβρίου) επισκέφθηκε το μοναστήρι και παρατήρησε έναν νεαρό μοναχό. Τον πήρε μαζί του στην Κωνσταντινούπολη και εγκαταστάθηκε μαζί του στην εκκλησία των Αγίων Μαρτύρων Σέργιου και Βάκχου. Ήταν κατά τη διάρκεια της βασιλείας του αυτοκράτορα Λέοντα του Αρμένιου (813-820), μια εποχή έντονων εικονοκλαστικών διωγμών. Ο σεβάσμιος Γρηγόριος και ο Ιωσήφ υπερασπίστηκαν άφοβα το σεβασμό των ιερών εικόνων. Κήρυξαν στις πλατείες της πόλης, επισκέφτηκαν τα σπίτια των Ορθοδόξων, υπερασπίζοντάς τους ενάντια στους αιρετικούς. Η κατάσταση της Εκκλησίας της Κωνσταντινούπολης ήταν εξαιρετικά δύσκολη: όχι μόνο ο αυτοκράτορας, αλλά και ο πατριάρχης ήταν εικονοκλάστες.
Εκείνη την εποχή, οι Ρωμαίοι επίσκοποι ήταν ενωμένοι με την Παγκόσμια Εκκλησία και ο Πάπας Λέων Γ', ο οποίος ήταν πέρα από τον έλεγχο του Βυζαντινού αυτοκράτορα, θα μπορούσε να προσφέρει μεγάλη βοήθεια στους Ορθόδοξους. Οι ορθόδοξοι μοναχοί επέλεξαν τον Άγιο Ιωσήφ ως απεσταλμένο τους στον Πάπα ως τον πιο σταθερό και εύγλωττο. Ο Άγιος Γρηγόριος τον ευλόγησε να πάει στη Ρώμη και να τον ενημερώσει για την κατάσταση της Εκκλησίας της Κωνσταντινούπολης και τον κίνδυνο που απειλεί την Ορθοδοξία.
Κατά τη διάρκεια του ταξιδιού, ο μοναχός Ιωσήφ συνελήφθη από Άραβες ληστές, δωροδοκήθηκε από τους εικονοκλάστες και στάλθηκε στο νησί της Κρήτης. Εκεί το παρέδωσαν στους εικονοκλάστες. Ο μοναχός Ιωσήφ φυλακίστηκε. Αντέχοντας γενναία όλες τις κακουχίες, υποστήριξε άλλους κρατούμενους. Μέσα από τις προσευχές του μοναχού, ένας Ορθόδοξος επίσκοπος, ο οποίος είχε αρχίσει να διστάζει, ενισχύθηκε τόσο στο πνεύμα που δέχτηκε με θάρρος τον θάνατο ενός μάρτυρα.
Ο μοναχός Ιωσήφ πέρασε έξι χρόνια στη φυλακή. Τη νύχτα των Χριστουγέννων του 820, έλαβε ένα όραμα από τον Άγιο Νικόλαο των Μύρων, ο οποίος τον ενημέρωσε για το θάνατο του εικονοκλάστη διώκτη Λέοντα του Αρμένιου και την παύση του διωγμού των ιερών εικόνων. Ο άγιος έδωσε στον μοναχό ένα κύλινδρο και είπε:"Πάρτε αυτό το κύλινδρο και φάτε το". Γράφτηκε στον κύλινδρο:"βιάσου, Γενναιόδωρος, και να είσαι Ελεήμων στη βοήθειά μας, γιατί μπορείς, αν θέλεις". Ο μοναχός διάβασε τον κύλινδρο, τον έφαγε και είπε: "αφού αυτή η λέξη είναι γλυκιά στο λαιμό μου" (Ψαλμ.118:103). Ο Άγιος Νικόλαος τον διέταξε να τραγουδήσει αυτά τα λόγια. Μετά από αυτό, τα ίδια τα δεσμά έπεσαν από τον μοναχό, άνοιξαν οι πόρτες της φυλακής και βγήκε ελεύθερα από αυτό και μεταφέρθηκε στον αέρα και τοποθετήθηκε κοντά στην Κωνσταντινούπολη στον αυτοκινητόδρομο που οδηγούσε στην πόλη. Στην Κωνσταντινούπολη, ο Άγιος Ιωσήφ δεν βρήκε πλέον ζωντανό τον Άγιο Γρηγόριο τον Δεκαπολίτη, αλλά συναντήθηκε μόνο με τον μαθητή του, τον ευλογημένο Ιωάννη (18 Απριλίου), ο οποίος επίσης πέθανε λίγο αργότερα. Ο Άγιος Ιωσήφ έχτισε μια εκκλησία στο όνομα του Αγίου Νικολάου και μετέφερε εκεί τα λείψανα του Αγίου Γρηγορίου και του Αγίου Ιωάννη. Ένα μοναστήρι ιδρύθηκε στην εκκλησία.
Ο Άγιος Ιωσήφ έλαβε επίσης από έναν ενάρετο άνθρωπο ένα μέρος των λειψάνων του Αποστόλου Βαρθολομαίου. Έχτισε μια εκκλησία στο όνομα του Αγίου Αποστόλου και ήθελε να τιμήσει επίσημα τη μνήμη του, αλλά θρήνησε ότι δεν υπήρχαν ύμνοι που να επαινούν τη μνήμη του Αγίου Αποστόλου και ο ίδιος δεν τολμούσε να τις συνθέσει. Για σαράντα ημέρες, ο μοναχός Ιωσήφ προσευχόταν με δάκρυα, προετοιμάζοντας τη γιορτή της μνήμης του Αποστόλου. Την παραμονή της γιορτής, ο Απόστολος Βαρθολομαίος του εμφανίστηκε στο βωμό, έβαλε το Άγιο Ευαγγέλιο στο στήθος του και τον ευλόγησε να γράψει εκκλησιαστικούς ύμνους με τα λόγια: "είθε το δεξί χέρι του Παντοδύναμου Θεού να σας ευλογεί και τα νερά της Ουράνιας Σοφίας να χυθούν στη γλώσσα σας, η καρδιά σας να είναι ναός του Αγίου Πνεύματος και οι ύμνοι σας να ευχαριστούν το σύμπαν". Μετά από αυτή τη θαυματουργή εμφάνιση, Ο Άγιος Ιωσήφ έγραψε έναν κανόνα στον Απόστολο Βαρθολομαίο και από τότε άρχισε να συνθέτει εκκλησιαστικούς ύμνους προς τιμήν της Μητέρας του Θεού, των Αγίων, και στην παρέα τους, προς τιμήν του Αγίου Νικολάου, ο οποίος τον απελευθέρωσε από τη φυλακή.
Κατά την ανανέωση της εικονοκλαστικής αίρεσης υπό τον αυτοκράτορα Θεόφιλο (829-842), ο Άγιος Ιωσήφ υπέφερε για δεύτερη φορά από αιρετικούς. Ήταν εξόριστος στο Χερσόν για 11 χρόνια. Το 842, κατά τη διάρκεια της βασιλείας της Αγίας Βασίλισσας Θεοδώρας (11 Φεβρουαρίου), η οποία αποκατέστησε την Ορθόδοξη λατρεία των ιερών εικόνων, ο Άγιος Ιωσήφ διορίστηκε φύλακας πλοίων στον καθεδρικό ναό της Αγίας Σοφίας στην Κωνσταντινούπολη. Αλλά για να εκθέσει με τόλμη τον αδελφό της Βασίλισσας Βάρδας σε παράνομη συμβίωση, στάλθηκε και πάλι στην εξορία και επέστρεψε μόνο μετά το θάνατο της Βάρδας, το 867.
Ο Πατριάρχης Φώτιος (857-867, 877-886) τον αποκατέστησε στην προηγούμενη θέση του και τον διόρισε εξομολογητή ολόκληρου του κλήρου της Κωνσταντινούπολης.
Έχοντας φτάσει σε μεγάλη ηλικία, ο μοναχός Ιωσήφ αρρώστησε. Λίγο πριν το Πάσχα, τη Μεγάλη Παρασκευή, ο Κύριος τον ενημέρωσε σε ένα όνειρο για τον πλησιάζοντα θάνατό του. Ο μοναχός έκανε απογραφή της εκκλησιαστικής περιουσίας του Καθεδρικού Ναού της Αγίας Σοφίας, η οποία ήταν υπό την επίσημη φροντίδα του, και την έστειλε στον Πατριάρχη Φώτιο. Για αρκετές ημέρες προσευχόταν θερμά, προετοιμάζοντας το θάνατο. Στις προσευχές του, ο μοναχός ζήτησε από την Εκκλησία ειρήνη και την ψυχή του για το έλεος του Θεού. Έχοντας λάβει την κοινωνία των Αγίων Μυστηρίων του Χριστού, ο μοναχός Ιωσήφ ευλόγησε όλους όσους ήταν μαζί του και πέθανε με χαρά στον Θεό (+883). Τα πρόσωπα των αγγέλων και των αγίων, τους οποίους ο μοναχός Ιωσήφ δοξάστηκε με τους ύμνους του, οδήγησαν θριαμβευτικά την ψυχή του στον παραπάνω κόσμο.
Σχετικά με το πνεύμα και τη δύναμη των ύμνων του σεβάσμιου, ο βιογράφος του, διάκονος Ιωάννης της Εκκλησίας της Κωνσταντινούπολης, έγραψε περίπου το 890: "όταν άρχισε να γράφει ποίηση, τα αυτιά του χτυπήθηκαν από την υπέροχη γλυκύτητα του ήχου και η καρδιά του χτυπήθηκε από τη δύναμη της σκέψης... Υπέροχη χαλάρωση βρίσκεται εδώ από εκείνους που αγωνίζονται για μια τέλεια ζωή... Οι συγγραφείς, έχοντας εγκαταλείψει άλλα ποιήματα, άρχισαν να αντλούν θησαυρούς για τα τραγούδια τους από αυτό το θησαυροφυλάκιο – από τα γραπτά του Αγίου Ιωσήφ, ή μάλλον, τα αντλούν καθημερινά. Τέλος, όλα τα έθνη τα μεταφράζουν στη δική τους γλώσσα για να φωτίσουν το σκοτάδι της νύχτας με τραγούδια και, κυνηγώντας τον ύπνο, συνεχίζουν τις αγρυπνίες τους μέχρι να ανατείλει ο ήλιος... Αν κάποιος διαβάσει τη ζωή ενός αγίου που γιορτάζεται σε μια δεδομένη ημέρα από την Εκκλησία, θα δει από μόνος του την αξιοπρέπεια του τραγουδιού του Αγίου Ιωσήφ και θα αναγνωρίσει τη ζωή αυτού που δοξάζεται. Πραγματικά, ενώ η ζωή και οι πράξεις σχεδόν κάθε αγίου είναι διακοσμημένες με επαίνους, δεν είναι αυτός που τόσο αξιόλογα και τέλεια ήξερε πώς να τους δοξάσει άξια αθάνατης δόξας; Είθε μερικοί άγιοι να υμνούν την πραότητά του, άλλοι τη σοφία του, και άλλοι τα έργα του, και όλοι μαζί να υμνούν τη χάρη του Αγίου Πνεύματος, που τόσο γενναιόδωρα και αμέτρητα τον πλούτισε με τα δώρα της".