Ο Στέλιος Καζαντζίδης δεν έκανε ποτέ παιδιά. Υπήρξε ένας γοητευτικός άντρας. Όμως, με καμία γυναίκα δεν κατάφερε να κάνει παιδιά. Ο τραγουδιστής υποστήριξε πως όταν ήταν φαντάρος, τον είχε κλωτσήσει ένα άλογο στα γεννητικά του όργανα, αφήνοντάς του μόνιμο πρόβλημα γονιμότητας.
Η Βάσω Καζαντζίδη εκμυστηρεύτηκε πως όταν ο μεγάλος Έλληνας τραγουδιστής ήταν φαντάρος, τον έκλεισαν σε ένα στάβλο, για να τον τιμωρήσουν για τα κομμουνιστικά πολιτικά του φρονήματα. Στον στάβλο έγινε το ατύχημα με το άλογο, που του στέρησε την πατρότητα. Ο γιατρός που τον εξέτασε, ανέφερε πως σώθηκε, αλλά δεν θα έκανε ποτέ παιδιά.
Η νονά του τραγουδιστή, Μαρία Κιουρτσόγλου, εξομολογήθηκε πως ο Στέλιος είχε μια ιδιαίτερη σχέση με τη νονά του και της εξομολογούνταν όλα του τα μυστικά. Σύμφωνα με την κ. Κιουρτσόγλου, η στειρότητα του Καζαντζίδη δεν οφειλόταν σε κλοτσιά από άλογο.
Αντίθετα, είχε να κάνει με τον άγριο ξυλοδαρμό που δέχτηκε από έναν ανώτερό του, όταν ήταν φαντάρος. Ο ίδιος πληγώθηκε πολύ. Ο Καζαντζίδης ήταν ευαίσθητος και όταν πληροφορήθηκε ότι δεν θα μπορούσε να τεκνοποιήσει, κλείστηκε στον εαυτό του.
Τα τελευταία χρόνια της ζωής του, ο Στέλιος Καζαντζίδης τα πέρασε με τη σύζυγό του Βάσω. Η κυρία Βάσω είχε μια κόρη από τον πρώτο της γάμο. Εκείνη απέκτησε μια κόρη, και χάρισε στον τραγουδιστή ένα εγγονάκι. Αν και δεν είχε δικά του παιδιά, ο Στέλιος άκουσε από τα χείλη της μικρής, την πιο γλυκιά λέξη, που του είπαν ποτέ, τη λέξη «παππού».