Η πρώτη επαφή του Γιάννη Χαρούλη με τη μουσική ήταν σε ηλικία 6 ετών όταν ο πατέρας του, γλύπτης στο επάγγελμα, του έδειξε πως να παίζει μαντολίνο. Λίγο αργότερα απέκτησε το πρώτο του λαούτο και ξεκίνησε τη μελέτη της Κρητικής παραδοσιακής μουσικής. Από την ηλικία των 15 ετών ξεκίνησε να εργάζεται ως οργανοπαίκτης σε τοπικά πανηγύρια. Στην Αθήνα εμφανίστηκε για πρώτη φορά το 2002, ως προσκεκλημένος του Χρήστου Θηβαίου σε μια συναυλία αφιέρωμα στον Νίκο Ξυλούρη, στο Θέατρο του Λυκαβηττού. Η συναυλία ηχογραφήθηκε και κυκλοφόρησε με τον τίτλο «Σαν έρθουν μάνα οι φίλοι μου» (2003).

Το 2003 κυκλοφόρησε ο πρώτος προσωπικός δίσκος του Γιάννη Χαρούλη με τίτλο «Γύρω μου και εντός» με συνθέτη τον Μιχάλη Νικολούδη και παραγωγό τον Μιχάλη Κουμπιό. Ο δεύτερος προσωπικός του δίσκος με τίτλο «Χειμωνανθός», κυκλοφόρησε τον Νοέμβριο του 2006 σε παραγωγή του Μάνου Ξυδού. Το 2010ηχογράφησε δύο τραγούδια σε μουσική του Μίνωα Μάτσα τα οποία συμπεριλήφθησαν στο soundtrack της τηλεοπτικής σειράς «Το Νησί». Τον Μάιο του 2012κυκλοφόρησε το τρίτο του άλμπουμ «Μαγγανείες», σε τραγούδια του Θανάση Παπακωνσταντίνου, στο οποίο απονεμήθηκε το βραβείο του χρυσού δίσκου.

Το 2013 έδωσε 2 sold out συναυλίες στο Θέατρο του Λυκαβηττού, οι οποίες ηχογραφήθηκαν και κυκλοφόρησαν σε διπλό άλμπουμ με τον τίτλο «Χίλια καλώς εσμίξαμε – Live» τον Φεβρουάριο του 2015. O ζωντανός δίσκος ανέβηκε στο νούμερο 1 των Ελληνικών μουσικών chart (IFPI).

Τον Νοέμβριο του 2016 κυκλοφόρησε τον δίσκο «O Δωδεκάλογος του Γύφτου». Το άλμπουμ περιείχε 12 μελοποιημένα αποσπάσματα από το ομότιτλο έργο του Κωστή Παλαμά, σε σύνθεση του Λουκά Θάνου.^[6] Μέσα στον ίδιο χρόνο συμμετείχε ως ένας απο τους βασικούς ερμηνευτές στο «Φύλαξα τ’ όνειρο» του Μίκη Θεοδωράκη, μαζί με τους Αλκίνοο Ιωαννίδη, Σωκράτη Μάλαμα και Μαρία Φαραντούρη.

Ο Γιάννης Χαρούλης έχει τραγουδήσει σαν ειδικός καλεσμένος σε πολλούς δίσκους άλλων καλλιτεχνών, κάποιοι από τους οποίους είναι οι «Ο γητευτής και το δρακοδόντι» των Χαΐνηδων, «Έχουν περάσει χρόνοι δέκα…» του Μίλτου Πασχαλίδη, «Δάκρυ στο γυαλί» της Εστουδιαντίνα, «Δωδεκάορτο» του Χρήστου Τσιαμούλη, «Τ’ αστέρια θα ‘ναι πάντα μακριά» του Μάνου Ξυδού, «Στου χρόνου τις καταπακτές» του Νότη Μαυρουδή και το «Ίσως» του Νίκου Πορτοκάλογλου. Παράλληλα έχει συμμετάσχει στις συλλογές «Της Κρήτης τα πολύτιμα» και στη βραβευμένη με Αρίων «Δώδεκα και μία ματιές στα Δωδεκάνησα».

Ο Γιάννης Χαρούλης έχει εμφανιστεί ζωντανά σε μουσικές σκηνές και συναυλίες στην Αθήνα, την Θεσσαλονίκη, την ελληνική επαρχία και την Κύπρο. Τον Μάρτιο του 2015 αναχώρησε για την πρώτη του Ευρωπαϊκή περιοδεία σε Βέλγιο, Γερμανία, Ελβετία και Ολλανδία.