Согласно преданию, он еще в детстве начал изучать Священное Писание и молиться. Как только его родители ушли из жизни, юноша раздал часть своего наследства бедным, остальное пожертвовал на постройку храмов и удалился в монастырь, где прожил 10 лет, пока его не назначили епископом Колонийской церкви.
Но вскоре Иоанн оставил свой пост и отплыл в Иерусалим. Причиной такого решения стало постоянное вмешательство правительства в духовную жизнь монастыря. На свяятой земле он принял обет молчания, а позже покинул обитель и поселился в пустыне. В течение девяти лет он прожил в одиночестве, питаясь травами. Но потом все же вернулся в обитель, где провел 66 лет.
На Руси на Ивана (Иоанна) Молчальника полагалось как можно меньше говорить и даже писать. По преданию считалось, что тот, кто на Ивана весь день промолчит, тот весь год красноречив будет.