Acesta a trăit pe vremea împăraţilor Iustin, Tiberiu şi Mauriciu şi s-a născut la Constantinopol. A fost mai întâi lucrător în aur, dar om evlavios, iubitor de săraci şi temător de Dumnezeu. Pentru multele lui fapte bune şi pentru milosteniile ce făcea, după sfatul patriarhului de atunci, Eutihie cel Învăţat, a intrat în tagma călugărească şi, după puţin timp a fost sfinţit diacon. După treisprezece ani de păstorire, patriarhul Eutihie mutându-se din lumea aceasta, cuviosul Ioan a fost silit, nevrând el să primească scaunul patriarhiei Constantinopolului.
Patriarh fiind, nu se lepăda de pustiniceştile nevoinţe, postea, mâncând o dată pe săptămână, priveghea la rugăciune, dormind somn foarte puţin şi era foarte milostiv, tată sărmanilor, izbăvitor năpăstuiţilor şi râvnitor către urmarea Evangheliei Domnului. La înfrânare atât se nevoia, încât n-a băut apă şase luni, numai miezul unei lăptuci i-a fost şi mâncare şi băutură, sau puţin pepene, ori strugure sau smochine, schimbându-le. Acestea i-au fost hrana, în treisprezece ani şi jumătate ai arhieriei sale, iar somnul lui era şezând cu pieptul lipit de genunchi. Înfigea o undrea într-o lumânare aprinsă şi când ajungea focul lumânării la ea, cădea undreaua într-un lighean şi se trezea, iar de se întâmpla să nu audă sunetul, toată noaptea următoare o petrecea fără somn.
Petrecând în nevoinţe şi în viaţă cinstită, făcând multe minuni, Sfântul Ioan Pustnicul, este şi cel dintâi patriarh, care a luat numele de patriarh ecumenic, adică primul patriarh din împărăţia Bizanţului.
