De opvoeding van Ton is verre van harmonisch, en de schooltijd is een gruwel. Als 14-jarige verlaat hij de school en gaat werken als leerling oppasser in Artis. Jaren later wordt hij toegelaten bij het Amsterdamse Operaballet.
Zijn voorkeur voor mannen, iets dat hij heel gewoon vindt, wordt in de jaren ’50 en ’60 niet altijd geaccepteerd en daar heeft hij last van. Bovendien wordt hij seksueel misbruikt door zijn grote liefde. Met rampzalige gevolgen!
Gelukkig krijgt hij een relatie met Anne van Dalen, een man die 21 jaar ouder is. Deze man zet Ton weer op de rails en stimuleert zijn talenten. Ze wonen op de Leidsekade, naast het Lido, in één huis met Lida Lobo-Polak, Harry Mulisch en Ramses Shaffy.
Uiteindelijk komen de mannen terecht in Ruinen waar Ton zijn beroemde natuurlijke Tuinen ontwerpt. Hij stond aan de wieg van Het Nieuwe Tuinieren, 'The Dutch Wave'. De combinatie schilderen en tuinieren bezorgde hem de titel 'The Dutch Monet'.
Sinds 1992 is de 21 jaar jongere Gert Tabak zijn partner in leven en werk.