陶哲軒生於澳洲（也是南半球），父母是來自香港的專業人士，父親是兒科醫生，母親任職中學數學教師，1972年移民澳洲。

一次家庭聚會，父母偶然發現這個兩歲孩子的數學天份，他當時還未走得很穩當，便拿著積木，教別的孩子用積木上的數字算加數。母親問他誰教的，他說：「芝麻街」。父母注意到他很喜歡數字，母親對哲軒的學前教育亦著重數學，他對數字的迷戀和反應，被父母認定他的智商超越了一般同齡幼童。

家裏多一個天才，令父母緊張得有點不知所措，首先，最迫切的問題是如何安排小哲軒入學。

哲軒三歲半，被送入一所私立小學，父母認為他的學習能力已經足夠應付小一的課程。幾周後，父母帶他退學，因為哲軒無法與比他大兩歲的同學相處。哲軒被送回幼兒園。不過父母仍深明這種資優孩子不可能受教於普通學校，但在他幼齡期，還是應該跟幼兒園裏的同齡幼童一起學習相處的。在幼兒園一年半時間裏，母親同時在家中將小學數學課程全部教給哲軒。他學習數學的興趣很高，喜歡看書自學，幼兒園期間已閱讀了許多數學書。父母讓他加入了南澳洲天才兒童協會，結識其他天才兒童。

五歲生日後，哲軒升讀小學，父母選擇了兩哩外的一所公立學校，校長答應他們為哲軒提供靈活的教育方案，普通科上二年級的課，數學則上五年級。七歲時，哲軒開始自學微積分。小學校長知道小學數學課程已經無法滿足哲軒的需要，在與父母商量後，校長成功說服一所中學的校長，讓哲軒每天去中學聽一兩堂數學課。

陶哲軒八歲半升中學。九歲半，三分之一時間在離家不遠的弗林德斯大學學習數學和物理。八歲零十個月，哲軒參加一項數學才能測試，得760分。在澳洲，十七八歲的學生中只有百分一能達到750分。

1984年九歲時，他遇到小小挫折，未能入選澳洲隊參加國際數學奧林匹克競賽。但接下來三年，他連續三次代表澳洲參賽，先後獲得銅牌、銀牌和金牌。他在1988戊辰年獲得金牌時，仍未滿十三歲，這一紀錄至今無人打破。