1904年,張伯苓赴日考察教育,同年10月17日,將家館改建為敬業(yè)學(xué)堂。1907年,在天津城區(qū)南部的開(kāi)洼地,即民間所稱“南開(kāi)”,建成新校舍,遂改稱南開(kāi)中學(xué)堂,從此聲名漸著,天津市南開(kāi)區(qū)也由此得名。1917年秋赴美國(guó),入哥倫比亞大學(xué)研究教育,次年回國(guó),著手籌辦南開(kāi)大學(xué)。南開(kāi)大學(xué)創(chuàng)辦伊始就建立了理科。那時(shí)北京、上海開(kāi)創(chuàng)許多私立大學(xué),都是只辦文、法、史、地、國(guó)學(xué)等文、法科,教師抱的是線裝書去上課,而張伯苓專請(qǐng)留美多年的凌冰博士為大學(xué)部主任,除開(kāi)設(shè)文科,還設(shè)理科和商科,后來(lái)改稱文、理、商三個(gè)學(xué)院。這在當(dāng)時(shí)也是十分難得的。
南開(kāi)大學(xué)的興辦和發(fā)展,對(duì)張伯苓來(lái)說(shuō),并不意味著興辦教育的終結(jié)。1923年他建立了南開(kāi)女中。接著在1928年,又興致勃勃地在女生校舍對(duì)面建筑小學(xué)校舍,設(shè)立了小學(xué)部。在興建及完善女中和小學(xué)之后,張伯苓分別于1927年和1932年創(chuàng)辦了南開(kāi)經(jīng)濟(jì)研究所和應(yīng)用化學(xué)研究所,從而構(gòu)成了一個(gè)完整的南開(kāi)教育體系。