張伯苓退役不久，恰遇嚴範孫。嚴範孫是天津社會名流，曾任清末翰林院編修、貴州學政等職，恰巧嚴氏家館聘請塾師，他被聘任教，兩個先生合教5個學生，他教英文、數理，嚴範孫教文史。他常對學生們誇讚：“真是萬幸，遇到嚴先生。嚴先生是當今聖人。”
一
張伯苓在嚴氏家館授課過程中，一反私塾的刻板教條，不再讓學生死記硬背，而是按照自身體驗的新式教學方式，在輕鬆愉快的氛圍中教學。他在授課之餘，也非常注重學生的體育鍛煉。他專門開設了操身課，即後來的體育課，教學生柔軟體操、角力、啞鈴、跳高、棒錘等。
尤其是跳高，他在院中放兩把長椅，將一根長竹竿架在椅子上，讓學生將長辮盤起，撩起長袍衣襟，跑著跳過去。讓人耳目一新，實為罕世創舉。
他還為學生安排豐富的閑暇活動，如圍棋、打旗語、攝影、踢足球、騎自行車等。嚴氏家館在他的引領下，已逐漸向新式教育轉化。
然而，嚴氏家館成立次年，八國聯軍直逼天津。1900年農曆6月16日，列強攻破天津，燒殺搶掠，橫屍遍野。張氏全家逃住嚴家避難，又趕瘟疫，全家先後染疾，他四五歲的一兒一女，無醫無藥，先後夭折。
1901年，時局稍轉穩定，天津“八大家”之一的鹽商“益德王”——王奎章，出麵聘請張伯苓，為王氏家館6個學生教授英文、數學等自然學科知識。
從此，他穿行嚴、王兩館，傳道授業，誨人不倦。
1903年，嚴範孫被提拔為直隸學校司督辦，成為直隸地區管轄教育的高級官員。
是年，張伯苓邊教學生，邊思考為何小日本彈丸之地，卻能躋身世界列強？他想到日本揭秘，得到嚴範孫和王奎章的全力支持。於是他利用暑假，到日本考察了辦學的規模和教學方法，深受觸動，倍感啟發。
回國後，在嚴、王兩位學東為他舉辦的歡迎宴上，他感慨地說：“考察數日，知彼邦富強，教育振興為主因。欲救中國，必須從教育著手，欲使教育完善，必須有一正式學校組織。”
次年5月底，嚴範孫帶他二渡日本，探求創辦新式學校的模式和途徑。到日本兩個月的時間，二人結識了多位日本教育家，共同探討有關學校建設及教科書編纂等問題。
兩人回到天津，就雷厲風行地開始籌備建立新式學校的工作。他打算以嚴、王兩家的家館為基礎，建立中學。兩家極為讚同，出錢、捐物、提供場地，各盡所能，全力支持他興辦中學。
二
1904年10月17日，一所私立中學堂，在嚴家的偏院正式建立。張伯苓擔任監督，總管學校一切事務，從此，他開始了投身新式學校教學、管理的漫長旅程。
學生來源，以嚴館和王館的學生為主。課程最初為兩方麵：一是中學，如詩經、國文、曆史等；二是西學，如地理、物理、化學、數學、英文等。年底，根據嚴範孫的意見，學校更名“私立敬業中學堂”，取“肅敬受業”之意。次年，按政府規定，遂更名“私立第一中學堂”。
因為學校聲名鵲起，求學的學生很快就超過了一百人。嚴氏偏院小了。天津一位士紳鄭菊茹，主動將自己城南水閘旁一塊十餘畝的土地捐獻了出來。
1911年，清華學校代理總辦顏惠慶，聘請張伯苓前去北京擔任清華學校的教務長，總攬清華學校的校務。
盡管清華的辦學條件明顯好過私立第一中學堂，但是，張伯苓並不願意放棄自己在天津開創的這番事業，因此，隻得京津兩地奔波。他曾經風趣地對人說：“我是個保姆，同時撫養兩個小孩兒。”
在清華任職半年之後，他還是辭去了讓人羨慕的教務長一職，專心經營自己的學校。雖然他在清華任職時間不長，但清華推行的美式教育卻為他打開了思路。他嚐試著將其引入私立中學，並取得了一定成效。
同年，直隸提學使傅增湘飭令，把天津客籍學堂和長蘆中學堂，並入私立第一中學堂。同時，把原本撥給這兩所學堂的經費，一並撥了過來。
接受了公款後，私立第一中學堂就改名為公立南開中學堂，一是表明資金來源，二是表明學校所在地。所謂南開，實是它位於天津城西南一塊窪地的意思。
三
民國初年，天津近代工商業初興。張伯苓敏銳地察覺到社會需要高等人才，於是下定決心為南開中學的優秀學子，創造一個繼續深造的機會。
他想建立私立大學，但是卻無可借鑒。而南開學堂自1904年創辦，到1917年學生已滿千人，中學教育日臻完善。他通過觀察分析認為：“普通教育，僅為國民教育之初步，創辦高等學校，乃是國家發展的根本大計。”
於是，他決心先去美國考察學習。1917年，他到了美國哥倫比亞大學師範學院研修高等教育。得到著名教育家杜威、克伯屈、桑代克等人的指導，而他也抓緊時機，學習了教育學、心理學、教育哲學、教育行政等課程。
他還拜訪了一些知名的教育學家，如凱爾鮑德裏教授，兩人就中美教育進行了深入交流。凱爾鮑德裏教授認為，中國的學校應該向學生灌輸一些共和思想，以樹立民主觀念和公共群體意識，抵消長期以來封建思想的影響。這番話，振聾發聵，刺痛了他的靈魂。
第二年8月，嚴範孫與範靜生赴美，他選擇與兩人同行，遍遊美國各地，考察了許多私立大學的組織和辦學情況。
12月，他隨嚴範孫歸國。不久，他就憑著自己極強的開拓進取精神和服務意識，雷厲風行地組織起南開大學籌備委員會，開始規劃設計校園、宿舍、教學樓等具體事務，同時，四處奔走，喜獲徐世昌、黎元洪等人和天津士紳的大力支持，開始籌募創辦大學的經費。
1919年春，大學教室在中學南端空地上破土興建，秋季建成。教室落成，9月5、6日，舉行了大學新生入學考試，25日正式上課。
南開大學創辦伊始，他專請留美多年的淩冰博士，作為大學部主任。除開設文科外，另設理科和商科，後來改稱文、理、商三個學院。那時，其他私立大學均隻開文、法科。南開大學，率先設置理、商兩科，開了私立大學教育的先河。
他通過慎重考慮，在學科設計上希望培養學生主動適應社會的能力，因此有了“以政治經濟為主幹，以曆史哲學及教育心理三係附之。如此學生即可專其所學而致實用之效”。
他早在美國研修教育學的時候，就開始留心為南開大學物色教師人才。很多中國留學生歸國後，就被邀請到南開任教。因此，南開大學成立不久，教師群體就架構完成。
他還千方百計為有潛力的教師創造深造機會。他曾用美國羅氏基金，將化學係的楊石先教授送到美國攻讀博士，楊獲得博士學位後，毅然謝絕高薪，重回南開任教。
被譽為“中國物理學之父”、台灣科學院院長的吳大猷，在1994年南開90周年校慶時說：“大猷1921年入校，中學4年，大學4年，任教2年，60餘年以來，求學、為人、就業，從未有違伯苓校長教誨的南開精神。”
吳大猷曾吐露心聲：“張伯苓校長在聲望、規模、待遇不如其他大學的情形下，藉伯樂識才之能，聘得年輕學者，予以研教環境，使其繼續成長，卒有大成。這是較一所學校藉已建立之聲望、設備及高薪延聘已有聲望之名家，更為難能可貴得多。前者是培育人才，後者是延攬現成的人才。從這觀點看，南開大學實有極高的成就。”
南開大學的興辦和發展，並不意味著張伯苓興辦教育的終結，建立完整的南開教育體係，才是他興辦教育的宏偉抱負。
1923年，他建立了南開女中；1928年，他又興致勃勃地在女生校舍對麵，修建小學校舍，設立了小學部；1927年和1932年，更是先後創辦了南開經濟研究所和應用化學研究所，從而，形成了完整的南開教育體係。
四
1934年，南開創辦三十周年。在校慶紀念會上，張伯苓麵對師生宣布“公”和“能”作為南開的校訓。
他對全體師生說：“南開精神——即允公允能，日新月異。允公，是大公，而不是什麽小公，小公隻不過是本位主義而己，算不得什麽公了。惟其允公才能高瞻遠矚，正己教人，發揚集體主義的愛國思想，消滅自私的本位主義。”“允能者，是要做到最能。要建設現代化國家，要有現代化的科學才能。而南開學校的教育目的，就在於培養具有現代化才能的學主，不僅要求具備現代化的理論才能，並且要具有實際工作的能力。”“所謂的日新月異，不但每個人要接受新事物，而且還要能成為新事物的創始者；不但能趕上新時代，而且還要能走在時代的前列。”
南開教育，就是要培養和訓練學生具有為社會、為國家所需要的各種“能”，這個“能”蘊含豐富，如智能、技能、才能、體能等。他還鼓勵學生以“幹”為手段，實幹、苦幹，達到獲得各種“能”的目的。
轉眼30年，南開學校的校產總值約為三百多萬銀元，其中校舍一百多萬，地皮七十多萬。與同時期的二十所私立大學相比，南開大學接受國家補助金額僅次於中法大學，名列第二。它所接受的社會捐助也居於私立大學的前列。這樣的成績，與他的“化緣興學”功不可沒。
南開采取的是校董會下的校長負責製。1932年，校董事會的董事為嚴智怡、顏惠慶、陶孟和、胡適、李組紳、李琴湘、卞俶成、王秉喆、丁文江九人。校董就是南開的“財東”。
從張伯苓的言行中，後人們對其創業的艱辛，自然可以有更多地認識和了解。他說：“四十多年來，我好像一塊石頭，在崎嶇不平的路上向前滾，不敢作片刻停留。一塊石頭隻須不斷地向前滾，至少沾不上苔黴，我深信石頭會愈滾愈圓，路也會愈走愈寬。”
他為南開掙下數百萬產業，卻從沒在自己身上亂花過一分。他不肯坐汽車，僅有一輛南開同仁共用的人力車。一次他去開會，散會後服務員問他公車號，他笑著說11號，服務員找來找去也沒找到。回來隻看到了他漸行漸遠的背影，這才領悟其中的含義。
每次去北京，他總住在前門外施家胡同的北京旅館。學生們深情地回憶說：“該旅館價格便宜，每日一元。先生去時，每次帶一盒臭蟲藥，一包茶葉。北京旅館的臭蟲很多，永遠歡迎客人。臭蟲藥是必需的防敵設備。另外張先生自帶一包茶葉，因為旅館的茶葉實在太劣，太要不得，這一包茶葉是張先生唯一的奢侈品。”
他從傳授“新學”的家館起步，辦起了南開中學、南開大學、南開女中、南開小學和後來的重慶南開中學，為國家培育了眾多傑出的人才，所有的人都尊敬地稱他為：“南開先生！”