因為一路主要是在考察民情，所以張居正花費了半年多時間才趕到杭州。胡宗憲得知張居正到來十分高興，一邊命人設宴，一邊火速派人把自己的兩個得意手下，在浙江沿海一帶練兵抗倭的戚繼光、譚綸喊來，將他們介紹給了張居正認識。
大約在傍晚時分，戚繼光和譚綸快馬加鞭趕到杭州府。
胡宗憲指著其中一名二十七八歲，身材魁偉，雙目炯炯有神，身穿鎧甲的將軍，介紹道：“太嶽兄，此人是我麾下第一猛將，寧波衛指揮僉事，戚繼光。”
戚繼光對著張居正抱拳道：“末將戚繼光拜見張大人。”
緊接著，胡宗憲又指著戚繼光身旁一名同樣也隻有二十七八歲的，身材消瘦，身穿一身儒裝，有些書生模樣的人，再次介紹道：“此人名為譚綸，現任台州知府。太嶽兄，你可不要看他是一介書生，但是帶兵打仗不但足智多謀，且異樣勇猛。”
譚綸對著張居正作揖道：“晚生譚綸拜見張大人。”
張居正一手扶起戚繼光，一手扶起譚綸，然後也對著他們倆人拱了拱手，正色道：“兩位賢弟不必行禮，現在張某也不過隻是一介山野村夫而已。”
胡宗憲哈哈一笑道：“太嶽兄，你可不要自謙，你可不是什麽鄉野村夫，而是潛龍在淵喲。”
張居正歎道：“梅林兄啊，你可以就不要拿我取樂了！”
胡宗憲哈哈大笑，繼而又轉頭對著譚綸問道：“海瑞呢？他怎麽沒來呀？”
譚綸臉色一僵，看了看張居正，欲言又止。
胡宗憲朗聲道：“有什麽話直說，太嶽兄又不是外人嘛。”
譚綸隻好撓了撓頭，回道：“回稟胡大人，海瑞說，他不屑於和隻會說空話、不會辦實事的京官為伍，所以就沒過來。”
胡宗憲罵道：“這個海瑞真是是頭倔驢！清高個什麽玩意啊！”
譚綸與戚繼光麵麵相覷，皆不敢再多說一句話，倆人見張居正也沒什麽表情，好像沒聽見什麽似的。
隨後，胡宗憲又趕緊向張居正告罪道：“太嶽兄勿怪，海瑞那家夥也不是針對你，他就是這種冥頑不靈的臭脾氣，要不是看他為官清廉、踏踏實實做事，我非立刻撤了他的官不可。”
張居正心裏對海瑞雖然已經頗有微詞，但麵上還是嗬嗬一笑道：“說起來這個海瑞的大名，我還真聽說過，據說，他為官十餘年，每到一地都深得百姓擁戴。隻是此人過於剛直不阿、從不媚上，所以十幾年來，一直隻能屈居縣令，沒能升遷半步。”
胡宗憲苦笑一聲，繼而道：“哎，可不是嘛！幾年前，本官就想提拔他，可誰知，本官的舉薦折子剛剛寫好，海瑞居然寫了一篇《平黎策》給朝廷，在《平黎策》中，海瑞曆數朝廷在他家鄉海南地區的種種弊政。《平黎策》遞交到內閣，被嚴閣老看到後，嚴閣老大怒，本想治罪於海瑞，虧得本官苦苦求情他才免於一難。不過當時嚴閣老也警告我，今後不得提拔那個海瑞一官半職，否則他定會惹出禍端激怒皇上連累於我。”
一邊說著，胡宗憲一邊引著張居正落座，開始宴飲。四人雖然官職地位有所差別，但是彼此間卻也並沒有那麽多客套俗禮，他們越聊越投機，無不有相見恨晚之感。酒過三巡、菜過五味之後，胡宗憲似乎是有些喝多了，說話已經逐漸有些口齒不清。
胡宗憲把手搭在張居正肩膀上，問道：“太嶽兄，你以前是不是也如那些清流官員們一樣，認為我胡宗憲這個人沒骨氣，為了升官發財，甘願拜入嚴嵩門下助紂為虐？”
張居正歎氣道：“哎呦，梅林兄啊，你這是說哪裏話嘛？你我身在官場，都是身不由己，隻要自己無愧於心即可，又怎管得了那悠悠眾人之口呢？”
胡宗憲擺了擺手道：“話雖如此，可是麵對那漫天咒罵，我又怎能做到真的視若無睹？更何況，即便我現在做得再好，可是千百年後，依舊隻會在青史上留下一個千古罵名。”
胡宗憲說完這番話之後，戚繼光、譚綸倆人也跟著黯然的低下了頭，胡宗憲的遭遇和命運，又何嚐不是他們兩個的命運縮影呢？
張居正淡淡道：“舉世皆渾，誰又能獨善其身呢？”
幾人沉默了片刻後，胡宗憲親自給張居正斟滿一杯酒，然後舉起酒杯，說道：“太嶽兄，我觀嚴嵩日後必會倒台，不得善終啊，屆時，徐階多半就會順勢上位，成為內閣首輔。如若真有那麽一天，我胡宗憲作為‘嚴黨’死不足惜，不過到時候，還希望你能出麵，在徐大人麵前保住戚繼光、譚綸這兩位兄弟，他們二人可是我大明將來的棟梁啊！”
張居正將杯中的酒水一飲而盡，正色道：“梅林兄，放心吧，這日後啊，你我兄弟自當肝膽相照，若你和這兩位兄弟有難，我張居正豈有見死不救之理？”
胡宗憲也仰頭喝了一大杯就，豁然道：“好！那就拜托了，太嶽兄！”
四人喝酒喝到通宵達旦，非常聊得來，尤其一些政治改革與簡介，都交換了彼此內心真實的想法，以及實際操作的構思。張居正說了許多自己這些年在京供職，從朝堂的角度看到的問題，以及最近一段時間在各地實訪，總結了不少改革方案，胡宗憲自是有些醉意，喝到最後竟然抱在桌子上睡著了，戚繼光與譚綸倒是沒有喝多，繼續與張居正探討改革思路，三人從民生改革，又聊到了軍隊改革，以及抗倭的一些布防思路，戚繼光與譚綸一開始覺得張居正既是一個文官，可能隻會張嘴閉嘴隻會“之乎者也”這一套，沒想到竟然是個實幹派，還是一個非常有勇有謀的實幹派，戚繼光與譚綸對張居正可謂是刮目相看、深深佩服。
張居正一直在胡宗憲這裏待了三個月方才離開，在此期間，張居正把自己近來思索到的一些施政策略、治軍想法都詳細的講給了胡宗憲、戚繼光、譚綸三人聽。並通過他們三人在浙江一帶，做了一些目前切實可行的簡單施政實踐，確定自己的施政方針完全可以在具體實行過程中取得一些良好成效後，張居正更加自信了。而在這個過程中，胡宗憲、戚繼光、譚綸三人更是對張居正佩服的五體投地。哪怕現在張居正沒有一官半職，但是在他們私下接觸中，胡宗憲、戚繼光、譚綸三人唯張居正是從，隱隱間將他捧為了他們這一幫人的核心。尤其是戚繼光和譚綸，開口閉口必稱張居正為“張大人”，他們深信，以張居正的才能，肯定不會久居人下，日後一定會平步青雲，進入權力中樞、執掌大權。眼下，需要的隻是臥薪嚐膽、以圖後計。
在臨行前，張居正還專程去了台州，視察了戚繼光招募失地流民、礦工等貧苦百姓所,還有新組建起來的戚家軍，對戚繼光的治軍練兵之道頗為讚許。
張居正誇獎道：“我大明有你戚繼光這等人物，莫說這小小倭寇，即便是瓦剌、韃靼等北方蒙古諸部落，以及東北女真部落也全然不懼。”
戚繼光有些不好意思道：“張大人過譽了，單純的治軍練兵，不過是些小手段。一支軍隊想要真正強大起來，歸根到底，還需要朝廷為每一名士兵，提供一個可以憑借軍工公平躍升的製度保障，這樣才能在根本上，調動每一名士兵在戰場上的積極性。而這些，日後恐怕就要依靠仰仗張大人您的改革計劃了。”
張居正無奈一笑道：“張某倒是有改革之決心，可是若要實施改革必須進入內閣，還需成為內閣首輔，指掌天下大權方可為之，這又豈是那麽容易的？”
戚繼光正色道：“末將相信，以張大人您的才能，終究會有進入內閣中樞成為首輔那麽一天的。”
張居正此時也不再客套謙虛，嘿嘿笑道：“好，那我就借你吉言了。”
離開浙江回到湖北之後，張居正又在自己老家江陵縣張家台村過了一年多隱居生活。在這期間，每個月陳以勤、李春芳二人必會給他寄信一封，信中內容除了問候張居正近況外，幾乎每回必提勸他重新回京做官，就連徐階也寄來四五封這樣內容的信件，不過每次都被張居正婉拒。
盡管張居正完全沒有想真的隱退的想法，但他深知，現在嚴嵩完全掌權，不遺餘力的打壓異己，而自己作為嚴嵩最大對頭徐階的得意門生，若是貿然回京，必然也會成為嚴嵩打壓的對象，稍有不慎，恐怕極有可能性命不保，所以現在還不是回京的時候，張居正現在所能做的隻有靜待時機。