吳端玉，直隸舉人，家貲巨萬。端玉一妻三妾，二子一女。有伯兄端履，亦二子，其一子士煌，與端玉同榜舉人。端玉名下士，性豪爽不羈，與端履最友愛。工詩文辭。年三十，公車屢躓。
其興致頗高，與人談集，竟日夜不倦。短於髯，嚐取優伶須一具掛麵上，欣欣自得，欲效蘇長公雄視一切也。時人慕之，以為吳子之雅量宏才也。複得安茲順境，天之愛才，可謂不負矣。
而天下事，有順必有逆。會歲疾疫行，端玉之妻妾子女，不旬日而死亡無孑遺。端玉素篤閨房之愛，更縈兒女之懷，一旦遭此慘痛，憤不欲生。嚐欲引頸自決，不則投繯以盡，家人恐怖，百計防守。其兄哭泣相勸，而端玉終以死誓。兄複諸凡慰藉，開布大義，繼而端玉曰：“弟豈不知死不如生？即弟之死，亦於已死之人無益於事，轉與生者徒增悲悼。惟是柔腸寸斷，實所難忍。”兄曰：“骨肉關情，弟死我不獨生。”玉曰：“兄塚子也，以弟之故，俱死曷濟？”於是兄弟痛楚，屢日悲泣。玉曰：“兄必不容弟死，當有一生法。”兄曰：“生法安在？”玉曰：“無已，請度為僧。”兄不得已許之，並以其子士煌嗣焉。
玉乃擇日哭於祖祠，剃發剃披。吳故大族，一時親黨戚友，數百餘裏皆來唁慰。而玉豪氣未除，雖經磨蠍，詎能一襲毘盧，頓改初度。因欲傲遊海內名勝，多金盛裝，宛如貴胄。翩翩輿馬，連鑣蔽道而行，號為“懊上人”。凡遇佳山妙境，盤桓彌月不去。
至五台遇喇嗎某，頗相契。玉因其地苦寒，思南下。喇嗎多貴交，為之致書浙撫，薦為西湖靈隱方丈。端玉儒者也，今棄儒而逃禪，不過為一時憤急之行。因是而遂欲置之空虛寂滅之鄉，以戕其性、死其心，則玉又不願也。故端玉必飲酒食葷，且衣錦而好色，其窮奢甚於王公。南方之人諂鬼佞佛，以玉不能守規戒，共誹之，乃去杭州。去之曰，貽書留別當道諸公雲：“餘數年甘心欄入水牯牛隊，本不欲被繡為犧，亦不願服耒於田。便做和尚，原不必擔著枷，逢人苦乞。堪笑瞿曇，今日舍衛大城，明日室羅筏城，平白教壞法門也。終不見有天人送供，何殊癩狗作生天想？那個持一口缽，如捧十丈珊瑚，放手不得？比歸來，臀也強，踝也酸，何苦何苦！茲者聞焦山可以結茅，我欲出京口去。前途舟大舟小，不能前定，再來西湖，不知何年月日。無一點由人打算，盡若斯耶。懊書。”
吳過蘇閶買四僮，所謂清客者，悉令剃發作小沙彌。至焦山，大建浮屠，土木之工，三萬有奇，皆其兄端履自家寄來也。又與其兄一劄雲：“大兄安好。弟今為釋子，與諸方不同，原不類守昆尼博通經論者，異時修定修慧，且都擱起。近來卓錫焦山，攬海門洲島之勝，令人舉頭天外。但住處狹隘，不可下榻。弟欲廣布黃金，難得現成，算檀施無主，便當自舍。此亦一大好事，不求報於人，天作不朽功德，希冀將來緣法。大兄不可不一相扶持，攜資來，為我度畫得千穩百當，使大眾一齊安樂。不則峰前獨立，鬆下徘徊，或執疏沿門，雖走遍趙州，八十猶未能駐足也。兄以為何如？”端履得書，即來焦為之建置雲。
而玉為詩亦複奇橫，如：“水國白魚恣口孽，空山黃葉打頭陀。”又：“浮綠杯中千日酒，拂青檻外六朝山。”又：“聽潮分子午，入定失朝昏。”又：“滿山雲是無心出，半夜鍾因得意撞。”