吳玉章生於四川省自貢市榮縣雙石橋蔡家堰，家族是被人稱為“三榮望族”的書香門第。
他6歲開始讀書，7歲卻喪父，13歲又失去慈母，從此，靠兄嫂撫養成人。
他篤誠忠厚，沉毅堅韌，喜讀史書，學識淵博，贏得“金玉文章”美譽。
他幼年時期，深受二哥的影響。他二哥吳永錕，號紫光(前清秀才)，服膺宋人理學，是一個講究氣節的人。他就是借助二哥在成都尊經書院的助學金，踏上求學深造的道路。
他幼年時就和二哥共燈夜讀“通鑒輯覽”，讀到南宋衰亡史實，就聯想到當時中國的危局，好像亡國之痛就在眼前。他們把文天祥的正氣歌，訣命詞貼在牆上誦讀，他們尤其喜歡讀明末烈士黃淳耀所作的一篇時文，《見義不為，無勇也》。
其中幾句話令他印象深刻：“一則放之須庾，而已與草木同腐矣；一則忍之須庾，而已與日月爭光矣。”意思是說忠奸之分就在那臨危授命的一刹那間。
二哥又把黃淳耀的事跡寫在那篇文章的後麵。他讀著這篇文章，很感動於黃淳耀的節義之舉。
1892年初，他剛滿13歲，就隨二哥到成都，進入“尊經書院”。同伴中，有個黃芝和他二哥是同榜秀才，其父是個“刻字匠”，很多人看不起黃芝，但吳玉章兄弟卻與其成了朋友。
黃芝讀書多，對文字學、漢學頗有研究。他和黃芝一起，常遊武侯祠、草堂寺。每到傍晚，他們一起散步，黃芝總要給他講諸葛亮、杜甫等人的故事，有時，還聯係國事危機，大發感慨。他喜讀《通鑒輯覽》《正氣歌》《出師表》等，養成了關心國家大事的習慣。
1895年，甲午戰敗，而喪權辱國的《馬關條約》，使少年時代的他痛心疾首。甲午戰敗的消息傳來了，他讀到光緒求和詔書中“將不知兵，士不用命，師徒撓敗，陵寢震驚”，忍不住落下淚來。這時他才17歲。他後來回憶說：“光緒皇帝乞和的詔書傳來之後，就和二哥抱頭痛哭。但痛哭思定後，自己決心為祖國尋找一條救亡圖存的道路，做點有益於人、有益於國的事。”
甲午戰爭後，變法維新之說流行。他這時很喜歡讀《時務報》。戊戌政變時，他在四川榮縣鄉下得到那些變法的文件，就和一些誌同道合的青年到處宣傳新政，人們感覺他們很瘋狂，稱之為“時務大家”。期間，六君子被殺，新政被推翻，守舊的人嘲笑他：“早說不對嘛，要殺頭哩！”他就用譚嗣同拒絕到使館避難，甘願作第一個變法的流血者的英勇故事來回答這些人的嘲笑。
變法失敗後，他很苦悶。那時纏腳陋俗普遍，他就勸大嫂別給侄女纏腳：“太痛苦了，以後走路做事也不方便。”大嫂不聽，硬給女兒纏了腳。他感歎說：“變什麽法？維什麽新？在自己家裏也行不通啊！”
1900—1901年，他到縣城的一戶大地主家教書；次年，到威遠繼續讀書，喜讀《新民叢刊》和《新小說》。
他後來在延安寫的自傳中說：“我有二哥二姊，大哥同父一樣，讀書理家，二哥與我則專門讀書，未作農民。仲兄早慧，19歲即舉秀才。”
1902年，他去參加科舉，因剛廢除八股，改考策論，他就將“新學”思想加入了文章。他縣考、府考成績都很好，有一場府考還得了第一，閱卷人寫了很長的批語，最後說他：“此古之賈長沙，今之赫胥黎也。”隻是院考時因為它文章太長，交卷時沒寫完，因此落第。
考試不中，他求“新學”的心更切。這年12月，他慕名到瀘州去考“經緯學堂”，卻不料那是掛“新學”羊頭，賣“舊學”狗肉的學堂，一氣之下就憤然離校。
隨後他和二哥東渡日本，進入東京成城學校學習。
他後來在《吳玉章回憶錄》一書中說：“1903年2月9日(夏曆正月十二)，那時還是元宵期內，到處鑼鼓喧天，當人們正在興高采烈、歡度春節的時候，我們一行九人，好象唐僧取經一樣，懷著聖潔而嚴肅的心情，靜靜地離開故鄉，掛帆而去。”
船過三峽，吳玉章望著兩岸慢移的景色，以“東遊述誌”為題，寫詩抒懷——
不辭艱險出夔門，
救國圖強一片心。
莫謂東方皆落後，
亞洲崛起有黃人。