吳玠和嶽飛是同時代人，他出身卑微，父親吳扆少年從軍，為水洛城寨卒，寨卒相當於鄉兵的一種。由於作戰勇敢，吳扆從一名普通士兵逐漸升至指揮使。吳扆為人寬容大度，但有時未免寬厚過頭，對部下的管教就失之嚴厲，因此軍紀不整。在一次對敵作戰時，吳扆手下的士兵竟然怯戰逃跑，致使宋軍吃了敗仗。吳扆的上司——水洛城的寨主非常生氣，但念在吳扆平時的功勞，隻是對他處以杖刑。吳扆覺得這是一種羞辱，從此做事常常心不在焉。就是這心不在焉，使他在一次作戰時，猝不及防被一箭射死。吳扆死後葬在水洛城，因而吳玠全家就徙居水洛城。
都說環境造就人，這話一點不假，從吳玠身上就可以清楚地看出環境對人的影響。據《宋史·地理》記載，陝西“被邊之地，以鞍馬、射獵為事。其人勁悍而質木。”由於地理位置的特殊，秦隴自古便是匈奴、突厥等遊牧民族與漢族對壘的戰場。長期的戰爭使這裏的氛圍完全不同於中原，而吳玠居住的水洛城，更是一個以軍人為職業的地區，這裏除了士兵就是士兵的家屬。吳玠就生長在這種環境下，這使得他為人“深毅有誌節，知兵善射騎，讀書能通大義”，而且為人慷慨豪爽，具有典型的軍人氣質。
大約在政和元年（1111年），吳玠“以良家子”入伍從軍，隸屬於涇原軍（方鎮名，治所在今甘肅省平涼）。不久，他便在抗擊西夏的戰爭中，立下戰功，升為進義副尉，權（代理）隊將。後參與鎮壓方臘起義軍及河北起義軍，屢立戰功，逐漸升為忠訓郎，任權涇原第十一正將。
靖康元年（1126年），西夏犯邊，侵擾懷德軍（今寧夏固原北），吳玠率百餘人打敗西夏軍，斬獲頗多，因其武勇晉升為涇原路第二副將，在軍中初露鋒芒。
建炎二年（1128年）四月，金兵進犯陝西，直趨涇原。吳玠受陝西製置使曲端之命，率軍迎擊，至青溪嶺（今甘肅涇川西南），一鼓擊退金兵。因此次戰功，他升任權涇原路兵馬都監兼知懷德軍。十一月，吳玠又奉命東進，收複華州（今陝西省華縣），隨後又在鳴犢鎮（今西安東南）鎮壓了史斌叛亂，因功升任右武大夫，這時的吳玠已經開始成為中級軍官了。
建炎三年（1129年）初，吳玠升遷為忠州刺史。十一月，川陝宣撫處置使張浚巡視川陝，由於劉子羽的推薦，張浚會見了吳玠兄弟，見吳玠兄弟頗具才勇，十分器重，遂任命吳玠為涇原路統製。
建炎四年（1130年）初，吳玠又升任涇原路馬步軍副總管，成為一路的副統兵官。不久，金軍西路副帥完顏杲率軍進犯麻亭鎮（今陝西彬縣南），吳玠與張中孚、李彥琪等奉都統製曲端之命在彭原店阻擊，而曲端則擁大軍屯駐於後方的宜祿（今長武）。吳玠等與金軍惡戰，初戰告捷，但在金軍的再次攻擊下，吳玠所部前軍稍有退卻，而曲端不但不進兵支援，反而立即退往涇州（今甘肅涇川），吳玠遂戰敗。金軍乘勝進占邠州（今陝西彬縣），在進行燒殺後又退走。此戰，曲端身為主帥應對戰事負主要責任，但他卻反以吳玠違背他的節製而將吳玠降為懷德軍知軍。但不久，張浚即升吳玠為秦鳳路副總管兼知鳳翔府。