說它古老，是因為拜倫家族早先跟隨著"征服者威廉"一起從諾曼底來到英國，在16世紀的十字軍遠征中，戰功顯赫，曆代都受到國王的賞賜，並封為勳爵。還是嬰孩的拜倫，怎麽也不會想到，在他10歲的時候，竟會成為紐斯台德世襲領地的主人。

詩人拜倫的父親約翰o拜倫，年輕時在法國陸軍學校受教育，畢業後成了英國陸軍的近士衛官。他性情暴烈，行為粗野，又喜歡豪飲濫賭，欠下巨額債務。當他20歲從美國回到倫敦後不久，就拐走了卡爾馬瑟侯爵夫人，花天酒地，大肆揮霍著侯爵夫人從她父親那裏繼承得來的每年4000英鎊的收入。但是，4000英鎊到底維持不了他的奢侈生活和巨額賭債。兩人隻好離開英國，又逃到法國去。在那裏生下女兒奧古絲塔，她就是詩人拜倫的同父異母姐姐，是拜倫一生中最親密的朋友，對拜倫的生活和創作產生過重要的影響。生下女兒不久，卡爾馬瑟侯爵夫人就病死了。

這位失去4000英鎊收入的浪**子又悄然回到英國，看上了一個出身於蘇格蘭貴族家庭的名叫凱瑟琳o戈登的少女，雖然她相貌不佳，卻擁有著23000鎊的財產--其中3000鎊是現金--這對他來說太有**力了，因為它能償還過去的賭博欠債。1784年5月，他們在巴思溫泉結婚，這位夫人就是拜倫的母親。新婚夫婦回到北蘇格蘭戈登的家中，可是，他的賭博、好酒和遊**生活很快又把戈登家的財產揮霍**盡了。夫婦倆變賣了土地和家產，移住到法國，生活一天天地貧困起來。

1787年夏，已有身孕的約翰o拜倫夫人因懷念自己的故鄉，單身回到了倫敦，這位儉樸的蘇格蘭婦女在倫敦一條街上租了房子安頓下來，可她丈夫為了躲債依然在法國流浪，沒錢的時候就常常來信向手頭並不寬裕的妻子索討。在拜倫3歲的時候，他的父親終於在"沒有襯衫、沒有一文錢，惟一的一件衣服也早已百孔千瘡"的潦倒境遇中死去，據說是自殺的。、丈夫的死對妻子是個慘重的打擊，加上生活的日益拮據和自己的不幸遭遇，使拜倫母親的性格變得十分暴躁乖戾，喜怒無常。拜倫的幼年就是在貧困的境遇中跟著脾氣不好的母親在北蘇格蘭度過的。

拜倫是跛腳的。造成這個殘疾，有兩種說法，一說是天生的；另一說是因為母親殘暴，一時氣極把他打成這個樣子的。除此之外，拜倫可以說是一個美少年，他有一雙清澈的眼睛，一頭褐色的卷曲頭發，皮膚白皙，人們都很喜歡他。尤其是拜倫的嗓音很好，說話聲十分悅耳。因此在後來劍橋大學中，同學們都叫他"好嗓子紳士"。

惟獨跛足這一生理缺陷，常常使他感到自卑和痛苦。