呂僧珍字元瑜，是東平郡(治今山東濟寧市北)範縣人，家世居廣陵(今江蘇揚州)。從南齊時起，呂僧珍便隨從蕭衍。蕭衍為豫州刺史，他任典箋。蕭衍任領軍，他補為主簿。建武二年(495年)，蕭衍率師援助義陽抗禦北魏。呂僧珍隨軍前往。蕭衍任雍州刺史，呂僧珍為蕭衍手下中兵參軍，被當作心腹之人被他當作是他的心腹。蕭衍起兵，呂僧珍被任為前鋒大將軍，大破蕭齊軍隊，為蕭衍立下大功。
呂僧珍有大功於蕭衍，被蕭衍恩遇重用，其所受優待，無人可以相比。但其從未居功自傲，恃寵縱情，而是更加小心謹慎。當值宮禁之中，盛夏也不敢解衣即便是盛夏也不敢解衣。每次陪伴蕭衍，總是屏氣低聲，不隨意吃桌上的果實。有一次，他喝醉了灑。拿了桌上一個柑桔，蕭衍笑著說：“卿真是大有進步了。”拿一個柑桔被認為是大有進步，可見呂僧珍謹慎到什麽的程度可見一斑。
醒僧珍因離鄉日久，上表請求蕭衍讓他回鄉祭掃先人之墓。蕭衍為使其衣錦還鄉，光宗耀祖，不但準其還鄉，還給其使持節、平北將軍、南兗州(治今江蘇揚州)刺史，即管理其家鄉所在州的最高行政長官。然而，呂僧珍到任後，平心待下，不私親戚不袒護親戚，沒有絲毫張狂之舉。呂僧珍的從侄，是個賣蔥的，他聽說自己的叔叔做了大官，便不再賣蔥了，跑到昌僧珍處要求謀個官作。呂僧珍對他說：“我深受國家重恩，還沒有做出什麽事情以為報效，怎敢以公濟私。你們都有自己的事幹你們已經有了自己從事的行業，豈可妄求他職，快回蔥市幹你的本行吧!”呂僧珍的舊宅在市北，麵前有督郵的官府擋著。鄉人都勸呂僧珍把督郵府遷走，把舊宅擴建。呂僧珍說：“督郵官府自我家蓋房以來一直在北地，怎能為擴建吾宅讓其搬家呢?”遂不許。呂僧珍有個姐姐，嫁給當地的一個姓於的人，家就在市西。她家的房子低矮臨街，左鄰右舍都開買賣的店鋪貨攤，一看就是下等人住的地方看一下就知道他們住的是下等人住的地方。但呂僧珍常到姐姐家中作客，絲毫不覺以出人這種地方為恥並沒有覺得在這種地方居住有什麽丟人的。