安祿山對其胡人身份的重視，除了個人身世的因素外，更與胡人家族的勢力密不可分。胡人對安祿山早年政治生涯的影響體現在兩個層麵，即安氏家族勢力的助力，以及玄宗朝後期蕃將群體崛起的政治趨勢。對於這一曆史現象，以往將其解釋為李林甫為固相位，“誌欲杜出將入相之源”,以“蕃人善戰有勇，寒族即無黨援”為借口，自此邊將“不識文字，無入相由，然而祿山竟為亂階，由專得大將之任故也”。①盡管這一解釋過於強調李林甫的個人因素，卻表明玄宗朝後期蕃將的崛起是普遍趨勢。
安道買與安波注家族在唐朝北方邊鎮扮演著重要角色，而他們的崛起都可以追溯至武周中後期。萬歲通天年間，宋禎任平狄軍大使兼朔州刺史，安道買與張仁楚同任副使。②當年正月“突厥默啜寇勝州，平狄軍副使安道買敗之”③,其後五月在唐軍征討契丹的軍事行動中，“總管沙叱忠義、王伯禮、安道買等，兵臨易水，使接桑河”④。安波注的父親史失其名，致仕官為左玉鈐衛郎將⑤,這是武周時期特有的官職，位列正五品上，其人往往充任邊州長史、軍鎮子總管一類的副職。⑥與安道買類似，安波注之父安某應在武周時期的邊軍中任中級武職。
直至安史之亂爆發前，兩個安氏家族似乎都相對堅定地站在唐朝立場上，並世代充任軍職。安道買次子安貞節於開元初年擔任嵐州別駕，嵐州城北一百裏有岢嵐軍，在武周時期隸屬平狄軍(大武軍),景雲年間張仁願移鎮朔方後，該柵隻保留一千人，以守捉的形式隸屬於大武軍。①嵐州別駕很可能同時兼任岢嵐軍使或副使之職，這恐怕與其父安道買在平狄軍內的影響不無關係。安道買家族在此後的史料中不見記載，然尚可覓得若幹間接信息。《大唐故公士安君墓誌銘並序》的誌主安令節與道買兩子之名意義相從且末字相同，令節幼子安武臣後來追隨安祿山叛亂，祿山死後他站在安慶緒一方，並曾於至德二載(757)七月率軍攻陷陝郡。②由於安令節之父名生，官上柱國，與安道買非同一人，那麽如果令節與貞節兄弟間存在某種親屬關係的話，則可能是從父兄或更遠的同宗兄弟關係。③不過安道買家族似乎在天寶朝已經沒落，因為當叛亂爆發後，“思順及弟太仆卿元貞皆坐死，家屬徙嶺外”④,而安武臣同樣隨祿山反叛，卻並未見唐廷提及對安令節或安貞節一家的處置。
與安貞節相似，安波注大約在開元初年也已擔任一軍之使。開元二年(714)七月的武階驛之戰中，唐朝曾令薛訥“率杜賓客、郭知運、王睃、安思順以禦之”①,然安思順此時年方總角②,頗疑為安波注之訛。③及至天寶初年，安波注已官至左羽林大將軍、河西節度都知兵馬使，曾指揮了唐軍在魚海對吐蕃的作戰④,後以右羽林大將軍之職致仕，並在安史之亂爆發後獲賜太子太師。⑤天寶元年(742)魚海之戰時，安波注兩子思順與元貞當分任節度先鋒使及副使。①天寶五載(746)王忠嗣下獄後，安思順自朔方調任河西節度使②,此後節製邊鎮直至安史之亂爆發。史家多言安祿山拔擢之速，其實安思順的升遷更為迅速。
盡管安祿山與安道買及安波注家族間的淵源曲折複雜，不過這兩個安氏家族對於安祿山政治生涯所產生的實際影響卻是有限的，更多表現為名望和聲勢上的庇佑。安波注在玄宗朝卓著的戰績、其在河西軍政及胡人中的權勢威望，成為安祿山得以倚賴的重要政治資本。天寶十載(751)朝廷欲以高仙芝代安思順為河西節度使，“思順諷群胡割耳勢麵請留己”③,可見其家族在河西胡人中影響甚巨，《雪安表》“收在門闌”及向達“至中國後，受安波主之卵翼”④的說法誠為不虛。這種庇佑並不是直接的提拔，我們目前尚未有安祿山在河隴從軍的任何證據。但他在天寶年間與安思順的不次拔擢，可以看出安波注家族在政治上對他產生的巨大助力。
這種間接影響的另一個體現，在於安道買家族在河東的馬政勢力為安祿山日後擔任樓煩監、獲取河東馬政實權打下了基礎。盡管唐代建立了蔚為壯觀的國馬牧養體係，但有唐一代始終存在的監牧卻隻有樓煩監。
據《舊唐書·地理誌》記載：“憲州下，舊樓煩監牧也。先隸隴右節度使，至德後，屬內飛龍使。舊樓煩監牧，嵐州刺史兼領。貞元十五年，楊缽為監牧使，遂專領監司，不係州司。龍紀元年，特置憲州於樓煩監，仍置樓煩縣。郡城，開元四年王毛仲築。州新置，未記戶口帳籍。”①樓煩監“先隸隴右節度使”的說法不確，在唐前期的絕大部分時間裏，樓煩監牧都隸屬於嵐州。據中日學者拚接複原的《儀鳳三年度支奏抄》,我們知道直至高宗朝末年，隴右群牧使一職尚未出現，隴右牧統領全國馬政的局麵也未形成。當時全國牧監分為隴右諸監、秦州諸監、原州諸監、鹽州諸監、嵐州諸監五個相對獨立的係統②,“諸牧監殺獸狼賞”、“諸牧監所有尉長戶奴婢等春冬衣”等馬政開支基本遵循所屬州及隨近軍州當州支給的原則，其中“嵐州諸監於州給”③。顯然，就儀鳳三年(678)戶部的財政預算分配來看，各地牧監仍受到其所在州或都督府的明確管轄。④武周革命以後，約697年前後，此前分屬隴右、秦州、原州的數十個牧監被重新劃分為西、南、北、東四使⑤,監牧使由中央直接指派，從所在之州的行政管轄中脫離出來，加強了獨立性和直屬性。而地處鹽、夏一帶的河曲諸監則在永隆年間(681)由功勳老臣、粟特人安元壽作為夏州群牧使短暫兼領，但這主要針對當時突厥的叛亂而設⑥,“旨在清點、管理以六胡州為中心的關內道諸牧監，亦即原、鹽、夏及六胡州諸牧監”⑦,並未成為定製。直至開元十三年(725)玄宗東封泰山時，張說撰寫《大唐開元十三年隴右監牧頌德碑》以記盛事，由於鹽州刺史兼鹽州群牧使張景遵為時任隴右群牧副使的張景順的兄弟，出於人事的原因，張說將鹽州使也納入，稱為“五使齊集”①,事實上鹽州使並未劃入隴右群牧使轄下，這從《元和郡縣圖誌》中“監牧”條的記述便可知道②。與鹽州使類似，唐前期的所謂嵐州使同樣不屬於隴右群牧使直接管轄，而是由所在的嵐州刺史兼領，這正是上引《舊唐書·地理誌》所記載的製度。
安貞節所任的嵐州別駕一職隱含著關鍵信息。樓煩諸監包括樓煩、玄池、天池三個牧監，至遲在高宗朝後期就已存在。據《舊唐書·地理誌》記載：“憲州下，舊樓煩監牧也。先隸隴右節度使，至德後，屬內飛龍使。舊樓煩監牧，嵐州刺史兼領。”③按：唐朝並無隴右節度使轄樓煩諸監的規定，這裏應是對於安祿山在叛亂前以隴右群牧使兼領樓煩監之事的訛誤。《儀鳳三年度支奏抄》規定“秦、夏、原、鹽、嵐等州諸監官庸物，每年並於當州給”,同時諸牧監殺獸狼的賞金撥發，也是“嵐州諸監於州給”④,這種財政的仰給同時也意味著行政上的管轄。武周以降，諸牧監州的別駕多有兼任牧監使之例，如武周末期獨孤思行“試尚乘奉禦兼隴右西使，又遷洮、疊、原三州上佐，再任奉禦，兼知北使”⑤,開元前期東宮群牧副使韋衡“轉原州別駕，又換隴州，入為右驍衛中郎將兼檢校西使”⑥,開元初年獨孤挺以金城郡別駕兼任西使左十九監、隴右群牧都使判官①,皆是此例。據此來看，開元初年嵐州使一職可能正是由嵐州別駕兼任，後來安祿山以隴右群牧使之職兼領樓煩監，並攘奪張文儼私人馬牧地②,恐怕與安道買家族在河東的勢力淵源，尤其是對樓煩諸監馬政的長期經營不無關係。
嵐州轄區以山區為主，地形複雜，北端有岢嵐軍扼守關隘，監牧位於南部山間，突厥軍隊很難深入這裏。同時樓煩諸監東南毗鄰北都太原，距京師路途也不算遠，軍事、政治上的意義不言而喻。開元四年(716),第二突厥汗國發生內亂，默啜被殺，漠北九姓呈現出集體歸唐的趨勢，王毛仲於當年築樓煩城，無疑與這一曆史背景密切相關。當時九姓歸附的一個重要區域就是河東，如回紇、 仆固等內附部落被唐朝安置於大武軍北。③在樓煩監築城，表明當地監牧發展已達到一定規模，而作為總領全國馬政的群牧使，王毛仲自然希望借胡人內附河東的契機進一步發展嵐州諸監。開元四年(716)樓煩城的修築，是8世紀上半葉北方民族內遷唐朝趨勢轉變的一個反映。