突厥內徙中原後，又涉及一個其原地餘眾如何管理的問題，是派漢人治理或由本族酋長治理?是設置州縣或仍其突厥種落?唐太宗以創設羈縻府州解決了麵臨的新問題，使民族團結的政策得到了切實的貫徹。
《新唐書·地理誌》雲：“唐興，初未暇於四夷，自太宗平突厥，西北諸蕃及蠻夷稍稍內屬，即其部落列置州縣。”這就是羈縻州縣。東突厥歸附之後，除了部分遷居內地，餘部仍居原處。唐太宗在其原地餘部設置羈縻府州，如在突利轄區的東起幽州西至靈州一帶，設置順、祐、化、長四州都督府；以頡利過去轄區置為六州，又以定襄、雲中兩都督府統轄六州。在行政管轄方麵，任命本族首領為都督或刺史，統率原來部眾。如封阿尼那蘇泥失為懷德郡王、北寧州都督，封突利可汗為北平郡王、右武侯大將軍、順州都督，封阿史那思摩為北開州都督，封改惡從善的頡利可汗初為右衛大將軍，次為虢州刺史，後又順頡利之意，仍複頡利為正三品的右衛大將軍之職。
唐太宗如此禮待降酋，自然收到明顯效果，貞觀四年八月，突厥欲穀設自動歸附就是一例： “欲穀設，突利之弟也。頡利敗，欲穀設奔高昌，聞突利為唐所禮，遂來降。”
唐太宗從突厥族設置羈縻府州取得成功經驗後，又推廣到其他少數民族部落。在貞觀年間，對所謂“南蠻” “西戎” “北狄”數以百計的種族，均與回紇一樣“置州府以安之，以名爵玉帛以恩之”, “以威惠羈縻之”。
貞觀二十一年正月，唐太宗為鐵勒諸部，甲“置六府匕州，府置都督，州置刺史、府州皆置長史、司馬以下官主之。” “皆以酋領(之)”,還於故單於台置燕然都護府，統隸廠回紇、多覽葛、仆骨、拔野古、同羅、思結六府及渾、斛薛、阿跌、契芯、奚結、思結別部、白霄七州。於是對西北地區行使了主權，貞觀二十二年十一月，唐太宗又因北狄的契丹酋長窟哥、奚酋長可度者的率部內附，遂“以契丹部為鬆漠府，以窟哥為都督；又以其別帥達稽等部為峭落等九州，各以其辱紇主為刺史。以奚部為饒樂府，以可度者為都督；又以其別帥阿會等部為弱水等五州，亦各以其辱紇主為刺史。”這樣，對東北地區也行使了國家主權。總之，唐太宗統一西北、東北邊疆，設置羈縻府州的主要功績是在於形成了一個疆域遼闊、統一的多民族國家。正如他在《遺詔》裏所說的：“前王不辟之土，悉請衣冠；前史不載之鄉，並為州縣。”
唐太宗推行羈縻府州的政策，具有積極的意義。
首先，有助於統一邊疆。羈縻府州政策是唐太宗在邊疆少數民族地區設置的地方行政單位，大的稱都督府、中為州、下為縣。府都督、州刺史都由中央任命，隨之取消了少數民族上層分子原有的可汗稱號，實質上是將中原地區的郡縣製推廣到了邊疆地區。唐太宗為了加強對邊遠少數民族聚居區推行有效的管轄，又設置了在羈縻府州之上的都護府這一行政區劃。都護府是中央與羈縻府州之間的紐帶，它代表中央行使對邊疆地方的主權，管理邊防、行政和各族事務。都護為郡縣官製，不世襲，由漢官擔任。如貞觀晚年安西都護府都護為郭孝恪，燕然都護府都護為李素立，等等。都護對羈縻府州都督，刺史進行管轄，羈縻都督、刺史聽命於中央、遵守朝廷政令，以防止羈縻府州的離心傾向，這些都帶有郡縣製的特征。
此外，唐太宗為顧及胡族的傳統，又允許與郡縣製不完全一樣。如郡縣製下的地方官員不能世襲，而羈縻府州經過一定手續，得到唐王朝批準，“死亡者必詔冊立其後嗣”。郡縣製下的州縣戶籍、賦稅必上繳戶部，而羈縻府州對其貢賦基本上自行支配，僅以少許朝貢朝廷。這些都是唐太宗按照少數民族固有的方式，讓其處理族內事務，具有相對的“自治”權，但有一定限度。羈縻府州既隸屬中央政府，必加強了中央政府對邊遠地區的統治，正如宋王溥所說的： “統製四夷，自此始也。”
其次，提高了唐王朝中央政府的威望。貞觀晚年，唐太宗受到各族的尊崇，有的民族牧馬出界，發生爭執，太宗“親臨斷決，然後鹹服”。各族首領無不以到長安朝賀唐太宗感到榮耀：“是時四夷大小君長爭遣使入獻見，道路不絕，每元正朝賀，常數百千人。”顯然，各族君主以唐太宗作為他們的天可汗，唐太宗亦樂意接受各族首領的請求。
早在貞觀四年三月， “乃下製，令後璽書賜西域北荒之君長，皆稱皇帝天可汗”。貞觀二十一年正月，他接受了鐵勒部回紇等族酋長的提議，同意於“回紇以南，突厥以北開一道，謂之參天可汗道”。
“參天可汗道”的開辟，是唐太宗羈縻府州政策取得成功的生動體現。貞觀後期，回紇等族目睹唐太宗羈縻府州政策的成功執行，不勝羨慕之至，紛紛請求： “生荒陋地，歸身聖化，天至尊賜官爵，與為百姓，依唐若父母然。”
這條驛道的開辟，也為唐太宗的羈縻府州同中央王朝加強聯係、取得成效創造了條件。《新唐書·地理誌·羈縻州》雲： “唐置羈縻諸州，皆傍塞外，或寓名於夷落。而四夷之與中國通者甚眾，若將臣之所征討，敕使之所慰賜，宜有以記其所從出。”為此需設驛道， “參天可汗道”就是聯係唐都長安與西北邊境的驛道，每隔一定路程，設一驛站，共六十八驛，驛備馬匹與飯食，以供漢，夷使節換足與食宿，大大便利了羈縻府州同中央王朝的聯係，有助於唐王朝對邊疆地區的管轄。而且也有助於經濟、文化的交流。
此後，中原的絲織品、茶、鐵、金銀器、開元錢，農作物種子、文具，生產工具等物資接連不斷地運往邊塞；少數民族的良馬、駝馬、貂皮、白氈(棉布)、玉、農作物種子亦隨之傳到內地。就在驛道開辟的當年，漠北的骨利於族即遣使進貢“筋骼壯大”的“良馬”,唐太宗選取其中駿刀十匹，號為“十驥，皆為美名”。
作為各族共主的天可汗，表明了唐太宗開明的民族思想。宋代範祖禹竟責怪他， “以萬乘之主，而兼為夷狄之君，不恥其名，而受其佞，事不師古，不足為後世法也。”範祖禹指責唐太宗不師先王、以天下各族的最高君主為榮，不免顛倒曆史，其實這正是唐太宗的出類拔萃之處。