1881年，由於明治三傑西鄉隆盛、木戶孝允，大久保利通先後死去，政界最有實力的人物當屬伊藤和大隈重信兩人。就在這一年，伊藤秘密聯合政府中的薩摩，長洲係官僚及皇室公卿，發動明治14年政變，排斥了政治上的強硬對手大隈，從此他便成為政界的頭號人物。
當時的日本，雖已進行了種種改革，開始走上資本主義道路，但在對外關係上，以往簽訂的不平等條約依然存在，成為壓製日本獨立，束縛其發展的的嚴重威脅和障礙。歐美列強以日本法律不完備為由，拒絕修改不平等條約。在國內，板垣退助、大隈重信等先後組織自由黨和改進黨，發起聲勢浩大的自由民權運動，提出的口號就是 開設國會和製定憲法。為了緩和國內矛盾，加強天皇統治，並在法製健全的名義上與歐美列強展開修約談判，爭取民族獨立，建立憲政就成為刻不容緩的急務。具體負責立憲準備的就是伊藤博文。他向政府提出建議書，指出立憲思想已成為世界潮流，要順應潮流，先發製人，循序漸進，按政府意圖製定憲法。1881年2月，明治政府派伊藤赴歐洲考察憲政。 通過考察，他對英、法、德三國憲法加以比較，認為英國憲法中“國王雖有王位而無統治權”，“與我國國體不相符”;而“德國政府雖采眾議,卻有獨立權”，“君主親掌立法行政大權，不經君主許可，一切法律不得實行”，“可見,邦國即君主，君主即是邦國”。對德國憲法推崇備至,認為適合日本國情。
1883年8月，伊藤回國。1884年3月，任製度調查局長，進行體製改革，為立憲做準備。同年7月,根據“華族令”，伊藤被授予伯爵爵位。1885年12月，按伊藤建議，廢除太政官製，實行西方資產階級的內閣製。伊藤任內閣總理大臣兼宮內大臣，執掌大權。同月，製定“保安條例”，鎮壓民眾運動，以便按政府意圖製定憲法。
從1886年6月起，伊藤博文組織人員起草憲法。9月，草成“日本憲法修正案”。經反複修改,於1888年4月呈奏天皇。並提出設立樞密院，作為最高顧問府,網羅天下元勳及賢達，在天皇監督下，審議憲法。日本政府按此提議，於同年4月28日，設樞密院。30日伊藤辭去首相職務，改任樞密院議長。1889年2月11日，樞密院正式頒布“大日本帝國憲法”(也稱“明治憲法”)。同一天，天皇授予伊藤旭日大桐花勳章。1890年憲法開始實施，7月進行第一次大選,選舉眾議員。10月，伊藤任貴族院議長。11月，帝國議會正式成立。 伊藤博文主持製定的明治憲法，具有濃厚的封建性。它保留了天皇的統治，規定了天皇的至高無上的地位和擁有的絕對無限的權力。明治憲法的製定，標誌著天皇絕對主義統治體製的確立。
1892年8月、1898年1月和1900年10月，伊藤博文三次任內閣總理大臣，於1891年6月、1902年7月和1909年6月，三次任樞密院議長，並於1907年8月，被授予公爵爵位。地位顯赫，在政府中具有舉足輕重的影響。中日甲午戰爭後，隨著日本資本主義的發展，資產階級力量不斷增強，政黨活動有所增長。伊藤博文為大勢所趨，轉向拉攏政黨，並於1900年組織立憲政友會。在建黨大會的致詞中，伊藤號召“從事農、工、商者”入黨。其目的就是,以憲政為招牌，盡可能地聯合地主、資產階級,共同對付日本人民，加強天皇製的統治。
在對外關係上，明治維新後，伊藤博文曾努力從事修改幕末時期幕府與西方列強簽訂的一係列不平等條約的談判，以爭取實現日本民族的真正獨立、自由。與此同時,又積極推行明治政府的對外擴張政策,侵略中國和朝鮮。
1892年8月，伊藤再任首相後，為擺脫國內危機，欲發動對外侵略戰爭，又怕西方列強,尤其俄國出麵幹涉，故利用俄國與英國的矛盾，力圖與英結盟，取得支持。由外相陸奧宗光出麵與英國談判，於1894年7月簽訂了新的英日通商條約。新條約取消了治外法權，還取得貿易上的最惠國待遇。但是，關稅自主權仍未收回，隻是規定特定的品種可以提高稅率。此後,美、德、奧等國都仿照英日新條約，與日本簽訂了新約。而關稅自主權直到1911年才由日本政府完全收回，最終完成了修改不平等條約的曆史使命。