1892年8月，第一次鬆方正義內閣因議會彈劾和內訌倒台，伊藤受命第二次組閣。他一改過去對民黨和議會的高壓政策，采取懷柔軟化政策，以保留自由黨領袖後藤象二郎、河野敏鎌的大臣職務，作為與民黨合作的旗幟，並更換了嚴重幹涉地方選舉的知事、郡長，瓦解民黨的攻勢。

第二次伊藤內閣成立時，對中國的作戰準備已經進入最後階段，為準備對中國作戰，第一次山縣內閣和第一次鬆方內閣都製定過以增加軍備開支為主要內容的財政預算案，但都被議會否決了。伊藤的老練在於，他沒有像他的前任那樣采取解散議會或者賄賂議員的做法，而是策動天皇發下詔書，迫使議會在聖斷下讓步。首開用天皇壓製議會的先河。

1894年伊藤內閣以朝鮮東學黨起義為借口，發動中日甲午戰爭。 7月，日本艦隊不宣而戰，在朝鮮半島海麵襲擊中國艦隊。8月1日，日本政府正式宣戰。9月，伊藤隨大本營來廣島，參與指揮戰事。在整個中日甲午戰爭的過程中，所有日本明治政府和大本營作出的重大決策，他無一不參與，並且出謀劃策，親自作出重大決議，對於整個戰爭起了決定性作用。很快,戰爭擴大至遼東半島。11月，日軍攻占旅順口。與山縣有朋所代表的軍方不同，伊藤主張打一場有節製的戰爭，他認為把戰火燒到北京，迫使清朝簽訂城下之盟的做法，將很可能引起日本與西方列強的對抗。伊藤提出建議，派兵占領台灣，攻打威海衛，全殲北洋艦隊,以此要挾清朝談判。逼其割地，賠款。2月12日，日海軍獲勝。日軍又在東北戰場連克海城、牛莊、營口等地。清朝在軍事上徹底敗北，隻好派李鴻章赴日談判。1895年4月10日清朝政府簽訂了“馬關條約”。條約規定；①朝鮮完全脫離中國；②中國割讓遼東半島、 台灣和澎湖列島給日本； ③賠款白銀二億兩；④以中國與歐美各國所訂條約為基礎，迫使中國與日本締結中日通商條約。按此新約，日本不僅取得治外法權和租界權，還取得歐美各國不曾有過的權利，如長江航運權等。在談及台灣問題時，伊藤博文要求一個月交割，李鴻章認為“一月之限過促”，要求展限兩月，並雲“貴國何必急急？台灣已是口中之物”，伊藤博文回答道“尚未下咽，饑甚”，一句話，充分暴露了日本帝國主義凶殘貪婪的本性。後來因俄、法、德三國幹涉還遼，伊藤堅決反對對俄一戰，力主妥協退讓，日本采取了對三國全麵讓步，對清國寸步不讓的方針。日本交還遼東半島，作為補償，日本又取得3,000萬兩白銀的賠款。 1898年，戊戌變法時前往北京訪問，麵見光緒皇帝和康有為，提供改革方針。政變後，參與救援被捕的黃遵憲，並協助康有為和梁啟超逃往日本。

但是對日本來說，北方大國俄國依然是一個巨大威脅。之所以這麽說，是因為1896年俄國與清朝締結過密約，約定共同防日。同時俄國得到東清鐵路築路權，並於1898年得到旅大港的租借權。1899年，俄國借義和團起義之機事實上占領了整個滿洲（中國東北）地區，攫取了在該地區的獨占權益。義和團被鎮壓後，俄國仍不撤兵。

為了對抗俄國的所謂南下政策，伊藤博文與井上馨提出與俄國進行交涉，以承認俄國對中國東北的支配權換取俄國承認日本在朝鮮的支配地位（即所謂“滿朝交換論”）的建議。當時的首相桂太郎以及山縣有朋、小村壽太郎等人則力主與英國結盟。1901年9月，伊藤博文以私人身份前往俄國進行活動，但交涉未取得任何成果。英國則主動接近日本，於1902年結成日英同盟。伊藤博文最後也為日英締結同盟作了努力。