伊藤博文是使日本邁進現代化國家、成為近代世界列強之一的功臣，但由於其一貫奉行對外擴張政策，在日本國內外都有著截然不同的評價。而伊藤博文的性好女色也是許多人都知道的。“醒掌天下權，醉臥美人膝”。雖然他是日本曆史上的大政治家，但也因好色而與豐臣秀吉並列青史。他所交往的女性大多是藝妓，他的梅子夫人也是藝妓出身。
僅憑直覺無法深刻了解一個人。比如大多數人對山縣有朋元帥的印象是“冷徹”、“派閥締造者”、“民眾之敵”，對伊藤博文的印象則是，雖然他有很強的權力欲和名利欲，但至少在表麵上還有一點稚氣。伊藤博文主持建造的滄浪閣等建築簡直就像一座地方政府機關辦公樓，毫無藝術氣息。E．貝爾茨曾這樣形容他：“此公愛酒、女人和煙草，而且從不隱諱，常對身邊人說：‘我對你們什麽也不指望。在我終日為國事操勞而頭痛之時，與其晚餐時讓你們給我倒杯酒，服侍我換衣服，大概還不如天真漂亮藝妓的玉手可解我心寬呀。”’（春畝公追頌會《伊藤博文傳》下卷）據岡義武稱，尾崎行雄曾說“伊藤公把女人視為廟會上的花一樣”（岡義武著《近代日本的政治家》）。
伊藤博文淡泊金錢，據末永勝介介紹，伊藤博文與田沼意次不同之處在於公務之餘的愛好：田沼愛金銀財寶而伊藤迷戀女人。（末永勝介《挪用明治天皇機密費玩女人的伊藤博文》，載於《寶石》1967年11月號）伊藤基本不問女人的美醜，像對待廟會上的花一樣，隻要他心血**，就會成為他獵取的目標。
伊藤博文結婚前，曾經有一個叫澄子的未婚妻。據說是他在私塾時的同學的妹妹，他與另一位同學同時喜歡上了澄子，最終他獲得了澄子的芳心，他的父母知道他們的戀愛關係後，就把澄子接到了家中。後來，伊藤博文在從事維新事業的時候，經常與那些誌士出入酒館，與藝伎結交。在此過程中，他結識了他的原配夫人梅子，梅子出身於下關青樓之中。不久他和澄子解除了婚約，並且親自做媒，把她許配給了別人。
明治維新以後，伊藤博文時常在東京的新橋狎妓作樂。後來為了避人耳目，讓寵伎阿倉在橫濱開設茶屋富貴樓，富貴樓成了明治新貴的秘密尋歡處。在伊藤博文手握大權以後，風流韻事依然不斷，曾經一度追求藝伎江良加代。江良加代是隻園名伎，曾為政界元老西園寺公望的小妾，後來跟從木戶孝允。木戶死後，伊藤博文緊追江良，但是最後江良卻嫁給了三井財閥的三井源右衛門去朝鮮赴任統監時還堂而皇之地帶了一個19歲的藝伎。即使是在現代，這種事情也是不能允許的。從這一點上看，他根本沒有資格被稱為“維新誌士”。梅子雖然是他唯一的正室，但是他身邊卻從來不乏其他的女人。因此，他曾寫信給他的長子博邦，意思是說梅子夫人與他的愛情和付出的辛勞非筆墨可以言盡，要他的兒子在他死後從遺產中拿出10萬元給梅子，可見他心中對其夫人也不無愧疚。不過，在他死後，人們整理他的遺物時發現餘款不足5萬元，後來幸虧日本天皇賜了10萬元，才完成了他的這一心願。他門下的食客有十幾人，再加上他“人生得意須盡歡”“千金散盡還複來”的態度，所以不可能積攢下多少財富。同時，這種毫不隱諱的性格也是他受到人們喜歡的原因之一。伊藤博文在內政方麵有相當的政績，但在對外政策和女性關係方麵卻實在讓人無法恭維。