一五七八年（天正六年）夏，秀吉開始向別所小三郎長治所鎮守的播州三木城發動兵糧攻，如水和同樣是秀吉軍師的竹中半兵衛一起留在秀吉的大本營中。這時候，如水受到了半兵衛的勸誡：
事情的緣由起於一張紙，那是秀吉給如水的“兄弟誓書”，這裏麵寫道：“我在此地，與你毫無隱瞞的談論所有的事情，相互之間沒有隔閡。以後我和你就有了兄弟的情誼，永不違此誓。”如水在陣中把它用油紙包起來，十分珍惜。誰知半兵衛看到了這份如水很引以為豪的誓書後，卻將它撕成兩半，然後扔到火盆裏燒掉了。麵對著大驚失色的如水，半兵衛說：“你和秀吉是主從而不是兄弟，這張紙遲早會成為禍根的，你還是早點忘了它吧。”如水聽到了半兵衛的這番勸誡後，俯下身去表示感謝。從今後，如水將這番話牢記在心，常常引以為戒。
話說回來，秀吉所討伐的別所氏是赤鬆則村的一族，開始一度臣服於信長一邊，後來因為聽信了長治的叔父別所山城守賀相的讒言，在這一年的二月背叛了秀吉而投向了毛利一方。從屬於別所家的諸多豪族也和別所一起投向了毛利。但是長治的另一個叔父重棟卻依然留在織田家。四月一日，重棟所在的別府城受到了毛利輝元手下中國，紀伊，淡路三方麵聯軍約八千人的攻擊。聽聞這個消息的秀吉，馬上交給如水五百精兵，命令他迅速增援別府城，最終成功地擊退了毛利大軍。
發覺單獨攻打三木城難以成功的秀吉，采納了如水的進言。為等待信長的援軍而將本陣移往書寫山。這裏的元教寺是天台宗的古刹，供奉著很早以前的伽蘭像，並儲備有很多兵糧。四月十八日，吉川元春，小早川隆景和備前的宇喜多直家率領五萬大軍開往播磨以救援別所長治。並包圍了由尼子勝久和山中鹿之介守備的上月城，鹿之介迅速向秀吉求救。於是，秀吉，如水和荒木村重所率領的一萬餘軍隊移到了高倉山布陣。六月二十四日，信長發來書信，言及毛利軍不可能馬上攻下上月城，命令秀吉立刻返回了書寫山繼續展開對三木城的攻擊。結果，上月城在沒有援軍的情況下於七月三日被攻破，尼子勝久，氏久（勝久的弟弟）自殺，山陰地方的名族尼子家滅亡，同月五日，山中鹿之介和立原久綱向毛利軍投降。
就在這個時候，秀吉收到了“荒木村重謀反”的報告。村重勾結足利義昭和本願寺顯如向信長豎起了叛旗，這是在那一年的十月十七日。信長大為吃驚，三番四次向村重送去使者，希望他回心轉意，但是最終都失敗了。
同時，小寺政職也響應荒木村重背叛了信長。在如水拚命的勸說下，政職答應如果村重投降的話他也會歸順於信長。就這樣，如水在和父親職隆討論之後，抱著對小寺家盡最後忠義之心，以必死的覺悟單身前往會見在有岡城的村重。（但也有一種說法說這其實是政職的陰謀，政職想借村重的手殺掉如水。日後，反叛失敗的政職客死異鄉，其子氏職日後成為黑田家臣。）
如水的勸說並沒有打動村重的心。反而被村重幽禁在有岡城裏度過了一年的牢獄生活，還因此失去了一隻腳。村重當時為什麽沒有殺死如水至今已成了一個謎。據說是村重認為：“殺掉毫無抵抗能力的小鳥會喪失民心。”。
就在這禁閉的日子裏，留下了黑田家家紋的傳說：黑田家的家紋本來是丸に三橘，從如水之後就改成了藤巴。據說，如水被幽閉的山洞非常潮濕，終日難見陽光。沒想到在這樣惡劣的環境下，看上去已經枯萎的藤條居然發出了新芽，還開出了紫色的花，如水認為這是在向他宣告未來的吉兆，所以創造了這個家紋，這都是為了不忘記這一段艱難困苦的日子。
另一方麵，安土城的信長並不知道如水已經被村重幽禁，還以為是如水背叛了自己，他立刻命令半兵衛殺死作為人質的如水嫡子鬆壽丸。半兵衛表麵答應，但是內心知道如水不會背叛，於是就將鬆壽丸藏在自己的居城裏（美濃國不破郡菩提城），假裝已將其殺死了。日後，如水在這件事上對半兵衛很是感激。
一五七九年（天正六年）十一月，瀧川一益終於攻落有岡城，並救出了如水。但長年的牢獄生活已經腐蝕了他的腳，頭發也掉光了，其狀慘不忍睹。秀吉見如水受這樣的折磨仍然沒有背叛自己，非常感動。於是大加賞賜，他見如水步行困難，還特意為他準備了轎子。同年十二月，秀吉命令如水拋棄“小寺”這個有叛逆之心的姓氏，恢複了他的舊姓“黑田”。
背叛不斷被鎮壓，最後，隻剩下三木城的別所長治了。這一年的九月，四周的支城全部被攻落，三木城徹底陷入了孤立無援的狀態。接下來就是秀吉最拿手的兵糧攻，“渴死三木”的行動就這樣開始了。據《播州別所記》記載：“城中連陳年的老穀子都被吃完了，餓死者達到數千人。開始是用糠為食，然後是吃牛馬，雞犬，隨後連人肉都要割下來吃掉。”一五八零年（天正八年）正月十一日，書寫山上的秀吉向三木城發動了總攻擊令，此時別所方城裏的糧食早已耗盡，繼續戰鬥下去根本毫無意義。十五日，城主別所長治與同彥之進友行以自己的切腹換取了一城殘兵的性命。這樣，秀吉完全平定了播磨一國。