自成吉思汗以來，蒙古統治者就把擁有廣大疆土，擴大統治範圍看成是一種極其光榮而又高興的事業，其時，蒙古統治者除了對中原用兵以外還把兵鋒指向對西方各國，發動了大規模的征伐戰爭。
忽必烈即位以後不再西征，開始同歐洲各國進行和平交往，可是他並沒有放棄對亞洲各國的征伐，他想成為整個亞洲的大皇帝，就是在這種思想驅使下忽必烈發動大兵對日本進行了大規模戰爭。
忽必烈征服高麗以後，也想同樣辦法去征服日本。
至元三年(1266),忽必烈以兵部侍郎黑的、禮部侍郎殷弘為國信使、副，配以虎符和金符，持國書出使日本。
忽必烈在國書中明確表示了與日本“通問結好”之意，沒有明令日本稱臣，但以高麗為例，暗寓其意，還威脅日本，不來通好，“以至用兵”。黑的與殷弘持書到達高麗，以高麗樞密院副使宋君斐、借禮部侍郎金讚為向導，前往日本，結果沒有到達日本，中途而返。
至元五年(1268)九月，忽必烈再次命黑的、殷弘持書往通日本。二人到達日本對馬島，日本人輕蔑待之，拒不接納，二人見此情景非常氣憤，活捉了塔二郎、彌二郎兩個日本人，取道高麗，然後回歸本土。
忽必烈聽說黑的、殷弘劫持兩個日本人而回，覺得有失禮數，於是在
至元六年(1269)六月命高麗金有成帶著中書省牒文將其送還。
金有成至日本，日本人不但沒有友好相待，還將金有成拘留於太宰府守護所。
金有成出使日本，長期查無音信，忽必烈便想遣使日本詢問。恰逢這時高麗發生政變，權臣林衍廢棄高麗國王王植而另立其弟王涓。忽必烈隻好暫緩遣使日本，著和全力解決高麗政變問題。
至元六年(1269)十二月，忽必烈處理完高麗政變，便命秘書監趙良弼持書出使日本。忽必烈在國書中又寫道：
蓋聞王者無外，高麗與朕既為一家，王國實為鄰境，故嚐馳信使修好，為疆場之吏抑而弗通。所獲二人，敕有司慰撫，俾齎牒以還，遂複寂無所聞。繼欲通問，屬高麗權臣林衍構亂，坐是弗果。豈王(指日本國王)亦因此輟不遣使，或已遣而中路梗塞，皆不可知。不然，日本素號知禮之國，王之君臣寧肯漫為弗思之事乎。近已滅林衍，複舊王位，安集其民，特命少中大夫秘書監趙良弼充國信使，持書以往。如即發使與之偕來，親仁善鄰，國之美事。其或猶豫以至用兵，夫誰所樂為也，王其審圖之。
忽必烈在國書中再三申明通好之意，對日本始終不遣使者以及拘留元使表示寬容。趙良弼接書在手，請問與日本國王相見之禮，大臣們七嘴八舌，但主旨意見則認為，元與日本上下之分未定，不必講究禮數，忽必烈深表讚同，可以看出忽必烈也沒有強令日本必須稱臣的意思。
至元七年(1270)十二月，趙良弼正式啟行，忽必烈詔諭高麗國王王植，派人送至日本，期於必達，並以忽林失、王國昌、洪茶丘領兵護送至海上。
趙良弼到達日本，日本國王還是不予接見，隻遣一個名叫彌四郎的日本人前往應付。
彌四郎將趙良弼帶至太宰府西守護所，據守吏所言，從前日本被高麗所欺哄，屢言上國(指元朝)來伐，所以不接來使。豈期皇帝(指忽必烈)好生惡殺，多次遣使麗來，並未動怒。可惜我國王京，去此尚遠，希望先遣人從奉使回報，他日再行通好。
實際上，守吏所言全是托詞，日本國王拒不接見才是真意。無可奈何之際，趙良弼隻好遣從行的書狀官張鐸帶領太宰府所遣的偽稱日使二十六人先行馳還大都通報。
忽必烈不明其意，以為日使聲稱受太宰府西守護所差遣是假，受日本國主差遣是真，事前沒有通報，不期而至，恐是害怕元軍進攻，前來刺探虛實。因此，不敢貿然接見，特召姚樞、許衡等人問以對策。
姚樞、許衡說“誠如聖算。彼(指日本)懼我加兵，故發此輩伺吾強弱耳。宜示之寬仁，且不宜聽其入見”,建議忽必烈不要接見日使。其說與忽必烈所慮相合，忽必烈連連點頭稱善。
於是，元廷盛情款待日使，但皇帝不予接見，日使自覺沒趣，即起程歸國。趙良弼聞訊，也從日本趕回元朝。
不久，元朝又通過高麗幾次通信日本，皆如石沉大海，無有回音。
至元十年(1273)六月，忽必烈又派趙良弼出使日本，日本國王仍然拒絕接見，趙良弼僅至太宰府而還。
忽必烈屢次遣使日本以求通好，皆不得要領而還，他覺得自己的尊嚴受到了汙辱，下決心出征日本，想用武力迫使日本臣服。
至元十一年(1274),忽必烈命風州經略使忻都、高麗軍民總管洪茶丘等以千料舟、拔都魯輕疾舟、汲水小舟各三百艘運載蒙漢軍隊一萬五千人，大舉進攻日本。高麗金方慶等也率高麗軍隊參戰。
元與高麗聯軍越過對馬海峽，進攻對馬島，殺死日本將領允宗助國。又轉攻壹岐島，擊殺日軍千餘人，日本將軍經高也喪了命。
日本俊宇多天皇聞訊，驚恐萬分，急忙征調藩屬軍兵十萬餘人出戰。兩軍相遇於博多(福岡),元軍用火炮打敗日軍。元軍雖然屢次獲勝，但在日軍的阻擊和騷擾下，兵疲箭盡，不敢向縱深挺進，隻好撤回。
十一月的一天晚間，元軍登上戰艦，準備返航，不巧遇到暴風雨襲擊，戰艦多半觸礁沉沒或壞損，軍士“不還者無慮萬三千五百餘人”,隻有很少一部分人得以生還。
忽必烈第一次征伐日本失敗以後，仍想通過使節往來與日本通好。至元十二年(1275)二月，忽必烈又遣禮部侍郎杜世忠、兵部侍郎何文著、計議官撒都魯丁等出使日本，由高麗人郎將徐讚及捎工上佐等三人導行。
四月，杜世忠等至長門室津，既而移至太宰府。
八月，太宰府遣人將杜世忠等護送至鐮創建。
日本國王不接見元使，反而下令將杜世忠、何文著、撒都魯丁及書狀官董畏、高麗人徐讚等斬於龍口，並梟首示眾。
至元十六年(1279),宋朝降將範文虎、夏貴又派遣周福、欒忠等人攜帶書信出使日本，也被日本人殺死。
至元十七年(1280),忽必烈聽說所派使者杜世忠等人全被殺死，怒火中燒，馬上喊來大將忻都和洪茶丘等人，讓他們立即率領軍隊馬上出發去攻打日本。廷臣勸了半天，忽必烈才稍稍息怒，沒有馬上出兵。
至元十八年(1281),忽必烈命令範文虎、忻都、洪茶丘等率軍兵分二路第二次大舉征伐日本。
一路由範文虎、李庭等率領新附軍十萬人，分乘海船三千多艘，自慶元、定海出發；另一支軍隊由忻都、洪茶丘率領蒙古、高麗和漢軍四萬人，分乘戰艦九百艘，從高麗渡海進入日本。
忻都、洪茶丘所率東路軍計劃由對馬島攻入壹歧島；範文虎所率江南軍計劃先取平戶島，平戶島周圍皆水，宜於屯兵，然後轉至壹歧島，與忻都東路軍相會，再合兵共進，一舉打敗日本。
兩路大軍出發之前，忽必烈特別諭之曰：
始因彼國使來，故朝廷亦遣使往，彼遂留我使不還，故使卿輩為此行。朕聞漢人言，取人家國，欲得百姓土地，若盡殺百姓，徒得地何用。又有一事，朕實憂之，恐卿輩不和耳。假若彼國人至，與卿輩有所議，當同心協謀，如出一口答之。
忽必烈所擔心的問題有兩個，一是軍隊濫殺問題；一是將領不和的問題，所以特加敕諭。結果，元軍還是沒有聽忽必烈的話，這兩個問題在第二次征伐日本時都相繼發生了。
忻都和洪茶丘所率領的東路軍受命之後，便按計劃由日本對馬島攻入壹歧島，殺死島民三百多人，島民紛紛逃匿山中，元軍完全忘記了忽必烈的囑咐，聽到孩童啼哭，就入山中尋找而殺之，這種濫殺的做法激起了日本軍民的強烈憤恨，他們自發組織起來抵抗元軍，誌賀島初戰，洪茶丘差一點兒被日軍所俘，賴裨將王萬戶拚死相救，才幸免於難。
隨後，元軍進軍宗像海，經將士們死力相搏，以大船打敗日本小船，才扭轉了前日敗局。
範文虎所率江南軍由於阿剌罕病逝以及與忻都軍不太協調，希望與忻都軍會於平戶島，因此未能按期趕至壹歧島，直至忻都軍進軍宗像海，趕至次能、誌賀二島，兩軍才相會一處，同泊於兩島之上。
這時，日本諸道軍隊集結起來，開始全麵反攻。麵對日本來敵，是戰是退，元朝與高麗聯軍內部意見產生分歧。高麗將領金方慶力主進攻，元朝將領堅決反對，最好隻好按元將意見退舶鷹島(五龍山，在今佐賀西北伊萬灣)。
同年八月一日，海麵突然刮起大風，那車輪般的旋風，卷起巨浪，將船隻高高舉起，隨著風浪旋轉不停，大小船隻互相撞擊，沉沒無數。
範文虎見狀心驚膽戰，急忙率領幾個士兵，挑選堅好船隻，丟下軍隊狼狽逃回。
這時，被遺棄的軍隊尚有十餘萬，群龍無首，他們便推舉張百戶為主帥，號稱張總管。張總管率領士兵伐木做舟，準備駛還。
就在這時，日本兵艦突然殺出，元軍倉促應戰，哪裏是日軍的對手，剛一接戰就敗下陣來，死者不計無數，剩下的二三萬人盡被日軍俘虜而去。日軍將蒙古、高麗和漢軍俘虜全部殺死，而謂新附軍為唐人，不殺，但全部變為日本人的奴隸。後來，僅僅逃還於閶、莫青、吳萬五三人。
忽必烈第二次征伐日本，以蒙古曆史上從未有過的大敗而宣告結束。忽必烈豈是服輸之人，他不甘心失敗，至元二十年(1283),又以阿塔海為征東行中書省丞相，發五衛軍二萬人，準備第三次征伐日本。
忽必烈責令江南各行省大造船隻，地方官不管人民死活，按人戶攤派造船數目和造船工料等。
一批批工匠被征發服役，時緊工迫，官吏動加捶楚，辛苦萬狀，唯以描述，激起人民的普遍不滿。淮西宣慰使昂吉兒見狀，上言民勞，請求暫停征伐日本之役。忽必烈沒有同意，也沒有執意出兵，征伐日本之事暫時拖了下來。
但後來，忽必烈仍不甘心，繼續措置船糧軍士，預定於至元二十三年(1286)三月，再發動第三次征日戰爭。就在這時，忽必烈發動的對安南戰爭遭到慘敗，忽必烈為了對付安南，不能兩道出師，遂下詔罷征日本。
忽必烈說：“日本未嚐相侵，今交犯邊，宜置日本，專事交趾。”從此，元朝和日本走上了和平相處的道路。
忽必烈時期雖然發動了征伐日本的戰爭，一時間激化了兩國矛盾，但雙方的經濟文化往來卻始終沒有間斷。
當時，雙方的佛教往來頻繁，為兩國的文化交流做出一定貢獻。
中統元年(1260),兀庵普寧抵日，在日本作有《兀庵禪師語錄》;
至元六年(1269),大休正念抵達日本，編有《佛源禪師語錄》;至元十六年(1279),旅日的無學祖元又給日本人留下了《佛光國師語錄》等著作。
這些佛教徒都兼通儒學，他們在傳播佛學的同時，也將儒學傳播到日本各地。
日僧國爾辨園於宋端平二年(1235)入宋，淳祐元年(1241)以後返回日本，帶回朱熹的《大學》《大學或問》《中庸或問》以及《論語精義》《孟子精義》《論語直解》《集注盂子》等大量儒學著作，寶祐五年(1257)在最明殿寺為幕府執政北條時賴開講《大明錄》,至元十二年(1275)又向龜山法皇介紹儒、佛、道三教旨趣，最後編訂《三教典籍目錄》,為傳播漢文化做出了貢獻。
其間，兩國經濟往來也互有溝通。
至元十四年(1277)“日本遣商人持金來易銅錢”。忽必烈許之，允許日商來華貿易。
至元十五年(1278),又“詔諭沿海官司通日本國人市舶”,鼓勵人們與日本貿易。
至元十六年(1279),“日本商船四艘，篙師二千餘人至慶元港口”,準備登岸貿易，哈刺歹查其商船非為間諜，上奏行省，允許其貿易，而後遣還。
至元二十九年(1292),有“日本舟至四明，求互市”,忽必烈以其“舟中甲仗皆具，恐有異圖，詔立都元帥府，令哈剌帶將之，以防海道”。
雖然接待日本商船如臨大敵，但允許其往來貿易，對兩國經濟文化的發展還是有好處的。
忽必烈停止對日本用兵以後，兩國關係漸漸趨於緩和，經濟文化交流進一步發展起來。