雖然家康在大井川有驚無險，但自此以後還是加強了戒備。一行人順利到了江戶，剛安頓下來，家康就立即派人把亞當斯等三人請來。家康也知道他們心裏難免感到不滿，他們已經等了將近一年，錢也早就用得差不多了，所以一見麵，家康就滿懷歉意地對亞當斯、水手長揚·奧斯汀及船長說：“讓你們久等了，真對不起！”
亞當斯三人都滿懷希望地請求家康放他們回國。家康說：“我也一直掛念著你們。這陣子我打了一次決定性的仗，現在戰事結束了，以後日本會永遠風平浪靜的。”
三個人連忙異口同聲地道賀：“這真是大喜事啊！”
家康很有誠意地邀請亞當斯3人留在江戶幫他做事，但是亞當斯等人一聽家康的話就表情黯然，他們隻想要得到對外貿易的許可，然後趕快回國與家人團聚。他們已經在外遠遊了太久。然而家康執意堅持，並許諾他們優厚的報酬，亞當斯害怕再不答應的話，說不定就會招來殺身之禍。三個人匆匆忙忙回船和船員商量，最後決定三人暫且留在江戶。
現在東京車站八重洲口一帶，有個地名就是根據揚·奧斯汀的名字而定的。因為當時揚·奧斯汀和船長都有土木工程方麵的知識，所以就被安排住在江戶城附近，負責江戶城外壕的工程。後來，揚·奧斯汀再三請求回國，家康看他十分堅持，也就不再強人所難，不久之後就放他回國了。
後來船長受命和荷蘭本國交涉開辟通商事宜，最後也乘船歸去。也許是被家康的熱誠所感動，亞當斯本來也想回去，但最終還是答應單獨留下。在船長臨走時，亞當斯給英國去了一封信，要求盡快派船來日本。
一天，家康突然接到一封安南王的信，信上說有日本船在那裏遇難，如今已被遣送回國，但有部分船員曾有暴行，觸犯了當地的法律。家康同意按照當地的法律來處罰犯罪的船員，但要求區別對待正當船隻和海盜船，希望對持蓋著印信的航海執照的船隻，安南準許他們與當地人通商。
早在秀吉統治的時期，就有這種有執照的被稱為禦朱印船的商船，不過和安南國正式建立貿易關係的卻是家康。家康非常高興地看見和外國的來往日益頻繁，還經常和亞當斯討論外麵的世界。一天，他和亞當斯共同研究一張世界地圖，雖然現在看來很簡略，但當時卻是航海者的最佳指南。
家康看著地圖問亞當斯：“據說日本位於世界的東端，是真的嗎？”
亞當斯搖搖頭說：“不，不可能，在日本更東的遠處應該還有國家。如法蘭西和依斯巴尼亞（指墨西哥）等國，據說南蠻的黑船曾到達依斯巴尼亞去進行貿易活動。”
“依斯巴尼亞？”家康對這個名字很陌生。
亞當斯說：“是，也叫墨西哥。”
據亞當斯的介紹，墨西哥氣候相當溫暖，出產大量的金、銀、銅等資源。家康聽得心動，連忙向亞當斯了解詳細的情形，也想派船到那裏去。經過亞當斯的介紹，家康還知道了許多世界上的其他事情。建治元年（1275年），意大利的馬可·波羅就到過中國；明應元年（1492年），哥倫布發現了美洲；永正七年（1510年），葡萄牙人占領了印度尼西亞；大永元年（1521年），麥哲倫在菲律賓遇難；天文十二年（1543年），也就是家康出生次年，葡萄牙人漂流到種子島，首度將火炮傳進日本；永祿八年（1565年），西班牙人占領了菲律賓群島，在呂宋設置了太守（總督）……
亞當斯的介紹極大地開闊了家康的眼界，隨著對這些事情的了解，家康更深刻地認識到和外國交往已是刻不容緩的事了。同時，家康還發現地圖是件很有用的東西，於是命令各諸侯每人親手繪製一張世界地圖。
過了些日子，家康想要派人出海的願望越來越強烈，於是又把亞當斯叫來說：“我想派人到墨西哥去，你能不能替我造船？錢盡管用，用多少都沒關係。”亞當斯大吃一驚，雖然他曾經在造船所工作過，但並不是造船工人，所以這個任務對於他來說還是很困難的。然而在家康的再三請求下，亞當斯還是勉強地答應下來，就在伊豆（位於今靜岡縣）的伊東海岸展開工作。
起初，人們聽到亞當斯要造船的消息時都並不看好此事，紛紛議論道：“以前源實朝公命宋人陳和卿在鐮倉的由比海灘造船，造好之後由於船太重，根本就浮不起來。”“聽說最後船木都腐朽了，亞當斯的船大概也差不多吧。”其中尤以西班牙和葡萄牙人，更是極盡詆毀之能事。
家康聽到這些話，安慰亞當斯說：“真金不怕火煉，你好好幹！”
造船工作一開始真是煞費周章，因為他過去沒有造船經驗。首先，他選擇了一條通海口的小河，在其上安置龍骨和排放枕木。當時的日本還沒有船塢，因此船造到一半時，隻能挖開沙子，做成水池，等工程完畢後，再堵住河口，引進河水，讓船駛進海裏。
受到家康鼓勵的亞當斯無視人們的議論，鼓起勇氣，努力鑽研，辛苦了將近一年的時間，終於造出了一艘成功漂浮在海上的船。在人們的歡呼聲中，家康一聲令下，這艘重達80噸的龐然大物，緩緩駛向江戶的淺草川口（位於隅田川上遊）。家康看著這日本的第一艘自建西式船，不由得心花怒放，連連誇獎亞當斯，而且要求亞當斯再建一艘更大的，有了經驗的亞當斯也依言開始了一項更大的工程。
正在家康為航海的事樂此不疲的時候，突然接到一個噩耗——母親在伏見城去世了！家康立刻放下一切，趕往伏見城奔喪。