每個人都認為，旅館開幕的第一個節目實在極其美妙。任何人都表示同意，隻有希爾頓的愛妻瑪莉除外。瑪莉當然參加了，希爾頓在百忙之中見到她，覺得她比平常更嬌豔，容光煥發。舉行酒會的那一晚，當幾個重要的演講結束了以後，希爾頓見到她匆匆抓起外套上樓，妹妹露絲瑪麗顯然也注意到這一幕。
“康尼!”她關切地問道，“你留意到沒有？這座酒店有什麽使瑪莉不開心的地方嗎？”
希爾頓呆住了，沒有人應該對酒店表示不滿，尤其是酒店老板的妻子，這都是希爾頓從天上摘下來的星星，要全部堆在她的裙下。
希爾頓的妹妹嚴肅地說：“一家酒店是為了謀生，兩家就近乎奢侈了。更多家酒店連合在一起，足以奪愛，照料它們要花太多的時間。別忘了，瑪莉還很年輕，需要人體貼和關愛呢！”
希爾頓抗議了，他建造酒店還不是為了她、為了他們的兒子，也為了他們將來的生活無虞。希爾頓也經常帶禮物給她，而她也喜愛希爾頓為她選擇的東西。一有空，希爾頓還不都是陪她和孩子們！
“隻怕你空閑的時間會越來越少。也許她寧願多一些和你相處的機會，而少得到一些衣料；也許她重視目前的生活更甚於重視將來……”
那時起希爾頓暗自許諾，今後永不讓事業插足於自己的家庭生活。希爾頓得承擔起投資者和家庭之主的雙重責任。希爾頓告訴自己，做丈夫的要使妻子展露出更多的笑容。如今回顧起來，希爾頓發現當時的許諾並未實現。希爾頓信守諾言，可是現實狀況總是讓人出乎意料。
正如經濟不景氣這件事情本身一樣，發生在希爾頓和瑪莉之間的事並非突然。可是希爾頓蹣跚於黑暗的幽穀之中，日以繼夜地奮鬥，目的也不過是為了自己能立足於世，而正是此時，笑容漸漸從瑪莉臉上消失了。
“埃爾帕索希爾頓”酒店開幕典禮一過，打擊逐漸來臨，希爾頓幾乎瀕於崩潰。首先是旅館的生意開始衰退，人們不作遠遊，商人的貨物也乏人問津，失業者的名單日益增多，赫爾敦和希爾頓天天在“達拉斯希爾頓”酒店的辦公室中商量對策，經常熬到深夜。馬林、拉伯克、聖安吉諾、埃爾帕索，希爾頓擁有的8家旅館情況全都一樣。
收入一周一周地減少，而支出卻仍然與以前無異。
他們竭力節省每一項開支，關閉一層樓的房間，以免浪費電燈和暖氣，還停止了房間電話的使用，這樣每個房間就省下了15美分。在這種情形下，希爾頓努力鼓舞大家的團隊精神，盡管夥食不好、節省電氣，也要笑臉迎人。
“總要保持幹淨的床鋪、毛巾、新的肥皂，”希爾頓關照再三，“我們可不能在這方麵省，不過要留意浪費的地方，哪怕是一支鋼筆、一張紙、一瓶墨水，當省則省!”
收益仍然往下滑。地租、貸款利息、稅捐，樣樣得付。希爾頓常用熱毛巾敷頭，以減輕頭疼。他還記得有一個星期要馬林那邊送25美元、埃爾帕索那邊送35美元來應急。
希爾頓把自己的錢都墊上去了，再就是用保險抵押貸款。記得有一天和瑪莉商量，她一口答應，希爾頓當時感激極了。
“康尼！你自然非這麽做不可。”希爾頓的妻子堅決表示，“不會一直這樣下去的，開口借時低聲下氣，還了以後就不再如此了。”
希爾頓真的堅強地撐了下來，他很珍惜妻子對自己的信心！可是當希爾頓取得了保險貸款，急忙趕去帕蘭佛解決問題時，他又大失所望了。
或許是有些話希爾頓該說而沒有說，或許希爾頓該花更多的時間來解釋，可是當時的確是刻不容緩，隻怕時間不夠。剛解決完帕蘭佛的問題，馬林方麵旋即又陷入困境。情形一直這樣下去，希爾頓跑遍了得州，居無定所，而瑪莉卻孤零零地守在空閨。
很快地連利息都快付不出了，一筆筆的稅捐拖欠著，似乎永無了結之時。地租繳不出來，隻好讓出了韋科的一家旅館。顯然希爾頓必須從帽子裏再變出一隻肥碩的兔子來，而這時帽子卻是空的。
誰還有這筆希爾頓急需的錢呢？希爾頓又去向誰開口呢？格勞夫斯敦的莫迪一家情況是最好的了，希爾頓想去碰碰運氣。他們有錢，不過可不是那麽容易借得到，而希爾頓又實在太急迫了，他不顧一切地跑到格勞夫斯敦去了。
莫迪家族幾乎就等於是格勞夫斯敦了，他們擁有格勞夫斯敦的棒球隊、好幾家銀行、旅館、保險公司和報館。他們有一點不同於巴頓洛奇的朗恩家族，那就是他們在政治角逐中一直出師不利。他們自己組成了一個商會，不與別家來往。
老莫迪和他兒子希恩是莫迪家族中的重要人物，希爾頓跟他們都不熟，隻知道他們是很妙的一對搭檔。
希恩35歲，目中無人，人們都私下叫他：“梅達斯王”，這個名稱恰當得很。據說一次老莫迪大發慈悲，捐了200美元給莫迪家以外的商會，他兒子找上門來，大發雷霆：“爸，您這算什麽？”他逼問，“仇人也犯得著去幫他？”
希恩喜歡樹敵，他還公開表示，他巴不得多幾個仇人。希爾頓有一位開保險公司的朋友找他借錢周轉，他一口回絕了。希爾頓的朋友愁眉苦臉地說：
“希恩，我總奇怪為什麽10個與你交往的人中有9個會說你的壞話。”
“我告訴你怎麽回事吧，”希恩笑著說，“我就喜歡這個感覺，我巴不得100個人中有99個是這樣的呢！”
那時候，希爾頓找到這個控製了美國人壽保險的人，為的是協商借30萬美元。越接近格勞夫斯敦，希爾頓越是惶恐。
希爾頓跟莫迪家的協議並沒費什麽時間，他們聽希爾頓的傾訴，磋商了一陣子，就答應了貸款，希爾頓的禱告果然帶來了希望。但當希爾頓簽下了“希爾頓酒店”的公司股票作為抵押，換來急需的現款時，真害怕這隻大白免一下子又從袖口溜走，那希爾頓可真是承受不起這樣的打擊了。
希爾頓舉步維艱，直到最後一刹那，時來運轉，重現了一線生機。這30萬美元的現款足可以用來周轉了。要在借款沒有用完以前把問題解決，隻有等待經濟好轉，賓客蜂擁而至。但實際上世事並不盡如人願。
時間是希爾頓唯一可憑借的。希爾頓和瑪莉、孩子們相聚一陣子，心情寬慰多了。
這並不算是希爾頓的假期，希爾頓仍得不斷地工作以振興酒店的生意，還要和電力公司、洗衣店等商議降低收費，讓他們也入股，最後分紅。希爾頓還是不忘抽空玩玩高爾夫球，和瑪莉玩玩橋牌，回家吃晚飯，多少能讓心境平靜和諧一點。看來一線陽光是暫時射進了幽穀裏，但也為時不久，希爾頓借來的時間漸漸都從沙漏裏溜走了。
不多久，薪水賬單、稅單、地租通知、利息催單又蜂擁而至，30萬美元旋告一空，也沒帶來什麽進賬，希爾頓又身無分文了，還需要再借20萬美元來維持業務。銀行的人見到希爾頓避之唯恐不及，旅館這個行業，正像有些人形容的，不過是“市場上的苦力”罷了。
一名州長代表來到辦公室找希爾頓，給希爾頓一紙公文：“我手上有份法院的判決，要你付這筆款，不然就把封條釘到牆上。”
“你封吧！”希爾頓絕望地吼起來，“我把梯子借給你。”
幾分鍾後代表回來了。“牆是大理石的，釘不上去。”他略有些不好意思，“你一定早就知道釘不上去。”
“那不就結了！我一定會還你錢的，我要的是時間，時間可以換到錢。”
後來，希爾頓果然如期付清。
每天早晨希爾頓離開教堂，信心和希望總會又一次降臨，而且也總有一些事情發生。一次，希爾頓連坐車的錢都付不起，一個年輕的侍者把一包東西塞到希爾頓手裏。
“隻是些飯錢，希爾頓先生。”他一溜煙地跑了。裏麵是他生平的積蓄，300美元。
一次，加油站的工人竟幫希爾頓付了汽油錢。“我不怕你還不了錢。”他對希爾頓笑著說。
這些人對希爾頓的信賴和桑頓的支持，使希爾頓銘記在心，但希爾頓還是越發潦倒，連房租也付不起了。希爾頓不得不向朋友借錢把瑪莉和孩子們送到埃爾帕索，至少那裏還有吃的、住的。母親在那裏獨力處理她自己的財務，每個月聖·安東尼奧和沙卡洛有一些房錢可收，此外她還買下一座小農場，收益也有些改觀。希爾頓的妹妹海倫婚後和丈夫分居，也來和母親同住。
希爾頓也擔心酒店裏的“家庭”。手下無不向他宣示忠誠，希爾頓也想盡方法來付他們的薪水。現在很多同仁全家搬來旅館，吃住都免費。馬林的歐文、達拉斯的赫爾敦、阿比林的合夥人，情況無不如此。
希爾頓仍然在奔波，從這家酒店跑到那一家，從這個城市跑到那個城市，想借一些款，可是時運總是不濟。就這樣希爾頓度完了1931年。