日方見對閻的“謀略”工作，初見成效，更加緊了對閻的工作。1941年5月下旬，日本陸軍省派田中隆吉第二次來太原，日本華北派遣軍司令官岡村寧茨也派其特務參謀茂川秀和來太原，插手對閻的工作。這二人來太原後，要求閻錫山派趙承綬來太原商談。閻不敢貿然派趙前往，遂以趙患傷寒為由而派其機要處副處長劉迪吉去太原。7月初，劉迪吉去太原後即與田中開始談判，閻錫山通過由日軍提供給劉的電台，讓劉向田中提出條件，田中均予答應。這些條件是：一、防共合作以打倒蔣介石為基本條件；二、為維持山西紙幣價值，貸款5000萬元；三、為充實山西軍（現在兵力6—7萬）的實力（當前以30萬為目標），供給步槍10萬支、輕機槍二、三千挺、大炮300門；四、以上述辦法加強實力後，馬上宣告討蔣，聯合各地將領，為完成目的而邁進，另方麵勸告蔣介石全麵和平。附帶條件是：一、恢複山西西北實業公司；二、委閻為華北國防總司令和南京政府軍事委員長；三、以後每年須由南京政府給閻軍2000萬元，步槍10萬支、大炮200門；四、以後須由南京政府支付1億元作為華北民眾救濟費等（《日本外交檔案中有關閻錫山投降活動的材料》，《山西文史資料》第6輯，第11—12頁）。並且，雙方還達成了“日閻停戰基本協定條款”草案，還約定在汾陽簽字。8月初，閻錫山打電報給在孝義的趙承綬，要趙就近前往，代表他到汾陽簽字。9月7日，趙承綬偕騎兵第1軍軍長溫懷光、參謀長齊駿鳴、騎兵第1師師長趙瑞及第7集團軍參謀處長續誌仁，以及劉迪吉、白太衝等，到達田屯鎮，脫下軍裝，經過化裝後，由日軍接入汾陽城內。9月11日，趙承綬代表閻錫山，日本華北派遣軍參謀長田邊盛武代表日方在用日、中兩種文字打印好的《日本軍與晉綏軍基本協定》即所謂的“汾陽協定”上簽字。
“汾陽協定”的基本內容，與“日閻停戰基本協定”草案，大體相同，其要義仍是日閻軍隊停戰，與南京政府合作，共同。隻不過在日方要求閻錫山做什麽，怎麽做，日方給予閻錫山的支持是些什麽這些問題上更為具體和明確而已。如在汾陽談判中，閻錫山堅持要求把雁北13縣劃歸山西省管轄，日方認為雁北13縣隸屬蒙疆區，不能劃歸山西。後來日方華北派遣軍由北平派來的一個大佐級軍官即參謀長田邊盛武來汾陽，與趙承綬會麵時說：“日方和山西軍誠意合作，以後共事的地方很多，不能因為一點小事發生意見，就依閻先生主張”（第125頁），這才把“晉綏軍之管轄區域，先為山西，漸及於全華北”寫進“汾陽協定”之中。在如何實施“汾陽協定”的步驟上，則劃分了三個階段。在第一階段，“停戰協定成立後，孝義縣城交與晉綏軍，晉綏軍即向以孝義為中心之區域挺進，閻長官移駐孝義縣城或隰縣，與日本軍緊密合作”，“日本軍集中於軍事上必要之地區，晉綏軍擔任山西省內各地方之治安”，“在執行協議期間，一麵秘密聯絡各將領，一麵在太原或孝義與汪主席協議合作”。第二階段，“第一階段工作完成後，閻長官即向重慶政府督促和平。如不接受，則向中外宣告單獨行動”，並且，“與日本軍合作，首先肅清山西省內共產軍”。晉綏軍“兵力五十萬，由山東、河南、河北、安徽等地補充壯丁約十萬人，餘由山西省內補充”，“恢複太原兵工廠”。第三階段，“負責維持華北全境治安”，“察哈爾、綏遠問題與蒙古民族問題之解決，概由汪、閻商議決定”。“西北實業公司”、同蒲鐵路及山西省人民公營事業董事會所轄各工廠承認完整歸還，俟閻長官來後施行（郭彬蔚譯編：《日閻勾結實錄》人民出版社1983年版，第13—16頁）。對於閻錫山的支援，在槍、炮、資金、軍費等數目上，也都作了明確規定。
閻錫山與日方簽訂“汾陽協定”的主要意圖是為了緩解日軍向晉西南進攻，並借助日本擴充實力；日本則想通過這個協定，誘降閻錫山，使其成為日本在華“謀略工作”的典型、離間重慶中央政府的利器。正是由於雙方各有所圖，各懷鬼胎，所以，在履行協定時，必然會討價還價，明爭暗鬥，引發出不少糾紛與摩擦。
“汾陽協定”簽訂後，閻日雙方就協訂的履行落實問題多次商談，閻方代表仍為趙承綬，日方代表為楠山秀吉。日本方麵急切想讓閻錫山“早日脫離重慶政府，迅速通電獨立”，“閻軍迅速讓出小船窩渡口，使日軍能早日進駐”，“閻錫山要早日進駐孝義，再進一步進駐太原”。還說閻錫山“不早日通電，一切都很難辦理，日方是為了閻閣下，為了華北才這樣做的”。而閻錫山則迫切“要求日方早日撥給兵員、武器、彈藥，特別是早日撥款”，認為“沒有裝備起兵力來，就貿然發表通電，進駐孝義、太原，既對付不了蔣介石，更難對付八路軍的進攻”，並以後方的兵工廠和高級人員向前移動，需要時日，“不能要求過急”為由，婉拒日方的要求。因此，盡管10月初，雙方達成了“閻方在太原、汾陽、臨汾、運城等地設立辦事處，和日軍交換情報，（主要是關於八路軍的情報）、交換物資的正式協議（趙承綬：《我參與閻錫山勾結日軍的活動情況》，《山西文史資料》第11輯，第25頁）”，但實質性的問題可以說一項也沒有解決。
而在雙方代表商談期間，閻錫山雖然電示過趙承綬要日方盡快解決他所希望的武器、彈藥、糧食和資金等問題，但日方對閻錫山的要求基本上采取了敷衍推委的態度。閻錫山要求日方撥給的糧食為5萬大石（一大石合兩小石），而日方撥給的卻是5萬小石。當閻要求補撥時，楠山秀吉則大為不滿，認為閻是得寸進尺、貪得無厭，憤然拒絕了代表閻錫山前來討要的趙承受的要求（續誌仁：《閻錫山向日軍乞降見聞》，《山西文史資料》第11輯，第44頁）。在武器的籌撥上，日方認為目前閻軍的狀況是“槍比人多”，後經一再要求，才允許“先行撥給步槍1000支”。關於征募兵員問題，閻錫山強調兵丁要“由日軍負責撥交”，而日方則以“日本人不能代閻錫山抓兵，因為這樣做，徒然擾亂‘治安區’的秩序，終不濟事”為由，予以推委。關於軍費問題，日方答應“按照協定數目（共2700萬元）全部以汪精衛政府的‘國幣’發給”。由於“國幣”每6元才折合日本“聯幣”1元，閻錫山認為吃虧太大要求以“聯幣”撥發，雖然經趙承綬再三交涉，日方也才答應發給“聯幣”1200萬元，搭發“國幣”800萬元（趙瑞：《閻錫山勾結日軍的罪惡活動》，《山西文史精選》（5）——《閻日勾結真相》第64—65頁）。
日方的這種做法，令閻錫山大為不滿，因此，當談判陷入僵局，日本華北方麵軍第1軍司令官岩鬆義雄致電閻錫山提出“在彼此加深了解的基礎上，請您準備發表獨立宣言”時，閻在複電中稱：“……在執行中隻有相互幫助才能成功”，目前宣言尚不能發表，因為“發表宣言，依協定第一階段完成之後進行方有益無損”（《日閻勾結實錄》第19頁）。很顯然，閻錫山是要求日方按協定先交槍炮、兵員，再考慮發表宣言一事。從10月初到11月，日方雖然一再敦促閻“發表宣言”，“負起國家複興之大任”，但閻因日方口惠而實不致，未按約定在物資上給他予支持，所以，一直以種種借口為由，對日方的要求加以拒絕。在此情況下，楠山秀吉不得已又與趙承綬會談，可是由於楠山所答應的經費、步槍數量很少，而在山東、河北招募10萬壯丁一事上，又“暫時難以實現”，因此，閻再次斷然拒絕了日方的要求。
正在趙承綬要離開太原之時，岡村寧茨專程由南京飛赴太原。在與趙的會見中，雖然對閻錫山吹捧了一氣，還說他是代表日本政府的，他答應了的事，決不會有問題的，“我們既然能把華北交給閻錫山，就要讓他有力量維持華北治安，請閻先生放心，不要光斤斤計較一槍一炮。我們和閻先生合作，對閻先生有好處”等等（趙承綬：《我參與閻錫山勾結日軍的活動情況》，《山西文史資料》第11輯，第27頁），但卻未提落實“汾陽協定”一事。趙承綬將詳細情況向閻錫山報告時曾說：“這麽長時間，日本人一點東西都不給咱，我看這是誘降，不是合作”。再加上閻日勾結之事已被蔣介石知道，趙未返回克難坡前，蔣派軍令部長徐永昌和銓敘部長賈景德二人由重慶到克難坡，在他倆聽閻一番帶有要挾性的訴苦，說“二戰區的環境惡劣，補給困難，如政府在經濟上不大大予以接濟，則將必在日軍的經濟封鎖和軍事進攻下遭到毀滅”後，經向蔣介石請示，蔣答應除清理欠餉、增加軍費外，兵源、物資都可酌情予以補充，於是徐、賈二人對閻說，既然“山西的困難，蔣委員長允許解決，希望閻把趙承綬及太原人員召回，停止對日談判”。日本人不給東西，而蔣介石卻許諾了不少，為了避免蔣對自己的疑忌，閻錫山遂決定對日暫取觀望態度。
閻錫山對日方要求其發表宣言一直予以拒絕，使日方又氣又急。日方判斷“閻錫山內心是腳踏兩隻船，企圖從日蔣方麵盡量多得好處”，甚至認為，閻是個“有自私自利打算”，“老奸巨滑不吃虧”、“難以揣度的人物”（《華北治安戰》（下），第124—125頁）。盡管如此，由於不久太平洋戰爭爆發，日本將大量侵華日軍從華北調往南洋作戰，更急需閻錫山早日投降，以維護其在華北的治安，所以，岩鬆義雄認為，形勢迫切需要對閻的工作“盡早成功”，並致電閻稱希望“雙方首腦直接會談，彼此以真誠的態度，坦率交換意見”。為此，從1942年初開始，山西派遣軍第１軍參謀長花穀正曾致電趙承綬速回太原，會商汾陽協定中的武器和軍費問題，甚至開列了準備撥發給閻的武器和軍費的清單，以使閻相信。1月下旬，花穀正又致電閻，要閻“速於孝義會見，促膝交談與貴軍之提攜，東亞之和平等有關問題”，但均遭到閻的拒絕。