八七會議以後，中共中央進行了改組並決定將機關遷往上海。鄧小平也於九十月間隨同中央機關來到上海，並於是年12月間被任命為中央秘書長，協助周恩來等中央負責同誌處理中央的日常工作。這一年，鄧小平還不滿二十四歲。
當時的上海，鬥爭形勢十分複雜。自蔣介石發動四一二反革命政變後，這座著名的遠東繁華都市，成了各種反革命力量麇集的地方。在敵人的眼皮底下，中國共產黨人以極其秘密的活動方式，繼續進行著驚心動魄的殊死鬥爭。
中央機關當時大都設在國民黨反動勢力較為薄弱的租界區內。其中比較有名的地方是四馬路（今稱福州路）天蟾舞台後麵447號的樓上。當時，這幢房子的樓下是生黎醫院，樓上就是掛著“福興字莊”招牌的中共中央常設的活動地方。這家商號人稱“熊老板”的熊瑾玎，真實身份是中央秘書處會計科主管，負責黨的經費的管理工作。中央蘇區送來的黃金、首飾等一般都是由他通過有關係的銀行兌換成銀票後，再分送到各有關地方。他的夫人朱端綬，則從事中央機關日常的雜務工作，為前來開會的人員服務。從1928年11月至1931年4月，中央政治局會議幾乎都是在這裏舉行的。
當然，為了安全和保密工作的需要，中央機關還分散在其他好些地方，如當時同孚路柏德裏700號一幢兩樓兩廳的房子、永安裏135號的樓上、五馬路的清河坊等都曾是中央機關活動過的地方。鄧小平以雜貨店、古董店老板的身份作掩護開展工作，穿著長袍，戴著禮帽，完全是一副有錢人的打扮。
在中央秘書長的任上，鄧小平直接領導了中央機關秘書處的工作。秘書處下設文書、內交、外交、會計和翻譯五個科，工作範圍包括中央文件的刻印、密寫、收發和分送，中央與順直、滿洲、湖南、湖北、廣東、廣西等地黨組織的聯係，以上海為中心的聯係各地有關文件、鈔票、幹部、來往人員的全國秘密交通網，黨的經費的收集、匯兌和管理，以及與共產國際的聯係等。這些工作千頭萬緒，紛亂繁雜，但在鄧小平這位年輕的中央秘書長的統一組織調度下，一切都進行得井然有序，有條不紊。這就有力地保證了中央機關在當時極其複雜的條件下的正常運轉和中央政治局對各地的領導。
作為中央秘書長，鄧小平所處的是一個承上啟下的樞紐位置。他不僅主管政治局會議議程以及開會的時間、地點、出席者等方麵的安排，列出每次會議討論的議題，重要會議他還要兼作記錄。鄧小平在會上盡管發言不多，但一發言，往往見解深刻，能夠說到關節點上。在一次討論某些同誌提出的爭取一省或數省勝利的問題時，鄧小平發表了經過一番深思熟慮後的見解。他提出，現在革命正處在低潮，我們剛剛組織起來，沒有足夠的武裝，很難對國民黨軍隊取得決定性的勝利。盡管當時讚同這種意見的人不多，但鄧小平這番發言無疑給與會同誌留下了深刻的印象。會議結束後，鄧小平又需對中央政治局決定的事項進行逐項檢查落實。
處在這樣一個特殊的崗位，鄧小平的工作常常直接關係到中央機關及中央負責同誌的安危。當時的上海，敵偽特務機關活動極其猖獗。中央負責同誌住宿和辦公的地方需要經常更換，互相之間隻能通過秘書長來單線聯係。尤其是在白色恐怖麵前，一些人經不住考驗，變節投敵，甚至領著敵人搜捕自己昔日的同誌，如原擔任中央總書記和負責中央領導同誌安全保衛工作的向忠發、顧順章就是這一類千古罪人。這就給保衛中央機關和中央負責同誌的工作帶來極大困難。鄧小平膽大心細，偶遇突發事件總能當機立斷，采取措施，進行及時有效的調度指揮，將損失減至最低限度。他自己也曾兩次虎口脫險。
身處虎穴龍潭，麵對千頭萬緒的工作，鄧小平經受了各種嚴峻的考驗。在實踐的磨煉中，他的卓越的工作能力和組織領導才能也得以充分的展示與進一步提高。