1877年2月1日，徐特立作為家中排行老二，於湖南省長沙府善化縣四都觀音塘(今長沙縣江背鎮觀音塘)出生，來到這個令人費解的世界。
他祖父，是個中醫，懸壺濟世，在當地頗有一些聲望。
他父親，是個忠厚老實的農民，沉默寡言，不善言辭，一生為農，遠離士族階層，遠離讀書人群，飽受地主欺壓，意誌慢慢麻木，從來沒有想過要通過讀書來改變生活境況。不僅他父親是個文盲，連他哥哥也一字不識。
不久，他的一個妹妹出生。一家五口，生活清苦，卻也安樂，並沒感到生活的窮困。
然而，他4歲時，母親操勞過度，病倒在床，終於有一天，臉色蠟黃的母親，斜躺在渾濁的油燈下，顫顫巍巍地拉著他和妹妹的手，淚水滑出了眼窩，不甘心地閉上了雙眼。
不久，他祖父也離開了人世。
前後兩件喪事，尤其是母親去世後，全家陷入更加艱難的境地，加上地主盤剝、沉重的徭役賦稅，一家人的日子越過越艱難。此時，他剛能說清話語，就開始學洗衣服、做家務，照顧妹妹，跟父親下地，幫忙拔草。
年幼的他曾經不解地問父親：“為啥我們要在田裏幹活，地主們隻是叼著煙鬥來看看就行了？”父親隻是長歎一聲，無可奈何地回應說：“這是命喔。”“命是啥呀？”他好奇地問。
父親卻對他說：“命就是我們應該在這裏幹活，然後收了稻子，大部分交給地主。”
他看著父親，似懂非懂，難道命就該是這樣？
他6歲那年的除夕，兄妹三人聽著遠處爆竹聲聲，等待父親去領打短工的工錢回來過年。
然而，天黑了很久，爆竹聲都淡下去了，父親還沒有回來。正當哥哥安頓好他和妹妹，打算去找父親時，父親兩手空空，一身泥土和傷痕的回來了。他和哥哥清楚，地主家又賴賬了，這不是第一次，這月推下月，下月推年底，年底推來年，已然多次。
父親蜷縮著身子，垂著頭，窩在牆角。他哥哥一臉無望和無奈，沉默地望著外麵。唯有年幼的妹妹去拉父親的手，要糖吃。他雖年幼，卻已懂得生活的艱辛和苦澀。這個沒滋味的春節，深深刺痛了他的靈魂，尤其稚氣的妹妹拉著父親問“糖在哪兒”時，他雖認為這是命，卻依稀覺得不公平，隻是年幼的他還無法明了。
他和哥哥、父親忍氣吞聲，勤懇種田，期望日子好過些，然而賦稅越來越重，收成卻不見起色。為了更好的耕田，父親向地主借了錢購置農具，借錢時，同地主說好了三分利，打了欠條。然而當年大旱，田地幾乎顆粒無收。父親蹲在地頭幾乎絕望，然而看著三個孩子，父親隻得強打精神。
到該還債務時，父親去煤窯打工賺了三貫錢，又變賣了家裏唯一的桌子和椅子，才湊齊了該還的錢。賣桌椅時，妹妹抓著父親衣角問：“父親，沒了桌子我們咋個吃飯啊？”父親苦笑著說：“我們在地上吃飯，不打緊的。”妹妹卻不依不饒，揚著頭問：“以後我們還有桌子嗎？”父親回答：“會有的，會有的。”
盡管父親聲音微弱，但他還是聽出了父親內心的苦澀和哀傷。
他跟著父親去還錢的時候，才發現他們被地主騙了，欠條上寫的十分利，卻騙他父親是三分利，這全因為全家無一人識字。地主指揮狗腿子，將家裏的農具全部搬走了，一家人擠在一起，欲哭無淚。
他父親三天不吃不喝，暗自悔恨，身為頂梁柱沒能讓兒女吃飽，還因為無知使得家徒四壁，他父親無法接受這一現實，終於下定決心：讓兒子讀書，改變命運。
然而，大兒子已經成為主要勞動力，田裏勞作不能耽擱，妹妹是個女孩兒，無法拋頭露麵，那就隻剩徐特立適合讀書。
1886年，他9歲時，父親緊衣縮食，湊錢讓他讀私塾。六年後，因無錢輟學在家。期間曾跟隨一個和尚學習禪宗，後在家勞動，又教私塾。直到18歲，他才在一家私塾找到謀生路。
1893年，他為讓病重的養祖母轉危為安，與十餘名同鄉，租一小船前往南嶽衡山進香。三四天的水上行程，同鄉嫌穿行過慢，天天嗬斥船夫，而他卻深深同情船夫。他看著眼前的不平事，暗暗發誓：今後我若為船夫，絕不渡人，隻運豬；我若讀書得科甲，隻做教書先生，絕不做官老爺！
南嶽歸來，他憤然將原名徐懋恂，改為徐特立，意為——特立獨行，自守高潔，不入汙泥，不隨流俗。