蔡元培始終關注基礎教育，尤其是小學教育。他在《自寫年譜》中寫道：小學沒有辦好，怎能有好中學？中學沒有辦好，怎能有好大學？

　　蔡元培：中小學不辦好怎麼會有好大學

　　現在教育界的人們一提起蔡元培先生，總會油然想起他創造的北京大學的輝煌成就以及他主持中央研究院時的不朽業績。其實，早年蔡元培曾任教於中小學，他對中小學教育也頗多貢獻。

　　從事教育從小學教師開始

　　蔡元培從事教育工作，最早可追溯到他18歲時。那時，他一邊在私塾裡擔任教師，一邊博覽群書准備應考科舉，前前後後一共教過兩所私塾七個學生。而這次從事教育，卻是蔡元培自覺的理性的人生追求，他表示要從最基礎的學校工作做起。1898年辭官從京城一回到家鄉，蔡元培即應紹興知府的邀請，開始擔任紹興中西學堂的總理(即校長)。紹興中西學堂是一所新式學校，1887年由當地紳士捐資創辦，是紹興地區最早的一所新式學校，學生程度略如後來的高小、初中。

　　蔡元培以一個朝廷翰林的身份接任一所新式學校的校長，這在當時的紹興城內引起了一番議論。堂堂翰林，居然做起一區區學校的校長，在常人眼光裡確乎不可思議。但蔡元培對此付之一笑。在他心中，眼下最要緊的事是使這所規模不大、學生不過數十人的學校真正辦出新的模樣與特色來。既然名之為『中西學堂』，就需要真正兼學中西，改變傳統私塾教育唯經是讀、唯經是尊的積習。

　　面對這樣一種開山的事業，蔡元培不敢懈怠，全身心投入。他做的第一件事是聘請教師。他想，辦新式教育，關鍵在教師。為此，他遍訪紹興名流。在中學方面，聘請國學根基深厚的教師，且不限於經學，還包括史學、詞學、蒙學等方面造詣較深的人纔，近代著名教育家、出版家杜亞泉當時即為學校物理、算學教師。在西學方面，則走訪搜羅懂西文的紹興人士，且不限於英文，也有法文、日文等方面可以資教的人選。這樣的人選，在19世紀末期的紹興自然是十分難找。但蔡元培為了中西結合的新教育，他付出了十分的熱誠與耐心並陸續聘請到了比較滿意的教師。在尋訪日文課老師的過程中，蔡元培發現紹興城內沒有滿意的，便專門委托杭州友人代為尋覓。不久，杭州朋友果然推薦來了一位兼通中文及體操的日本人。蔡元培欣然前往杭州專程拜訪，這位日本人很感動，便欣然應聘來到紹興。他除了執教日文外，還主動要求執教體操課與測量課。經過蔡元培的努力，紹興中西學堂聘請的教師，可以說是紹興城內最好的，學校不僅有懂得中西文的教師，還有能致力於科學教育，能上算學、物理、化學等課程的教師。

　　教師是教育的關鍵，但課程與教材也很重要。怎樣讓學生學得有趣學得有用？怎樣讓教師教得生動教得實用？蔡元培決定組織老師自編教材，以真正實現對傳統教材的改革。他首先關注的是蒙學教材的改革。蒙學讀物，傳統的是《三字經》、《千字文》或《幼學瓊林》，但明顯不適應變化著的時代的需求。於是蔡元培親自編寫蒙學《切音課本》，他要求讀音教材能成為『溝通西音之捷徑』、『學子識字之桄(桄，本指繞線的器具，此處引指依據、工具等)』。蔡元培還對學生提出寫日記的要求。日記內容包括四個方面：一為講義，二為新知，三為讀書心得，四為時事評論。從蔡元培對學生日記的要求中，我們不難感受到他對學生探究新知的重視和對時政國事的關懷，而且從這種要求中，我們又可以進一步了解中西學堂是如何致力於培養新式人纔的。

　　紹興中西學堂創辦之後，學校圖書一直缺乏。而蔡元培認為，沒有圖書的學校，是不能稱得上好學校的。於是他一上任校長，就規劃學校藏書室。針對學校圖書不多、圖書經費缺乏的現狀，蔡元培倡議紹興城內有錢的出錢、有書的出書，大力擴充圖書。學校圖書不在藏，而在閱。為此，他還專門寫了《<中西學堂借書略例>序》，規定除了本校師生可以借閱之外，校外人士也可來校借書。

　　教育部長的蔣夢麟當年是紹興中西學堂的小學生，他在回憶蔡元培的文章裡深有感觸地寫道：

　　蔡元培『酒量如海，纔氣磅礡。論到讀書，一目十行。講起作文，斗酒百篇。』『中西學堂教的不僅是我國的舊學，而且還有西洋學科。這在中國教育史上還是一種新的嘗試。雖然先生解釋得很粗淺，但我總算開始接觸西方知識了。我在中西學堂裡首先學到的一種不可思議的事是地圓學說，而我以前一向認為地球是平的。』

　　從1898年9月起到1900年初，蔡元培為紹興中西學堂傾注了全部心血與智慧，紹興中西學堂也培養出了一批初步擁有新思想的新式學生。

　　一顯身手的南洋公學總教習

　　1900年蔡元培辭去紹興中西學堂校長職務，潛心研究日本各級各類學校學制及其課程設置問題，並完成了研究專著《學堂教科論》一書，由杜亞泉開辦的普通學書室出版發行。這本書是蔡元培在親身教育實踐基礎上，結合研究日本等國外學制後所完成的對變革中國教育的較為宏觀的思考。若乾年後蔡元培擔任民國教育總長制定新學制，其學理構建便可上溯到他1900年的這次系統研究與著述。

　　為了繼續追尋教育新路，蔡元培於1901年受上海南洋公學禮聘來校任教。在南洋公學，蔡元培終於在一所新式學校獲得了伸展革新教育之志的機會。南洋公學，創辦於1896年，由當時洋務維新派實力人物盛宣懷奏請晚清政府創辦，是現在上海交通大學的前身。當年校園規模不大，借用上海徐家匯民房開學。學校分設四院，即師范院、外院、中院和上院，實為從小學到中學到大學相連一體的學堂，南洋公學的設立，是近代中國教育史上的大事，它是『教育救國』思想指導下的一次重要實踐。

　　蔡元培到校後受聘擔任南洋公學特班總教習。所謂特班，就是特設一班，培養兼容中西學，且能經世致用的人纔。課程有英文、算學、化學、地理、史學、政治學、經濟學、外交史等。學生來自全國各地，極一時人纔之盛。蔡元培對這樣的培養目標很感興趣，於是他十分樂意地受聘此職。

　　特班學生共計42人，其中後來成為中國歷史上著名人物的代表有黃炎培(著名教育家，我國職業教育的奠基人，解放後曾任國務院副總理、人大副委員長、政協副主席等職)、邵力子(著名教育家，曾任上海大學校長、黃埔軍校秘書長、中國公學校長等職)、李叔同(著名藝術教育家、畫家、詩人、音樂家)、胡仁源(著名教育家、科學家)、謝無量(著名書法家、學者、詩人，曾任孫中山先生秘書長)等，他們都曾是教育救國的實踐者。這些學生當年入學時已有功名的也不乏其人，比如當年的黃炎培便已高中舉人。