古代軍隊中，相當(dāng)于司令部的幕僚機構(gòu)已有之，但真正具有近代乃至現(xiàn)代意義的司令部在中國的出現(xiàn)，是自清末小站編練新軍開始的。在這之前的湘、淮軍和八旗、綠營、巡防營等，都是以營為基本單位。其軍隊幕僚機構(gòu)，仍舊沒有擺脫以往的樣式。從1895年袁世凱小站練兵開始到1904年，一個全新的軍隊編制體制得以誕生，具有現(xiàn)代意義的司令部，才與新的編制一起相伴而出。

袁世凱所練新軍與以往湘軍、淮軍不同，它是完全仿照西方軍隊的編制體制，由步、騎、炮、工、輜等多個兵種協(xié)同作戰(zhàn)的合成軍隊，這與之前的軍隊主要以營為基本單位、兵種單一以及作戰(zhàn)方法簡單的情況相比，軍隊編制增大了，合成程度提高了，兵器有了發(fā)展，戰(zhàn)術(shù)有了變化，指揮難度也隨之加大了，單靠指揮官一人加上少數(shù)幕僚用簡單的方法實施有效的指揮已經(jīng)不可能。因此，在指揮體制上，也有了一次大的飛躍，那就是在部隊各級設(shè)置了專司指揮的業(yè)務(wù)機關(guān)——司令部門。

新建陸軍在組織編制上仿照西方做法，而“司令部”在西方軍隊是一個非常重要的機構(gòu)，是現(xiàn)代軍隊不可或缺的。新建陸軍在機構(gòu)上設(shè)置了九大處（局），依次是：稽查全軍參謀軍務(wù)營務(wù)處（簡稱參謀營務(wù)處，就是現(xiàn)代軍隊的司令部）、執(zhí)法營務(wù)處、督操營務(wù)處、教習(xí)處（洋務(wù)局）、糧餉局、軍械局、軍醫(yī)局、轉(zhuǎn)運局、偵探局（作戰(zhàn)時另設(shè)）。排在第一位的是參謀營務(wù)處，即是現(xiàn)代軍隊中的司令部職能，新建陸軍參謀營務(wù)處也就成為中國軍隊近代歷史上第一個正規(guī)化的陸軍司令部，任總辦的徐世昌也就成為中國軍隊史上第一任陸軍參謀長。

徐世昌由于學(xué)識淵博和與袁世凱的特殊關(guān)系，被任命為新建陸軍參謀營務(wù)處總辦，徐世昌也就成為了小站練兵的第二號鐵腕人物和軍師。徐世昌于1897年8月來到小站，他沒有辜負(fù)袁世凱的希望，全心盡力輔佐袁世凱練兵。徐世昌每天除了完成考閱各隨營學(xué)堂文卷、考核兵目操法、校訂行軍陣式圖說、改定講訓(xùn)各兵官功課這些工作外，還要處理新建陸軍在練兵中出現(xiàn)的問題。為了應(yīng)付西法練兵帶來的困難，他還開始自學(xué)英語。1898年完成《新建陸軍兵略錄存》編撰，1899年還參與組織《訓(xùn)練操法祥晰圖說》這部軍事巨著。由于他的學(xué)識和才能，受到同僚們的尊敬，張勛還正式拜他為老師。王士珍、馮國璋、段祺瑞號為北洋“三杰”，他們既要帶兵又要管訓(xùn)練，還分別兼任隨軍講武堂、炮隊學(xué)堂、步隊學(xué)堂總教習(xí)等職責(zé)。而徐世昌負(fù)責(zé)全軍的訓(xùn)練和教育工作，是他們的上司，由于袁世凱稱徐世昌為兄，其他將領(lǐng)都尊徐為師。另外，在小站期間，徐世昌還為袁世凱負(fù)責(zé)處理朝廷下達(dá)的旨意等。袁世凱剛到小站幾個月，就傳出“津門官紳嘖有煩言，謂袁君辦事操切，嗜殺擅權(quán)，不授北洋大臣節(jié)制”等言論。1896年4月，清廷因監(jiān)察御史胡景桂參奏袁世凱“崇尚虛文，營和蝕餉，性情繆妄，擾害一方”等等過錯，特派兵部尚書榮祿及兵部侍郎陳燮龍來小站查辦。袁世凱獲悉自己將被彈劾的消息，內(nèi)心十分恐懼。因徐世昌與陳為同年會試，又都在朝廷辦差，上下周旋，妥為袁世凱開脫，袁世凱得以逃過一劫，使一場彌天大禍消彌于無形，終使該案平息了事，袁世凱對徐世昌感恩不盡。