伴随着袁世凯的放权、让权，段祺瑞在仕途上也跌入低谷。这个时期里的段祺瑞，既无实务也无实权，因为第三镇、第六镇均已被清廷陆军部收去，加上清室贵胄对段祺瑞的排斥，使他几乎处在赋闲的境地。但段祺瑞并没有就此完全投入到赋闲的生活里，他开始将主要精力集中到对各学堂的督办上，既然无法主宰现在就去把握未来，而把握住未来往往就会拥有现在，因为未来终归会变成现在。
不过，北洋系的低谷期还没有过去，1907年5月7日，段芝贵行贿案发被免职，本来就遭受清室贵胄排斥的北洋系遭受重创。袁世凯让出四镇兵权以后，本来想将势力巩固在东北，将东三省作为自己的大后方，但是段芝贵出事，等于是拱手让出黑龙江巡抚的职位，北洋系的后方倏然变得风云莫测。
对于段祺瑞来说，段芝贵是他的亲信，随着北洋系在各地受到打压，皖系的势力也在一定程度上受创。这一年秋天，袁世凯调任军机大臣兼外务部尚书，表面上看起来是升职，其实却是被削去了兵权。10月16日，段祺瑞被授予镶黄旗汉军副都统，专意督办陆军各学堂。这样一来，等于是把段祺瑞摁死在了讲台上，不让他接触实际军务。