司馬遷墓地的始封年代，為西晉時期。據北魏酈道元《水經注》載，西晉永嘉四年（310年），漢陽太守殷濟瞻仰遺文，大其功德，遂建石室，立碑樹垣……

從這個記載中可以看出，司馬遷墓地始封年代應晚于西晉永嘉四年（310年）。因為酈道元在《水經注》中只記載了殷濟建石室、立碑、樹垣，并未提及封墓。其原因很簡單，就是殷濟敬重司馬遷的人格，推崇司馬遷的《史記》，因司馬遷卒年卒因及葬地不詳，所以才在芝川城南芝水之陰的高崗上，為司馬遷建了個紀念地，以供自己和其他敬仰司馬遷的人隨時瞻拜，寄托對古賢人之思念。這便是司馬遷祠的最早形制。

后來的人覺得有祠無墓，總是個遺憾，于是便在其石室之后培土封冢，做到有祠有墓，以慰先人，亦慰后人。這便是司馬遷墓的起源。

關于司馬遷墓的修葺，金以前已不可考。有記載的最早修繕是在金大定己亥年（1179年）。據該年立的《重修太史公墓碑》碑文載：“惜乎時代歷久，舊冢傾頹，今春姚定乃率里人命工修復”。在這篇碑記的落款處，不僅有撰文者進士趙振的姓名，還有稷山石匠、磚匠、化主、立石人的姓名，更有“施柏樹伍拾銀”的姓名。這個記載雖然簡單，但卻給我們提供了很多重要信息。第一，有“磚匠”（即現在的“瓦匠”或“泥水匠”），說明這次重修是將墓進行了磚砌。第二，在磚砌之后，還在墓冢之上栽了柏樹，即現在墓上的古柏，至今已有八百三十多年。不然，為什么要在碑記上特地留下“施柏樹伍拾銀”的姓名呢？

對司馬遷墓的第二次維修，是在清康熙四十年（1701年），當時任韓城縣令的康行僩在《重修太史公墓碑記》中這樣寫道：“康熙己卯秋（1699年），余有事芝原，因謁太史公祠，得觀其墓。墓顛老柏蟠結，奇古萬狀，下以磚甓甃之。而歷年久遠，不無傾坍剝落之處……遂命工葺之。”文中的“葺”就是修理的意思。

對司馬遷墓的第三次修葺，是在清嘉慶二十一年（1816年）。時任韓城知縣的冀蘭泰倡修并主其事。這次修葺如第一次，未動墓的原結構，而是在保留原狀的基礎上，用磚在墓的周圍再裹砌了一層，并在墓壁周圍嵌入了磚雕八卦圖案和花卉圖案，就是我們現在看到的樣子。關于這次磚砌，冀蘭泰在親自撰文的《重修太史公祠記》中有所說明：“墓裂恐圮，磚甃又未敢動，需復用磚從外裹而修之。”

然而近年來韓城個別文人在撰寫有關司馬遷祠墓的文章時，為了迎合時下一些人喜歡獵奇的心理，或是為了作秀，便不顧史實，只憑想象編造故事，說什么司馬遷墓是忽必烈下令修建的，司馬遷墓是仿蒙古包的樣子修建的。更有甚者，說什么忽必烈還親自拜祭了司馬遷祠墓等等。遍查國史和韓城歷代《縣志》，遍查司馬祠所有碑文，從未見過如上記載。應該說明的是，司馬遷祠墓歷代的重修碑記保存得十分完整，也流傳有序，連元祐元年（1314年）韓城縣達魯花赤兼管本縣諸軍奧魯勸農事（實際上是韓城地方長官，只不過是蒙古人的稱呼有別）羅里重修太史祠都留有碑石，那作為大元帝國皇帝的忽必烈敕修太史祠墓、拜謁太史祠能不立碑紀念么？這只能說明杜撰者的無知。應當指出的是，這些說法雖屬臆造，但卻為一些不知史，不讀史的人所引用甚至津津樂道，這便是對“謬論傳播一百遍便是真理”的最好詮釋。