司马芝，字子华，河内郡温县人。年轻时以书生身份避乱荆州，在鲁阳山遭遇贼寇。同行的人纷纷丢下老弱逃亡，唯有司马芝守护在母亲身边不肯离去。贼寇持刀逼近，司马芝叩头哭求：“母亲年老，恳请诸位放过她！”贼寇感叹：“这是个孝子，杀他不合道义。”司马芝因此幸免于难，随后用简陋的鹿车推着母亲继续逃亡。他在南方隐居十多年，亲自耕种，坚守节操。
曹操平定荆州后，任命司马芝为菅县县长。当时天下初定，很多人不遵守法度。菅郡郡主簿刘节是地方大族，为人豪侠，家中宾客千余家，这些人在外为盗，在内扰乱吏治。司马芝到任后，派遣刘节的门客王同等入伍当兵。掾史劝阻道：“刘节家从未服过徭役，这次必定会藏匿门客，给县里留下隐患。”司马芝不予理睬，写信给刘节：“您是地方大族，又身兼郡中要职，却纵容宾客从不服役，百姓早已怨声载道，甚至流言传到上级那里。如今征调王同等入伍，请及时遣送。”
士兵在郡中集结后，刘节果然将王同等藏匿起来，还指使督邮以军事为由责难菅县。县中掾史走投无路，请求代替王同服役。司马芝却快马疾驰至济南，向太守详细陈述刘节的罪状。太守郝光一向敬重司马芝，竟下令让刘节代替王同入伍。青州百姓为此称赞司马芝“能让郡主簿去当兵”。
后来司马芝调任广平令。征虏将军刘勋深受曹操宠信，为人骄横，又是司马芝的同乡旧识。他的宾客子弟在广平境内多次犯法，刘勋写信给司马芝（信中不署姓名），多方请托包庇。司马芝不予回复，一概依法处置。后来刘勋因谋逆被诛杀，与他交往的人大多获罪，唯独司马芝因公正执法受到称赞。（《魏略》记载：刘勋字子台，琅邪人，中平末年任沛国建平县长，与曹操有旧交。后任庐江太守，被孙策击败后归附曹操，封列侯。刘勋自恃与曹操旧情，日益骄横，多次犯法并诽谤朝政，被李申成告发后处死，其侄刘威也被免官。）
司马芝升任大理正（司法长官）时，有人盗窃官藏丝织品丢在厕所旁，官吏怀疑是织女所为，将其逮捕入狱。司马芝指出：“施用刑罚若有过失，往往因苛暴而起。如今先查获赃物再逼供，如果犯人经不起刑讯，就可能被迫认罪。靠刑讯得到的供词，不足以断案。况且简明易从，才是治理的大道。不放过有罪之人，只是平庸的治世之道。如今宽宥可疑之人，弘扬简易的道义，不也是可行的吗？”曹操采纳了他的建议。
此后，司马芝历任甘陵、沛国、阳平太守，所到之处皆有政绩。黄初年间，他入朝担任河南尹，抑制豪强，拒绝私人请托。一次，有宦官想通过司马芝的妻子的伯父董昭（时任朝廷重臣）说情，董昭竟也畏惧司马芝，不敢代为通融。司马芝还向下属发布教令：“君主能设立法度，却不能保证官吏不犯法；官吏可能犯法，却不能保证君主不察觉。设立法度却有人触犯，是君主的不足；犯法而被察觉，是官吏的灾祸。上有不足，下有灾祸，政事怎能清明？大家务必自我约束！”下属官吏从此无不勤勉自励。
门下循行（低级属官）曾怀疑门干（守门小吏）偷了发簪，门干否认，循行便将他关押审讯。司马芝批示：“物品有相似难辨者，除非离娄（传说中视力极强的人），常人难以不惑。即便真有其事，循行怎能为了一支发簪，就轻易伤害同僚？此事不要再追究。”
魏明帝即位后，赐司马芝关内侯爵位。不久，特进曹洪的乳母当氏，与临汾公主的侍者一同祭祀无涧山神灵（臣松之注：无涧为洛阳东北山名，属民间淫祀），被逮捕入狱。卞太后（曹操正妻，曹丕生母）派黄门宦官到府中传令赦免，司马芝拒不接见，直接下令洛阳县将人犯处死，并上疏明帝：“凡应处死的罪犯，都应先上表等候批准。此前陛下已下诏禁绝淫祀以正风俗，如今当氏等人触犯妖刑，供词刚审定，黄门吴达便来传太皇太后之令。臣不敢接旨，唯恐有人救护，故加急处置。若因事未早结获罪，也是臣的责任。因此冒昧违反常规，下令将人犯处死，甘愿接受处罚。”
明帝亲笔回复：“看了奏表，明白你的忠心。你想遵奉诏书，因事权宜处置，这是正确的。这是你奉行诏命的本意，何必谢罪？今后黄门再去，切勿接见。”
司马芝在任十一年，多次上奏修订不合时宜的法规。他在公卿中始终正直处世。后来因诸王入朝时与京都人士交往牵连，被免职。
司马芝后来担任大司农。此前，各典农部的官吏和百姓中，有不少人从事商业经营来牟利。司马芝上奏说：“圣王治理天下，崇尚根本（农业）而抑制末业（商业），重视农耕与粮食生产。《王制》中说：‘国家若没有三年的粮食储备，就称不上稳固的国家。’管仲也强调积储粮食的紧迫性。如今吴、蜀二敌未灭，战争不断，国家的根本大计在于粮食和布帛。魏武帝（曹操）特意设立屯田官员，专门以农桑为业，因此建安年间天下仓廪充实，百姓生活富足。但自黄初年间以来，允许各典农官自行经营商业，只为局部利益考虑，这实在不符合国家整体利益。
帝王以天下为家，所以古书上说：‘百姓不富足，君主又怎能富足？’国家富足的关键，在于不耽误农时而充分利用地力。农民从正月耕种开始，除草、采桑、耕地、种麦、收割、打场，直到十月才能完成全年农事。之后还要修建粮仓、运输租赋、修整道路桥梁、用泥涂抹房屋，一整年没有一天不在为农事忙碌。如今各典农官都说‘留下的人要为外出的人耕种土地，计算劳力后不得不这样做，不荒废一些事务，就需留有余力’。但我认为不应让商业扰乱农业，应专一从事农桑，这对国家大计更为有利。”魏明帝采纳了他的建议。
每当上级官府有召问，司马芝总是先会见属官，分析问题本意，教导他们如何应答，结果往往如他所料。他性格正直坦率，不刻意夸耀自己的清廉。与宾客谈论时，若发现对方观点不当，会当面指出不足，背后却不再议论。
司马芝在任上去世，家中没有多余财物。自曹魏以来担任河南尹的官员，没有能比得上他的。
司马芝去世后，儿子司马岐继承爵位。司马岐从河南丞调任廷尉正，又升任陈留相。梁郡有一起案件，涉案囚犯众多，多年未能判决。朝廷下诏将案件移交到司马岐所属的县审理，县里请求预先准备牢具。司马岐说：“如今囚犯有数十人，既已因巧诈而供词不符，又饱受刑讯之苦，真实情况容易查明，怎能让他们长期囚禁呢！”他到囚室后逐一审问，囚犯都不敢隐瞒欺诈，很快就将案件全部判决。司马岐因此被破格提拔为廷尉。 当时大将军曹爽专权，尚书何晏、邓飏等人辅佐他。南阳人圭泰曾因言语触怒曹爽，被囚禁在廷尉府。邓飏审讯时，想给圭泰定重罪。司马岐斥责邓飏说：“你们身为中枢大臣，本应辅佐君主成就德政，却放纵私愤，冤枉无辜，让百姓人心惶惶，这算什么道理？”邓飏羞惭愤怒地退下。司马岐担心长期得罪权贵，称病辞官，居家不到一年便去世，年仅三十五岁，儿子司马肇继承爵位。（司马肇在西晋太康年间担任冀州刺史、尚书，见于《百官志》。）
评曰：徐奕、何夔、邢颙崇尚严峻刚直的作风，成为当时的名人。毛玠清廉公正，保持本色；司马芝忠诚坚贞，不趋炎附势，两人堪称“不欺软怕硬”的典范。崔琰品格最高尚，鲍勋坚守正义毫无缺失，却都未能保全自身，实在可惜！
《大雅》推崇“既明事理又能自保”，《虞书》崇尚“正直而温和”，若不是兼具多种才能，谁能完全做到这些呢！