Nachdem sein aus Galizien stammender Vater Juda bzw. Jost 1803 gestorben war, musste Isaak Markus Jost seinen anhaltinischen Geburtsort Bernburg verlassen und kam als Zehnjähriger in die Samsonschule. Dort freundete er sich mit dem eineinhalb Jahre jüngeren Leopold Zunz an. 

1809 konnte Jost als erster Jude auf das Braunschweiger Gymnasium wechseln. Neben seiner eigenen schulischen Ausbildung unterrichtete er vier Jahre als Hauslehrer die Kinder des in Braunschweig wohnenden Administrators der Samsonschen Schulstiftung Isaak Herz Samson (1778–1849). 

Israel Jacobson ermöglichte Jost ab 1813 das Universitätsstudium in Göttingen und Berlin. An der Spree kam Jost u.a. mit dem Mendelssohnschüler David Friedländer in Kontakt, dessen Credo, das Judentum als eine moralische Vernunftreligion zu verstehen, er sich anschloss. 

1816 übernahm Jost die Leitung einer jüdischen Freischule in Berlin und wechselte 1835 nach Frankfurt am Main, wo er sich als Lehrer und Volksbildner, in besonderem Maße aber als Schriftsteller und Historiker einen Namen machte. 

Jost veröffentlichte u.a. eine englische Sprachlehre, ein Shakespeare-Lexikon und mehrere Bücher über deutschen Stil und Ausdruck und gab u.a. die Wochenschrift „Israelitische Annalen“ heraus (1839–42). Als Mitgründer des „Instituts zur Förderung der israelitischen Literatur“ stellte er eine Jugendbibel zusammen, veröffentlichte Mischna mit Übersetzung und gab den Anstoß zur Gründung eines jüdischen Mädchenwaisenhauses in Frankfurt. 

Bleibende Bedeutung erlangte Jost durch seine moderne jüdische Historiographie. Auch sie steht mit den volksbildnerischen Bestrebungen des Mendelssohnkreises in direktem Zusammenhang. Jost gehört mit Leopold Zunz und Heinrich Graetz zu den bekanntesten jüdischen Historikern des 19. Jahrhunderts.