Román se odehrává ve Francii v období krátce po skončení napoleonských válek/1815 definitivní porážka Napoleona v bitvě u Watterlloo/. Hlavní hrdina Jean Valjean je odsouzen za pouhou krádež chleba na galeje. Tam stráví neuvěřitelných 19 let / Trest mu prodloužily jeho pokusy o útěk./ Když je po tolika letech propuštěn z galejí,/ve svých téměř 50 letech/ jako bývalý galejník bez jakýchkoli prostředků i jakýchkoli příbuzných, nemůže nikde nalézt uplatnění a hrozí mu až smrt hladem. Proto se dopustí krádeže, ale biskup Myriel, kterého okradl, k jeho úžasu řekne policii, která Valjeana dopadla, že mu ukradené velmi drahé předměty daroval. Valjean je nejen propuštěn, ale dokonce mu i drahocennosti zůstanou a najednou je z bývalého galejníka velmi zámožný člověk. To zcela změní jeho život. Ne, nestane se díky velkému majetku vykořisťovatelem chudých , ale právě naopak jejich zastáncem a velmi dobrým a ušlechtilým člověkem.
Bohatý Valjean se pod cizím jménem usadí ve městě Montreilu, kde ještě více zbohatne se postupně stane majitelem továrny i starostou města. Zde vykonal mnoho dobrých skutků ,například postavil nemocnici nebo továrnu. Ve městě se Valjean setkává se ženou Fantinou, která jako svobodná matka nemá žádné prostředky a proto svou malou dcerku Cosetu svěřila k vychování jisté rodině kdesi u Paříže. Zbídačená Fantina záhy umírá a Coseta se tak stává sirotkem. Malá Coseta vyloženě trpí u zlé rodiny Thénardiérových. Z toho ji vysvobodí Jean Valjean, který se Cosety ujímá a společně odcházejí do Paříže.. Valjean se o Cosetu naopak velmi citlivě stará a je jakýmsi jejím velmi hodným otcem, když svého skutečného otce Coseta nikdy nepoznala.
Jakýmsi protikladem Valjeana je v románu policejní inspektor Javert-fanatický zastánce často pochybného zákona. Ten o Valjeanově skutečném původu, krádeži,i galejích vše ví a také Jeana Valjeana ustavičně až téměř do konce románu pronásleduje a usiluje o jeho odsouzení
Uběhne řada let. Z děvčátka Cosety se stane mimořádně krásná mladá žena. Valjean o ní pečuje. Bydlí společně v Paříži poblíž Invalidovny a často chodí na procházky do Lucemburské zahrady. Tam Cosetu pozná mladý student Marius Pontmercy a beznadějně se do ní zamiluje.. Marius shodou okolností bydlel také v domě Thénardiérových, kteří se kdysi o malou Cosetu měli starat, ale spíše ji týrali. Jednoho dne přišel do rodiny Thénardiérových pod jiným jménem Valjean s Cosetou a přinesli jim nějaké ošacení a jídlo. Thénardiér však místo vděku chtěl dobrodince vydírat a okrást. Marius se o tom dozvěděl a informoval policii. Ta Thénardiéra i jeho ženu zatkla a uvěznila. Zatímco Thénardiérova žena ve vězení zemřela, jejímu prohnanému manželovi se podařilo z vězení uprchnout.
Marius se díky těmto událostem znovu setkal s Cosetou a dozvěděl se, že i ona je do něj zamilovaná.
Mezitím vypuklo v Paříži povstání. Jean Valjean pod jménem Fauchelevent se především pro bezpečí Cosety rozhodl přesídlit do Londýna. Marius se o tom dozvěděl a ze žalu odešel bojovat na barikády, kde ho čekala téměř jistá smrt. Odtud poslal Cosetě dopis na rozloučenou, že umírá. Tento list se však dostal do rukou Faucheleventa alias Jeana Valjeana a ten se okamžitě vydal do válečné vřavy za Mariem. Na barikádě všichni padli , včetně Eponiny, která byla do Maria nešťastně zamilovaná. Jean Valjean zachránil Maria právě v okamžiku, když padal zraněn k zemi. Poté ho zraněného vlekl z bojiště podzemními pařížskými kanály. V kanálech se potkal s podvodníkem a zločincem Thénardiérem, který Valjeana nepoznal a myslel si oněm,že je vrah táhnoucí svou oběť. Jean Valjean vyvlekl Maria z bojiště na bezpečné místo a poté k jeho dědečkovi, jehož adresu nalezl v Mariově kapse.Marius se uzdravil, ale o svém zachránci Valjeanovi nic nevěděl. V tu dobu se na pařížské ulici střetl Valjean s fanatickým policejním komisařem Javertem. Teprve nyní, když viděl jak pomohl Valjean těžce zraněnému studentovi si Javert uvědomil jak hluboce se ve Valjeanovi, kterého tak dlouho pronásledoval mýlil. Najednou nevěděl jestli ho má zatknout podle zákona, nebo jako dobrého člověka ponechat na svobodě podle srdce. Tento hluboký vnitřní rozpor vyřešil Javert skokem do Seiny. Za pár dní byl v jejích vodách nalezen mrtvý.
Těžce raněný Marius se u svého dědečka, kam ho Valjean dopravil ze zranění vyléčil. Jeho děd mu udělil svolení ke svatbě s Cosetou, kterou mezitím našli.
Po svatbě mladých se Valjean svěřil Mariovi se svou trestaneckou minulostí. Marius jím proto začal opovrhovat. O tom, že ho Jean Valjean vyvlekl zraněného kanály z bojiště nevěděl Marius nic. Díky Mariově opovržení se Valjeanovy návštěvy u již vdané Cosety značně omezily, což Valjean velmi těžce nesl. Kvůli tomu se značně zhoršil jeho zdravotní stav.
Jednoho dne přišel za Mariem jakýsi muž, že má tajné informace o jeho tchánu Valjeanovi a za peníze mu je prodá. Márius v něm poznal zločince Thénardiéra, ale nechal ho mluvit. Ten povídal, jak v kanálech viděl Valjeana jak vleče mrtvolu, kterou zabil a okradl. Mariovi poté došlo že mluví o něm a Valjeanovi a teprve ted pochopil, že ho Valjean ve skutečnosti zachránil před jistou smrtí. Thénardiéra Marius poté vyhodil i se slušnými penězi. Thénardiér jich ovšem k dobrému životu nepoužil. Naopak odejel do Ameriky, aby tam obchodoval s otroky.
Marius se naopak i s manželkou Cosetou rozejel za Valjeanem. Ten však právě prožíval poslední hodiny svého života. Umíral však šťasten z toho, že mohl ještě spatřit milovanou Cosetku, které se stal druhým otcem i z toho, že Marius poznal skutečnou pravdu a nejen že mu odpustil, ale zůstal mu velmi vděčný za záchranu života.