Al llegar a Arrás, Jean Valjean entra a la audiencia con facilidad, por ser funcionario público. El falso Jean Valjean es un anciano medio loco apodado Champmatieu, que niega rotundamente ser el tal Jean Valjean, pero el propio Javert y sus ex-compañeros de presidio dicen reconocerlo. Ante el asombro de todos los presentes, Magdelene descubre su identidad y muestra a todos su número tatuado en el brazo. Sale de la audiencia y regresa a Montreuil-sur-Mer. Ahí visita a Fantine quien desesperada le pregunta por su hija. Jean Valjean, piadosamente le miente, diciéndole que ya la ha traído, pero que no la verá hasta que esté mejor. En ese momento llega Javert que viene a arrestar a Jean Valjean. Impresionada y aterrorizada al ver que Javert se lleva preso a su protector, Fantine muere. Jean Valjean jura ante su cadáver que cuidará de su hija y después se pone a disposición de Javert., quien lo manda de nuevo al presidio de Tolón.
Durante el viaje an barco a Tolón, Jean Valjean logra escapoar arrojándose al mar. Regresa a su casa para recoger su dinero y los candelabros de plata que le diera el obispo de Digne y que aún conserva. Entrega a Sor Simplicia el dinero necesario para el entierro de Fantine. Javert lo busca ahí, pero Sor Simplicia lo salva diciendo que ahí no ha llegado ningún Jean Valejan.. Jean Valjean le agradece que haya mentido para salvarlo, pero ella le dice que no mintió, pues ella sólo ha visto ahí al señor Magdelene.
Minetras tanto, los Thérnardier siguen tratando mal a Cosette. están enfurecidos porque Fantine no ha mandado dinero, y le escriben pidiéndole más. Una noche, mientras Thérnardier cuanta a sus parroquianos sobre cómo salvó al Barón de Pontmercy en la batalla de Waterloo (en realidad Thérnardier se dedicaba a saquear los cadáveres después de la batalla y robó al Barón herido, pero éste en su semi-inconciencia pensó que lo había salvado), la Thérnardier manda a Cosette al bosque a traer un balde de agua y le da una moneda para que compre pan. Es Navidad y la niña mira ilusionada una hermosa muñeca en el escaparate de la tienda de enfrente. Se interna en el bosque, y al llenar el pesado balde de agua, la moneda que le dio la Thérnardier se le cae del bolsillo, sin que ella lo note. Carga con dificultad el balde lleno de agua y emprende el regreso a través del oscuro bosque. Repentinamente siente como el peso se aliviana; un hombre desconocido la ayuda a cargar el balde. El hombre le pregunta su nombre; la niña responde que es Cosette y que vive en casa de los Thérnardier. El hombre, que no es otro que Jean Valjean reconoce en ella a la hija de Fantine.