Quatre auteurs, une historienne, deux sociologues et un écrivain explorent la façon dont le pauvre, celui qui est démuni de ressources économiques, morales ou mentales, vit dans la non-représentation sociale, et habite un espace absent, hors de toute figuration collective. Même ce qui relève du savoir sur le pauvre, en chaque discipline, comporte et redouble cette démarcation qui rejette hors de la marche sociale celui qui est sans argent, sans abri ou lui-même dégradé.
Ce livre veut dire non tant l'exclusion que la défiguration des pauvres, rejetés dans un lieu sans visages, et cherche à faire vivre les "paysages de leurs défaites intimes". Produit d'une longue histoire, le pauvre infigurable est soumis à un ordonnancement qui implique sa soumission, dans les lieux qui lui sont assignés, asiles, ateliers de charité, quartiers déshérités, hôpitaux ou prisons. L'historienne Arlette Farge travaille sur les archives de l'hôpital des Enfants trouvés au XVIII° siècle et des rapports d'inspecteurs de police pour rendre compte de l'impossible regard sur le pauvre à l'époque des Lumières : le pauvre perturbe l'ordre et les enfants pauvres, par leur surmortalité, troublent la démographie. Jean-François Laé fait résonner des lettres de familles de patients en fin de cure de désintoxication. L'écrivain Franck Magloire témoigne de son regard sur un sans abri rencontré par hasard. Le sociologue Patrick Cingolani s'attache à l'expérience des chômeurs et à leur révolte ou fait revivre la condition de prolétaire illettré au XIX° siècle telle que la représente Augute Comte.
Tous les auteurs joignent la rigueur de leur travail à la générosité de leur intention, celle de faire voir non tant ce qui tend à rester invisible que la façon dont le regard social s'aveugle pour ne pas voir et ne pas penser. Car chaque fois, sous des formes d'assistance et des dispositifs différents, apparaît le désir de colmater, apaiser, réprimer en effaçant et en chassant plus loin, ainsi que le souci de ne jamais se représenter la situation ni figurer celui qui la vit et la subit.