Masa yang terlupakan
Bisnis Dunant di Aljazair mengalami kemunduran, sebagian karena devosinya pada cita-cita humanistiknya sendiri. Pada bulan April 1867, bangkrutnya perusahaan keuangan Crédit Genevois mengakibatkan sebuah skandal yang melibatkan Dunant. Dia dipaksa menyatakan pailit dan divonis bersalah oleh Pengadilan Dagang Jenewa pada tanggal 17 Agustus 1868 atas praktik penipuan dalam kasus kebangkrutan tersebut. Keluarganya dan banyak dari teman-temannya sangat terkena dampak dari bankrutnyaCrédit Genevoiskarena mereka banyak berinvestasi dalam perusahaan ini. Masyarakat di Jenewa, sebuah kota dengan tradisi Kalvin yang berakar mendalam, menjadi gusar dan hebohsehingga muncul seruan-seruan agar Dunant mengundurkan diri dari Komite Internasional Palang Merah.
Pada tanggal 25 Agustus 1868, dia mengundurkan diri dari jabatannya sebagai Sekretaris Komite dan, pada tanggal 8 September, dia dikeluarkan sepenuhnya dari Komite.
Moynier, yang menjadi Presiden Komite sejak 1864, berperan besar dalam menyingkirkan Dunant dari Komite.Pada bulan Februari 1868, ibu Dunant meninggal dunia. Pada akhir tahun itu, Dunant juga dikeluarkan dari YMCA. Pada bulan Maret 1867, dia meninggalkan kota kelahirannya, Jenewa, dan tidak pernah kembali lagi ke sana. Pada tahun-tahun berikutnya, Moynier tampaknya berusaha mempergunakan pengaruhnya untuk memastikan bahwa Dunant jangan sampai menerima bantuan atau dukungan dari teman-temannya. Misalnya, hadiah medali emasSciences Moralesdi Pekan Raya Dunia Paris tidak jadi diberikan kepada Dunant sesuai rencana semula, tetapi diberikan kepada Moynier, Dufour, dan Dunant bersama-sama sehingga seluruh uang hadiah tersebut menjadi hak Komite. Tawaran Napoleon III untuk mengambilalih separuh dari kewajiban utang Dunant dengan syarat teman-teman Dunant menjamin pelunasan yang separuh lagi jugadigagalkan oleh usaha Moynier.
Dunant pindah ke Paris dan hidup di sana dalam keadaan berkekurangan. Namun, dia terus berupaya mewujudkan gagasan dan rencana kemanusiaannya. Selama berlangsungnya Perang Prancis-Prusia (1870-1871), dia mendirikan Perhimpunan Bantuan Kemanusiaan Bersama (''Allgemeine Fürsorgegesellschaft'') dan, tak lama setelah itu, dia mendirikan Aliansi Bersama untuk Ketertiban dan Peradaban (''Allgemeine Allianz für Ordnung und Zivilisation''). Dunant berargumen tentang perlunya diadakan perundingan perlucutan senjata dan perlunya didirikan sebuah pengadilan internasional untuk memediasi konflik internasional. Kemudian, dia mengupayakan terbentuknya perpustakaan dunia, sebuah gagasan yang mempunyai gemadalam berbagai proyek di kemudian hari, antara lainUNESCO.
Dalam usahanya yang tak pernah berhenti untuk menganjurkan dan mewujudkan gagasan-gagasannya, Dunant semakin mengabaikan situasi keuangan pribadinya sehingga dia semakin terlilit utang dan dijauhi oleh kenalan-kenalannya. Meskipun diangkat sebagai anggota kehormatan Perhimpunan Palang Merah Austria, Belanda, Swedia, Prusia, dan Spanyol, dia nyaris dilupakan dalam perjalanan resmi Gerakan Palang Merah, pun ketika Gerakan ini berkembang pesat ke negara-negara lain. Dunant hidup dalamkemiskinan dan berpindah-pindah tempat antara 1874-1886, termasuk Stuttgart, Roma, Korfu, Basel, dan Karlsruhe. Di Stuttgart, Dunant bertemu mahasiswa Universitas Tübingan (Tübingen University) bernamaRudolf Müllerdan kemudian bersahabat karib dengannya. Pada tahun 1881, bersama-sama dengan sejumlah teman dari Stuttgart, Dunant untuk pertama kalinya pergi ke Heiden, sebuah desa peristirahatan di Swiss. Pada1887, ketika tinggal di London, dia mulai menerima bantuan keuangan bulanan dari sejumlah kerabat jauh. Ini memungkinkan dia untuk hidup dalam kondisi keuangan yang lebih aman. Dunant pindah ke Heiden pada bulan Juli 1887 dan tinggal di desa tersebut selama sisa hidupnya. Sejak 30 April 1892, dia tinggal di rumah sakit danpanti jompo yang dipimpin oleh Dr. Hermann Altherr.
Di Heiden, dia bertemu dengan seorang guru muda bernama Wilhelm Sonderegger danistrinya Susanna. Mereka mendorongnya untuk mencatat pengalaman hidupnya. Istri Sonderegger mendirikan cabang Palang Merah di Heiden dan, pada tahun 1890, Dunant menjadi presiden kehormatan cabang tersebut. Dengan adanya Sonderegger, Dunant berharap akan dapat mempromosikan gagasan-gagasannya lebih lanjut, termasuk menerbitkan edisi baru bukunya. Namun, persahabatan mereka di kemudian hari menjadi tegang karena Dunant melontarkan tuduhan yang tak dapatdibenarkan bahwa Sonderegger, bersama Moynier di Jenewa, berkonspirasi menentangnya. Sonderegger meninggal padatahun 1904, di usianya yang baru mencapai 42 tahun. Meskipun hubungan mereka tegang, Dunant sangat terharu dengan kematian Sonderegger yang tak terduga-duga itu. Kekaguman Wilhelm dan Susanna Sonderegger atas Dunant, yang tetap mereka rasakan walaupun Dunant melontarkan tuduhan tersebut, terwariskan kepada anak-anak mereka. Pada tahun 1935, putra mereka, yaitu René, menerbitkan kumpulan surat-surat yang ditulis Dunant kepada ayahnya.