Frankrig, 1914. Da den tyske besættelsesmagt rykker ind på Aurelie de Courcelles familiegods for at bruge det som hovedkvarter, opdager hun, at hun kender den tyske kommandants højre hånd, Maximilan von Sternburg, fra sine debutantdage i Paris. Til trods for deres modstridende loyaliteter udvikler Aurelie og Max’ venskab sig snart til kærlighed. Men et utilgiveligt forræderi skiller dem ad, og Aurelie vender hjem til Paris, Hotel Ritz og sin fremmedgjorte mor.
Frankrig, 1942. Marguerite ”Daisy” Villon er vokset op hos sin frisindede amerikanske bedstemor på det glamourøse Hotel Ritz i Paris, og da tyske tropper besætter Frankrig, bliver hun i hovdstaden med sin datter og sin mand, som samarbejder med nazisterne. Til at begynde med tøver Daisy med at hjælpe sin bedstemor i modstandskampen og dermed udsætte sig selv og sin familie for fare. Men hun indvilliger alligevel i at agere kurer for den enigmatiske Legrand, som forfalsker identitetspapirer til modstandsfolk og jødiske flygtninge. Efterhånden som Daisy suges længere ind i Legrands underjordiske netværk, kommer hun stadigt tættere på en ødelæggende hemmelighed fra hendes egen slægts dunkle fortid.
Frankrig, 1964. For Barbara Langford var ægtemanden Kit hendes livs kærlighed, men deres ægteskab var hjemsøgt af en mystisk kvinde kendt som La Fleur. Efter Kits død dukker den amerikanske advokat Andrew ”Drew” Bowdoin op på hendes dørtrin, hyret til at opspore en forræderisk modstandskæmper kendt under navnet ”La Fleur”. Nysgerrig efter at vide mere om den gådefulde La Fleur slutter Barbara sig til Drew, og deres søgen leder dem til Paris og Hotel Ritz — og til uventede afkroge af deres hjerter.
Hver gang vi tog afsked er en gribende roman, der strækker sig fra de mørke dage i skyggerne af to verdenskrige til de turbulente 1960’ere i selskab med tre kvinder fra hver sin generation, der alle søger tilflugt for deres sårede hjerter på Paris’ legendariske Hotel Ritz.