Die erste urkundliche Erwähnung von Kaltbrunn erfolgte 724. Der Ort gehörte bis 1540 dem Kloster Reichenau. Der östlich des Dorfes gelegene Dürrainhof fungierte ursprünglich wohl als Reichenauer Ministerialensitz. Im ausgehenen Mittelalter wurde der Dürrainhof zu einem kleinen Kloster mit eigener Kapelle umgestaltet. Dieses Kloster bestand weit ins 16. Jahrhundert hinein und diente später als Wohnsitz des Reichenauer Ammans in Kaltbrunn. Schließlich ging der Hof in Privatbesitz über. 
Ebenfalls aus dem Mittelalter stammt der Fischweiher, der noch heute an den nach ihm benannten Fischerhof angrenzt. Mit den Fischen wurden jahrhundertelang die Salemer und Reichenauer Mönche während der Fastenzeit versorgt.
1803 kam Kaltbrunn zu Baden. Zum 1. Juli 1974 wurde Kaltbrunn in die Gemeinde Allensbach eingemeindet.

Außer dem  Dürrainhof gehören die Gemeinmärker Höfe zu Kaltbrunn, das mit seiner westlichen Gemarkung an den Mindelsee grenzt.

Ein beliebtes Ausflugsziel ist der Wild- und Freizeitpark.

Ortsvorsteherin
Elisabeth Müller
Lindenweg 1
7476 Allensbach
Telefonnummer: 07533 801-936

Öffnungszeiten der Ortsverwaltung:
Montag: 19:00 Uhr bis 20:00 Uhr (nach telefonischer Anmeldung)