In großen Teilen Deutschlands ist diese Art selten, der Verbreitungsschwerpunkt der Art in Deutschland liegt in Thüringen, mehr als die Hälfte der Individuen kommt in Thüringen vor. Bis zur Mitte des 20. Jahrhunderts war die Art in Thüringen weit verbreitet. Die Hauptverbreitung liegt im klimatisch wärmebegünstigten Saaletal zw. Jena und Saalfeld. Aber auch im Geratal um Arnstadt, im Zechsteingürtel bei Bad Liebenstein, in Mühlhausen bis zum Werratal zwischen Creuzburg und Treffurt wurden Vorkommen entdeckt. Die Verbreitung dieser Art korreliert mit hohen Dichten an Hohlräumen in Karst- und Bergbaugebieten. Generell sind die Tiere stark an das Vorkommen strukturreicher Landschaftsräume sowie das Vorkommen unterirdischer Hohlräume zum Überwintern gebunden.

Im Sommer beziehen die Kleinen Hufeisennasen stukturreiche Habitate in klimatisch begünstigten Bereichen. Besonders gerne werden warme, trockene und zugluftfreie größere Dachräume von Gebäuden wie leerstehende Fabriken, Schlössern und Kirchen, enge Heizungskeller oder Schächte für Wochenstubenquartiere bezogen. Die gewählten Räume sind oft verwinkelt und weisen kleinere Strukturen wie Nischen auf. Wichtig für die Quartierwahl ist ebenfalls eine möglichst enge Anbindung an strukturreiche Vegetationsstrukturen, welche Korridore in die nahegelegenen Jagdgebiete bilden. Ideal hierfür sind abwechslungsreiche Wälder und Gehölze. Die Gebäude sollten in einen strukturreichen Vegetationsverbung eingebettet sein.

Der Aktionsradius der Kleinen Hufeisennase ist recht klein. Meist liegen die einzelnen Jagdgebiete in einem Radius von 2,5 km um die Quartiere. Diese Jagdgebiete erreichen eine Ausdehnung von 150 ha bis 400 ha. Für den Transitflug vom Quartier in das Jagdgebiet werden lineare Landschaftsstrukturen wie Hecken, Gräben oder Waldränder genutzt.

Ihre Winterquartiere suchen die Kleinen Hufeisennasen in unterirdischen Räumlichkeiten auf. So werden warme, zugluftfreie Hangplätze in Stollen, Kellern und tief in Höhlen aufgesucht.

In Thüringen konnten sich die Bestände seit dem starken Einbruch in den 1950er bis 1980er Jahren gut erholen. Da das Vorkommen der Tiere auch stark an das Vorhandensein leerstehender Gebäude gekoppelt ist, ist eine Betreuung dieser, zum Schutz der Wochenstubenquartiere, unerlässlich.