Vormittelalterliche Siedlungsspuren können aus der Jungsteinzeit, der Kelten- und der Römerzeit nachgewiesen werden. Alamannische Reihengräberfriedhöfe belegen die Existenz dreier Siedlungen der Völkerwanderungszeit im Stadtgebiet.
Wenn auch die erste urkundliche Erwähnung von Kirchheim erst auf das Jahr 960 datiert, geht der Ort mit Sicherheit auf die alemannische Zeit des 6.–7. Jahrhunderts zurück. Möglicherweise entstand die bestehende Siedlung im Zug der Christianisierung als Verdichtung der bestehenden Altsiedlungen gemeinsam mit der dem Heiligen Martin geweihten Kirche.
Im Jahr 960 gelangte Kirchheim in einem Tausch vom Bistum Chur in den Besitz Kaiser Ottos I., Mitte des 11. Jahrhunderts sind das Marktrecht und die Existenz einer königlichen Münzstätte überliefert.
Der Ort war im Besitz der Herzöge von Zähringen und ging von diesen 1186 an ihre Seitenlinie, die Herzöge von Teck über. Diese, seit 1252 genannt, trugen allerdings den Herzogstitel mehr als Familiennamen denn als Herrschaftstitel. Sie erhoben zwischen 1220 und 1230 die Marktsiedlung zur Stadt nach Freiburger Recht. 1240 wurde durch Herzog Ludwig I. von Teck das Kirchheimer Frauenkloster gegründet. Herzog Konrad II. von Teck veranlasste 1270 den Bau einer Stadtmauer.
In einem längeren Prozess kam Kirchheim von 1303 bis 1386 aufgrund wirtschaftlicher Schwierigkeiten von den Herzögen von Teck über Österreich an Württemberg. Die Stadt wurde Sitz eines württembergischen Amtes, im 19. Jahrhundert des Oberamtes, und blieb es bis 1938. Nach der Rückkehr Herzog Ulrichs wurde ab 1539 Kirchheim zur württembergischen Landesfestung ausgebaut, gleichzeitig entstand das herzogliche Schloss und das Alte Haus. Das heutige Erscheinungsbild ist vom Wiederaufbau nach dem verheerenden Stadtbrand von 1690 geprägt. Neben dem Schloss sind nur die Gebäude "Max-Eyth-Haus" (Max-Eyth-Straße 15) und "Altes Haus" (Dettinger Straße 2) aus der Zeit vor dem Stadtbrand erhalten geblieben. Das Kirchheimer Rathaus wurde beim Wiederaufbau vom Gelände des heutigen Marktplatzes auf seine heutige Position versetzt.
Während im 14. Jahrhundert noch der Adel der Herrschaft Teck im Stadtregiment eine führende Rolle spielte, brachte der Aufstieg des Bürgertums einen wirtschaftlichen Aufschwung, vor allem im Textilgewerbe und im Textilhandel. Aus diesen Anfängen entwickelte sich im 18. Jahrhundert die Textilindustrie, die dem 1819 errichteten Wollmarkt eine überregionale Bedeutung verschaffte. Das zog die weitere Ansiedlung von Färbereien und Textilbetrieben, schließlich auch von Unternehmen der Metallindustrie nach sich.
1864 erhielt Kirchheim Anschluss an die erste Privateisenbahn in Württemberg, die Strecke Unterboihingen–Kirchheim.
Mit der Verwaltungsreform 1938 kam das Oberamt Kirchheim zum Landkreis Nürtingen.
Nach dem Zweiten Weltkrieg stieg, bedingt durch die Zuwanderung von Flüchtlingen und Heimatvertriebenen, die Einwohnerzahl der Stadt erheblich an. 1948 überschritt die Einwohnerzahl der Stadt die Grenze von 20.000, und mit Inkrafttreten der baden-württembergischen Gemeindeordnung am 1. April 1956 erhielt sie kraft Gesetzes den Status einer Großen Kreisstadt.
Seit der Kreisreform 1973 gehört Kirchheim unter Teck zum Landkreis Esslingen. 1974 wurden die Nachbargemeinden Nabern und Jesingen eingegliedert. Damit erreichte die Stadt ihre heutige Ausdehnung.
