Der Ort wird erstmals 851 genannt. Vermutlich stand auf dem Hügel des Dorfes eine Burg der Herren von Schemmern. Im ausgehenden Mittelalter war das Dorf geteilt. Die Grafen von Wartstein besaßen einen Teil, den anderen die Herren von Sulmetingen als österreichisches Lehen. Später erwarb das Kloster Salem den Teil des Dorfes von den Grafen von Wartstein. 1496 veräußerten auch die Herren von Sulmetingen ihren Besitz an das Kloster Salem.
Die Gerichtsbarkeit lag bei der Landvogtei Schwaben. 1497 wurde es dem Kloster gestattet, in Schemmerberg ein Gericht einzurichten. 1742 folgte auch die hohe Gerichtsbarkeit. Der Baltringer Haufen überfiel am 26. März 1525 im Bauernkrieg das Schloss Schemmerberg und zerstörte es später. 1532 wurde es erneut aufgebaut.
Mit der Säkularisation 1803 fiel das Gebiet um Schemmerberg erst an die Fürsten von Thurn und Taxis und 1896 an das Königreich Württemberg. Im Jahr 1837 wurde das Schloss abgebrochen, 1850 bekam der Ort einen Anschluss an die Südbahn.
Im Zuge der Gemeindereformen wurde Schemmerberg am 1. Januar 1974 nach Schemmerhofen eingemeindet.