A rottweiler ősei feltehetőleg Germániában, a korabeli római helytartóságban, úgynevezett provinciában éltek. Abban az időben harci, csordaterelő és hajtókutyának alkalmazták őket. Ezek a kutyák molosszoid fajta kutyák voltak. A szó a molossoktól származik, amely egy görög népcsoportot jelölt, törzsei Epiduszban éltek és vadászkutyáikról voltak nevezetesek.

     A régi római útvonalak még ma is ismertek. Németországban és Svájcban – a volt Germániában – az egyik római út a svájci Alpoktól a Bodeni-tóig vezetett északkeletre. Egy másik út nyugat felé vezetett a mai Rottweil területére.

     A Kr. U. 41-től uralkodó Claudius Drasus Nero Germanicus (Kr. e. 10 – Kr. U. 54) császár XI. légiója, amely hűsége és dicsősége alapján a „Claudia pia fidelis” nevet kapta, Kr. U. 44 tavaszán érkezett Rottweil területére. Miután a területet meghódították, útépítésbe kezdtek és állótábort létesítettek. Ezt a tábort Vespasianus Császár emlékére „Area Flaviae”-nak nevezték. Ez volt a későbbi birodalmi város – Rottweil – első neve.

     Kutyánk római kori őseit az évszázadok során tenyésztett, majd bevándrolt kutyákkal, a helybeli juhászkutyákkal, valamint bulldogokkal is párosították. Az ősrottweilert kitartása, bátorsága, életrevalósága, intelligenciája, jó őrző- és védő hajtótulajdonságai alapján tenyésztették. Az évszázadok során elválaszthatatlan segítője lett a szarvasmarha-kereskedőknek és mészárosoknak. Leggyakoribb elterjedési helye szerint a középkorban Rottweil város neve alapján kapta fajtanevét.

     Történetéhez hozzátartozik egy 1886-ból származó német céhtábla, amely művészi szinten ábrázol egy mészárost és egy ökröt, amelyet egy jellegzetes rottweiler vezet kötőféken. Ebben az időben a ma elismert fajták közül még nem sok létezett, ezért a rottweiler esetében joggal beszélhetünk „régi fajtáról”.

    A rottweiler eredetileg szarvasmarha-terelésre lett kitenyésztve, ezért a mai példányok közül a legtöbb azonnal helyesen reagál, amennyiben alkalmat biztosítanak neki erre. Ténylegesen abból kell kiindulni, hogy a rottweilert évszázadok óta mészárosok, valamint állattenyésztő parasztok munkakutyaként tartották és csordáik terelésére alkalmazták. A szarvasmarhákat a mai szokásokkal ellentétben élve hajtották a felhasználókhoz, amely esetenként több hetes fáradtságos terelési munkát jelentett. Arra alkalmas kutyák nélkül ez teljesen lehetetlen lett volna. Kézenfekvő, hogy csak a legjobb kutyák bírták az út megpróbáltatásait. A gyengébb kutyákat tulajdonosaik kizárták a terelésből és a tenyésztésből. Ezen a módon olyan szelekcó működött, amelynek pozitív hatásai manapság az általános jó testfelépítésben és az erős temperamentumban érvényesülnek.

     Nagy valószínűséggel feltételezhető, hogy a rottweiler, hasonlóan más tipikus terelőkutyákhoz – pl. a boxer – a bulldogtól származik, amelyről hiteles ábrázolások tanúskodnak. Ez a fajta viszont valószínűleg attól a dogszerű kutyától származik, amelyet vaddisznóhajtó- és medvevadászatra alkalmaztak. Abba az időben az űzött vadállatokat nem lőfegyverrel, hanem lándzsával és nyíllal ejtették el. Ezekre a vadászatokra csak rámenős kutyák voltak alkalmasak. Ez a jellemvonás egyértelműen fellelhető a mai rottweiler viselkedésében is.

     Azok az emberek, akik csordákkal végezték munkájukat, a lehető legalkalmasabb kutyát használták segítő terelőnek és őrzőnek, mégpedig a rottweilert.

     A rottweiler a teljesítménye és a különös jelleme alapján egyre ismertebb lett. Mint annyiszor, ebben az esetben is a gazdasági változások és a technikai vívmányok gyors elterjedése megfosztották a kutyát feladatától. Egy idő után a szarvasmarhacsordákat vonaton szállították, később a csordák hajtását kutyákkal törvények is tiltották. Így a rottweiler népszerűsége csökkent, de teljesítménye miatt elfelejteni nem lehetett.

     A rottweiler fennmaradását egyedül annak köszönheti, hogy csodálói még idejében – már 1900 körül – nagy erőfeszítéseket tettek megmentéséért. Németországi tenyésztők és nemesítők munkájának eredménye a ma ismert erőteljes, ugyanakkor barátságos, vérmérséklete szerint idegenekkel szemben bizalmatlan, de családtagokhoz nagyon ragaszkodó kutyafajta.

     A fajta európai népszerűsége igen nagy, napjainkban főleg rendőr- és katonai szolgálati, illetve mentőkutyának, továbbá házőrzőnek, családi kedvencnek, valamint sportkutyának tenyésztik és tartják.