Knjaževac i njegova okolina nastanjeni su još u praistorijska vremena. Ovome svedoče brojni ostaci materijalne kulture pronađeni u arheološkim nalazištima na ovom terenu. Najstariji stanovnici naših krajeva su Tribali. Pored Tribala na našem području su živeli Mezi i Tračani. U dolini Timoka spominju se i Timahi, međutim jedino što se o njima zna je da su živeli na reci Timok. Knjaževačko područje ušlo je u sastav rimske države onda kada je Marko Kras, 28. godine pre nove ere, pokorio Meze. Njihove zemlje, zajedno sa susednim teritorijama, pretvorene su u provinciju Meziju. Provincija Mezija je do kraja Domicijanove vlade (81-86.) bila jedinstvena administrativna oblast kada je podeljena na dve nove provincije: Gornju i Donju Meziju. Oblast Timoka ulazi u sastav Gornje Mezije. Koliko je danas poznato, u dolini Timoka nije bila stacionirana ni jedna legija. Kasteli i utvrđenja bili su posednuti pomoćnim odredima. Taj teren je u rimsko doba bio dobro naseljen, a iznad svega odlično branjen.
     Iako još nema pouzdanih dokaza Knjaževac je nastao na temeljima rimskog utvrđenja Veliki Timok (Timacum majus), koje je (najkasnije u IV veku n.e.) postojalo na brdu Zdanije (gde se danas nalazi Pravoslavna crkva "Sveti Đorđe"), mada ostataka nekropola ima i u zapadnom i istočnom delu grada. Pod nazivom Timaco Maiori on je zapisan u rimskoj putnoj karti (Tabula Pitingeriana) iz IV veka. U starijoj literaturi ovo prvobitno naselje naziva se Kolumbija (dolazi od latinskog columba-golubica) i Golubac (prevod pravog), mada za ovaj naziv nema arheoloških ili pisanih potvrda. Uporedo sa njim upotrebljavao se veoma dugo i naziv Gurgusovac, pod kojim imenom (Gurgusovac) se spominje u turskim popisima iz 1455. godine kada je imao devet domaćinstava i dva zaseoka na terenu današnjeg grada. Narodna legenda kaže da je ovo ime dobio po gukanju golubova grivaša - po jednima, a po drugima po svetoj Đurđevoj vodi; naime priča se da je u blizini naselja, gde se danas nalazi Miletina crkva, u tursko vreme postojao han i uz njega česma koja se zvala Đurđeva voda, a koju su Turci zvali gjurgu-su (gjurgu - Đorđe, su - voda). Nedovoljno istorijska tvrđenja ime naseobini daju po Grguru, najstarijem sinu despota Đurđa Brankovića (XIV vek). U skorije vreme se sve više nameće tumačenje da Gurgusovac dobio ime od latinske reči gurus-gurgustium, prva reč bukvalno znači "dolinica", plodna zirasta zemlja ali i posed isluženih rimskih legionara, koji su oni dobijali na uživanje da bi se u starosti izdržavali; gurgustium znači koliba, krčmica, pivnica, podrum tj. mesto gde se prerađuje grožđe i neguje vino i koje je moglo biti na imanju nekog legionara jer je Knjaževački kraj i u rimsko vreme bio poznat po vinogradima o čemu svedoče reljefne predstave pronađene na spomenicima u Ravni (Timacum minus). Srpski župan Stefan Nemanja je u svom prodiranju dolinom Timoka (XII vek) porušio utvrđenja: Svrljig, Ravnu i Koželj, ali se Golubac u to vreme ne pominje.
      Turci su ovaj kraj osvojili 1396. godine i pripojili ga Vidinskom pašaluku. U tursko vreme Gurgusovac je u početku bio manje selo na timaru (feudalnom imanju) turskog vojnog starešine, ali će zatim, zahvaljujući svom dobrom položaju (ušće dva Timoka, prirodne raskrsnice mnogih puteva) početi da poprima sve elemente većeg naselja (naročito u XVII veku kada će Turci ovde podići vojno utvrđenje-šanac). Za vreme ratova između Austrije i Turske (kraj XVII i početak XVIII veka) austrijski obaveštajci Gurgusovac opisuju kao varošicu od 120 hrišćanskih i 46 turskih kuća, dve džamije, dve kafane i dva hana (to je vreme kada je varoš počela da se formira kao urbana celina). Prvi srpski ustanak 1804. godine pod Karađorđem ovaj kraj je zahvatio 1807. kada Hajduk Veljko napada Gurgusovac ali ga nije mogao zauzeti. Posle osvajanja Sokobanje i Svrljiga, Veljko opet udara na Gurgusovac, ali ga ni tada nije mogao osvojiti; tek posle srpsko-ruske pobede na Malajnici (iste godine), Veljko uspeva da oslobodi Gurgusovac. Posle srpskog poraza na Čegru 1809. Turci ponovo osvajaju Gurgusovac. Grad je ostao pod Turcima sve do 1810. godine kada je ponovo oslobođen. Međutim, padom Srbije 1813. godine, pao je i Gurgusovac koji je ponovo bio priključen Vidinskom pašaluku. Drugi srpski ustanak nije zahvatio ovaj kraj. Tek 1833. godine, kada se narod ovoga kraja pobunio protiv Turaka, knez Miloš im je poslao u pomoć vojsku i Turci su oterani iz Gurgusovačkog grada, a kraj je konačno oslobođen turske vlasti. Oslobođenje od Turaka i pripajanje matici Srbiji (1833) dočekalo je 869 Gurgusovčana (163 kuće), ali će se za samo nekoliko godina oni gotovo udvostručiti (1840. ih je bilo 1.484, a 321 kuća).
      Današnje ime Knjaževac, dobio je 17. januara 1859. godine kada je ovde boravio Knjaz Miloš Obrenović i naredio da se zapali i poruši zloglasna Gurgusovačka kula, tamnica u kojoj su (počev od 1843.) bili zatvarani protivnici dinastije Karađorđevića. U godini kada je varoš promenila ime u njoj je bilo 2383 Knjaževčana.
      U ratu protiv Turske 1876-1878. godine knjaževačkom vojskom je komandovao pukovnik Đura Horvatović i u početku je imao uspeha protiv Turaka nadirući prema Beloj Palanci, ali sa povlačenjem srpske vojske kod Zaječara i Horvatović se povukao posle junačke odbrane Knjaževca, te su Turci ušli u Knjaževac i opljačkali ga, popalili i porušili. Međutim, Turci su se ovde zadržali nešto više od desetak dana i otišli su na front kod Aleksinca, te je ovaj kraj postao opet slobodan. Završetkom rata 1878. godine Srbija je dobila pored potpune nezavisnosti i teritorijalno proširenje, te je i Budžak postao slobodan.
       Teške ekonomske prilike posle rata, raspisivanje novih poreza za prugu Beograd-Niš i naoružanje vojske, kao i nesređeno političko stanje u zemlji dovelo je do timočke bune 1883. godine. Neposredan povod za bunu je bilo prikupljanje oružja od narodne vojske te je buna pored boljevačkog i sokobanjskog sreza zahvatila i Knjaževac i knjaževački okrug u oktobru 1883. godine. Buna nije uzela šire razmere te je za nekoliko dana ugušena.
       Srpsko-bugarski rat, vođen 1885. godine; jedini ofanzivni rat koji je Kraljevina Srbije vodila u svojoj istoriji; izbio zbog poljuljanog ugleda režima posle ugušenja Timočke bune i namere kralja Miloša Obrenovića da ratom povrati taj ugled. Rat je bio nepopularan u narodu, pa je završen porazom srpske vojske na Slivnici. U ratu su učestvovali i vojnici iz knjaževačkog kraja, ali bez većih gubitaka.
       Balkanski rat 1912. godine Srbi su dočekali spremno i moralno i vojnički. Knjaževčani su ušli u rat sa Turcima kao obveznici XIV puka u sastavu Timočke divizije i učestvovali u borbama na Kumanovu i Bitolju.
       Zbog podele Makedonije Bugarska je napala Srbiju 1913. godine. Vodila se bitka na Bregalnici. Četrnaesti puk II poziva se istakao kod Krivolaka, dok se XIV puk I i III poziva borio na frontu Pirot-Zaječar. Bugari su uspeli da preko Kadibogaza uđu u Knjaževac jula 1913. i tu ostanu samo tri dana, a onda su se povukli ostavljajući za sobom pustoš.
      U prvom svetskom ratu XIV puk sva tri poziva bio je u sastavu I i II armije. Učestvovao je u bici na Ceru 1914. godine gde je austrougarska vojska poražena, no puk je nastradao kod Červentije prelazeći Savu, a pokazao je veliko junaštvo u kolubarskoj bici. Prilikom povlačenja srpske vojske 1915. Knjaževčani su se naročito istakli u borbama za odbranu Beograda. Povlačeći se u Zimu 1915/16. godine preko Crne Gore i Albanije deo Knjaževčana je nastradao, a u septembarskom napadu 1916. na Solunskom frontu XIV puk učestvuje u borbama na Kajmakčalanu i oslobođenju Bitolja. Prilikom proboja solunskog fronta 1918. godine XIV puk u sastavu II armije je u predhodnici, prelazi Drinu, prvi ulazi u Sarajevo i ide do Jadranskog mora. Po svršetku rata zastava XIV puka je, pored drugih odlikovana i Karađorđevom zvezdom.
      Period između dva rata će ostati upamćen po primetnom razvitku Knjaževačke opštine, pored brojnih i raznovrsnih zanatskih radnji i radionica, tada će nići i prvi industrijski kapaciteti: Kožara, Ciglana, Vinarski podrum. Knjaževac poprima sve elemente građanske sredine.
       Drugi svetski rat u Knjaževcu je započeo demonstracijama protiv potpisivanja pakta o pristupanju Jugoslavije Trojnom paktu 25/27 marta 1941. i okupacijom grada 11. aprila 1941. godine od strane Nemaca. Bugari su okupirali Budžak. Posle dugih borbi sa bugarima i nemcima Knjaževac je konačno oslobođen 10. oktobra 1944. godine.
       Posle drugog svetskog rata, po popisu iz 1948. u gradu živi 4862 stanovnika. Oko 1960. on počinje ubrzano da se razvija. Pored postojećih industrijskih kapaciteta Ciglane i Vinogradarskog podruma (koji prerasta u PPK "Đervin"), nastaju značajni privredni objekti: industrija konfekcije "Branka Dinić", Fabrika modne obuće "Leda", Industrija traktora i mašina-IMT, Timočka industrija nameštaja-TINA i drugi (vidi Privreda), koji zapošljavaju preko 10.000 radnika. Sagledavanja kazuju da je period od 1970. do 1985. godine najznačajniji u dosadašnjem razvoju grada po svim elementima privrednog i društvenog razvoja. U tom periodu podignuti su i objekti po kojima se danas prepoznaje Knjaževac: Dom kulture, Dom zdravlja, mreža predškolskih vrtića, više stambenih blokova i dr. U kulturnoj javnosti Knjaževac je poznat po republičkoj multikulturnoj smotri - Festivalu kulture mladih Srbije(uspostavljenoj 1962. godine).