山西是中華民族重要的發祥地之一。中國第一個王朝――夏，其地域就在晉南、豫西一帶興起。
周代，山西的國號為晉。春秋時期，國君晉文公為五霸之一。戰國時期被韓、趙、魏三國瓜分，此后山西別稱「三晉」。
秦代，秦始皇于山西設太原、上黨、河東、雁北及代郡五郡。
南北朝時期，北曾以平城(今大同)為都，及后的東魏、北齊也曾以晉陽(今太原)為「別都」、「陪都」。
隋代，太原、長安、洛陽成為黃河流域上的三大城市。隋末，李淵、李世民父子由山西起兵奪取天下，建立唐朝，定都長安，并尊稱太原為「北京」，紀念這塊創朝立國之地。
遼、金代，大同又作為遼、金陪都達二百年之久。
元代，山西與山東、河北省共稱元朝之「腹地」，大同、平陽(今臨汾)、太原三城，則是黃河流域的蓍名都會。
明代，山西行中書省設于太原。清代，山西的商業發展進入黃金時期，「晉商」在全國的經濟命脈中有著舉足輕重的地位。
民國初年起，山西一度是軍閥割據的「獨立王國」。抗日戰爭時期，太行山、五臺山等地成為八路軍的戰略根據地，山西因而再度揚名天下。
