“三晋”的叫法来源于春秋时代的晋国。在春秋末年，曾经非常强大的晋国大权旁落，朝政被六家大夫把持，他们是赵氏、魏氏、韩氏、智氏、范氏、中行氏，史称“晋国六卿”。他们各自有自己的武装和地盘，互相攻打，范氏和中行氏两家先后被打败，还剩下智氏、赵氏、韩氏、魏氏。这四家中，又以智氏的势力最大。

由此韩、赵、魏分别建立了独立的政权。公元前403年，周威烈王正式册命韩虔、赵籍、魏斯为诸侯，史称“三家分晋”。因为韩、赵、魏是从一个晋国分出的三个国家，所以习惯上称为三晋。由于晋国当时的势力范围主要在现今的山西省，而且从晋国分出的赵都城就在今天山西省会太原的东南，所以，现在山西又称为三晋大地。