西汉置，故治在今临沂市河东区汤河镇故县村，属琅琊郡。

三国两晋南北朝因之。

东晋义熙五年(公元409年)五月，刘裕北伐南燕时，开阳县(治在今临沂城)和临沂县(治在今临沂市兰山区白沙埠镇诸葛城村)二城被毁颇重。

南朝刘宋时，撤销开阳、临沂两县建制，两县原辖境并入即丘县(治所在今临沂市河东区汤河镇故县北)。

北魏永安二年(公元529年)，即丘县治西移(遗址在今临沂市兰山区兰山街道古城村)，于此置北徐州。

北周宣政元年(公元578元)，改北徐州为沂州，向东移治晋琅邪郡城开阳。“以州城东临沂水，因此为名”(《太平寰宇记》语)。临沂称“沂州”自此始。

开皇十六年(596年)，分即丘县复设临沂县，治所在汉开阳故城(今临沂老城)。大业初，并即丘县入临沂，为琅邪郡治。