唐代实行三省六部制度，而尚书省在中书、门下二省之南，故称之为南省、南宫。(中书、门下二省称之为北省)中书省发下的制敕，都从这里转发到中央各部门及地方各州县去，或者根据制敕制订成具体的政策条文下发到有关部门。中央寺、监各司如有文件需要下发各州的，也要经本省转发。
唐太宗说：“尚书省，天下纲维，百司所禀，若一事有失，天下必有受其弊者”，所以，尚书省为天下政令中枢，是联系中央和地方的桥梁和纽带，有点类似今天的国务院。
唐太宗曾任过尚书令，以后就不再授予他人，故尚书省的实际长官是左右仆射(从二品)，另有尚书左右丞一人(左丞正四品、右丞正四品)主持省内的日常工作。左右司郎中(从五品)，员外郎(从六品)各一人为其助手，分判本省六部各司的事务。
左右仆射在中唐以前地位很高，正一品的三公、三师不单设，正二品的尚书令又空位，其他官员皆在三品以下，只有尚书仆射是从二品，级别最高，权力最重，所以很显赫。
贞观时，太宗曾明确规定：“尚书细务，属左右丞，惟大事应奏者乃关仆射”(《唐会要•左右仆射》)。可见左右丞的重要地位。它的主要职责就是纠弹省内诸司处理事件之不当者。六部各司的文案都要由左右丞勾检后，才可下发到有关部门。由于左右仆射不莅细务，势必大权旁落，实际上尚书省的实权往往操在左右丞手中。
尚书省下属六部。六部的职责分工是：
吏部主管下级文职官员的选拔、任命、考核、黜陟工作。
户部主管财政、民政、土地户口、钱谷、赋税等。
礼部主管礼仪、祭祀、文教、宗教、科举等。
兵部掌管六品以下武职官员的考核、任命、升降以及军令、军籍和中央一级的军训，还负责武举与考课。
刑部掌管司法行政。
工部负责土木水利工程以及国家农、林、牧、渔业。
每部长官设一人，称尚书，正三品。次官一至二人，称侍郎。二十四司设一至二个长官，称郎中。再由一至二个员外郎为副手，他们被称为郎官、尚书郎、省郎。
