追根溯源，青山区在新中国成立之前的历史上，虽然没有整体单独设置过县（旗、区）及以上行政建置，但这片土地有山有水，气候温和，土地平坦开阔，绝大部分宜农宜牧宜林，非常适合人类生息繁衍。从考察有关史迹、史料得知，在我国历史上，历朝历代，这里一直是中华民族生存发展之地，是汉族和北方游牧民族或交替占据，或友好来往，相互交融，并肩携手发展之地。

    到了明朝中期至清朝初期。这里是蒙古族土默特部落建立的大明金国居地。清朝时期，由蒙古族乌拉特部落占据。清末民初，从山西、陕西、河北等地陆续迁徙来大量从事农业和手工业生产的移民，他们垦田建屋，逐渐形成公忽洞、狗拦圪钵、镰片窑子等村落。

    中华人民共和国成立后，内蒙古自治区于1954年废除旗县并存、蒙汉分治制度。今青山区境蒙古族也划属包头市管辖。

    1953年，内蒙古一、二机厂在区境选址、定点。1954年，全区陆续开始大规模建设。1955年，包头市委、市政府根据工业建设需要组建新市区（包括今青山区、昆都仑区）工作组，成立新市区办事处。1956年8月，包头市人民委员会决定撤销新市区办事处，分别成立以内蒙古一机厂、二机厂厂区和住宅区为主的青山区和以包钢厂区和住宅区为主的昆都仑区。在其未完成选举以前，先成立包头市人民委员会青山区办事处、包头市人民委员会昆都仑区办事处。同年8月18日，新市区办事处正式结束，青山区办事处正式成立，办公处设在公忽洞村。11月，召开青山区人民代表大会，选举产生青山区领导班子，正式成立县级青山区人民委员会（后相继改称青山区革命委员会、人民政府），隶属于包头市。办公处设于呼得木林大街6号街坊。2005年1月，青山区党政大楼迁至建设路189号。截至目前，其隶属关系未发生变化。