战国时期，小四方山城址始建。
唐渤海、辽金时期，小四方山城址一直沿用。
20世纪50年代初期至1959年，黑龙江文物管理委员对小四方山城址进行了实地踏查。
1960年，黑龙江文物管理委员会对小四方山城址进行了调查。
小四方山城址由北高南低的2座山峰组成，其间为开阔平缓的鞍部，山城分石城和土城2个部分。石城踞于山顶，将两峰及平坦的鞍部围起，构成一封闭的城址，平面呈不规则形，城北、西、南外侧均以悬崖峭壁山险为屏，东墙外侧为缓坡山岗，城墙用天然青石砌筑，周长995米，保存完好处高4.2米、底宽11米、顶宽2米，东墙中部有一处城门；土城位于东侧山腰，与石城相连，平面呈不规则形，中有一隔墙将土城分为南北2个部分，土墙周长1165米（含隔墙），城垣最高处约2.5米，底宽10米，顶宽3米。
小四方山城址城内有居住遗迹、小广场遗迹，出土有磨制石矛、陶豆、陶罐、陶纺轮、圆柱状器耳、乳丁状器耳、铁镢、铁箭头、仿定窑瓷片、北宋景德元宝等遗物。
小四方山城的修筑理念、方式、方法，具有民族和区域特点，是研究中国东北地区民族谱系之肃慎系发展演变的珍贵实物史料，对研究古沃沮民族的经济、政治、文化、习俗及渤海、辽金时期的政治、经济、军事、文化均有重要价值。
1986年，小四方山城址被黑龙江省人民政府公布为第二批省级重点文物保护单位。
2006年5月25日，小四方山城址被中华人民共和国国务院公布为第六批全国重点文物保护单位。
2016年，穆棱市人民政府为保护小四方山城址，完成小四方山城址看护房建设工程。
小四方山城址是中国东北地区古代少数民族沃沮族的重要城址遗址。《东北通史》载：“勿吉，即肃慎挹娄之改称，满洲语谓‘林木丛杂地多沮洳之地曰沃沮’，肃慎挹娄之地，在东沃沮，故去肃慎挹娄之旧称，而称勿吉。惟勿吉之后，又称靺鞨，当亦为沃沮勿吉之音转。”沃沮之称有沃沮、东沃沮、南沃沮、北沃沮等，北沃沮之地，即中国的延边地区、牡丹江地区的东部、俄罗斯滨海地区、朝鲜的咸镜北道。
