1946年冬天，国民党在东北地区成立了由伪满官吏、地主、恶霸、土匪等组成的“中央先谴军”。这群乌合之众不断对我军进行军事骚扰，其中匪首许大马棒（秦卫东饰）、座山雕（倪大红饰）、马希山（丁勇岱饰）等人分别集结残股，窜居深山密林之中，长期进行暗杀破坏，手段残忍无比。东北地区一时间匪患成群，这对当地百姓的工作、生活都造成了极大的威胁，并严重破坏了土地改革的成果。

为了清除匪患，军区领导决定改变战术，组织了一支36人的小分队。在团参谋长少剑波（张睿饰）的带领下，杨子荣（李光洁饰）、孙达得（解子腾饰）、高波（张晚意饰）等人深入林海雪原，先后奇袭奶头山、智取威虎山、围剿大锅盔，与这些“鲨鱼性、麻雀式”的凶残敌人斗智斗勇、殊死拼搏。经过一次又一次艰苦卓绝的激烈交锋，匪徒们最终被全部歼灭，小分队取得了剿匪的全面胜利。