赛夏族依居住地，概分为新竹县五峰乡的北赛夏，与苗栗县南庄、泰安一带的南赛夏。2年一小祭、10年一大祭的矮灵祭，是赛夏族最重要的祭典。相传数百年前，打猎维生的赛夏族人得到一群矮黑人之助，学会了农作，年年丰收，但也由于他们经常调戏赛夏妇女，族人终于趁着丰年祭，设计害死了矮黑人，从此赛夏族灾祸频频，丰收不再。在幸存矮人的指示下，赛夏人于丰年祭典中加入祭矮灵的仪式，以平息亡魂。

矮灵祭最早为全族性祭典，但为迁就族人分居的现实，今已分作两地举行，时间则订在农历10月中旬。北赛夏的矮灵祭场在五峰乡的大隘村，比南赛夏晚1天开始，祭典一连3夜，分别进行迎灵、娱灵、送灵等仪式。其间虽然歌舞不断，气氛却庄重神秘，且充满禁忌，而绘声绘色的矮黑人传说，也仿佛在赛夏族人忏悟、谢恩的交杂情绪间获得印证。