Au pluriel, on écrira : des margelles, des puits de fenêtre, des puits de lumière, des sauts-de-loup.
Pour désigner le présent concept, les termes puits de fenêtre et puits de lumière sont surtout employés au Québec, alors que le terme saut-de-loup est surtout en usage en Europe.
