Se me ocurre que en vez utilizar atributos utilices la opcion de caracteristicas.

Las características se mantienen constantes para todas las combinaciones de producto, y en mi caso dentro de las combinaciones hay atributos que varian

Le encontre la vuelta de la siguiente manera:
Los atributos que no quería que figuren los marque como "de color" y me fije que numero de "Group_id" les fue asignado, a este valor lo oculte mediante CSS

	#group_7, #group_8 , #group_10{

	    display:none !important;

	}

Luego, para que no saliesen los nombres de los grupos modifique el product-variants.tpl (Se que no es lo mas optimo):

Elimine el contenido dentro del {elseif $group.group_type == 'color'}

<ul id="group_{$id_attribute_group}">

	          {foreach from=$group.attributes key=id_attribute item=group_attribute}

	            <li class="float-xs-left input-container">

	              <label>

	                <input class="input-color" type="radio" data-product-attribute="{$id_attribute_group}" name="group[{$id_attribute_group}]" value="{$id_attribute}"{if $group_attribute.selected} checked="checked"{/if}>

	                <span

	                  {if $group_attribute.html_color_code}class="color" style="background-color: {$group_attribute.html_color_code}" {/if}

	                  {if $group_attribute.texture}class="color texture" style="background-image: url({$group_attribute.texture})" {/if}

	                ><span class="sr-only">{$group_attribute.name}</span></span>

	              </label>

	            </li>

y movi el

<span class="control-label">{$group.name}</span>

dentro de los otros dos elseif

Se que debe haber una mejor forma, pero fue la que encontre, por si a alguien le sirve.
Saludos!