En el barrio de Somarriba del pueblo de Penagos se edificó la torre palacio de los Gandarillas con capilla dedicada a Santa Juliana, armas y patio grande cercado de almenas. La casa de los Gandarillas tenía asientos preeminentes en las iglesias parroquiales de San Jorge de Penagos y San Vicente de Cabárceno, en cuyos pueblos alcanzaron notables posesiones.

El apellido Gandarillas aparece localizado en el siglo XVIII casi exclusivamente en Santander y en su entorno original al sur de Peña Cabarga, en las inmediaciones de la llamada Sierra Gándara. Finalizado el siglo XIX, la mayoría de las familias Gandarillas continuaban viviendo en varios pueblos de Liérganes, Penagos y la capital de la provincia, aunque también aparecen diseminadas en otros municipios más o menos costeros, como Santa Cruz de Bezana, Piélagos o Torrelavega.

El significado de Gándara o de su diminutivo Gandarillas fue recogido por Adriano García Lomas en referencia a un ‘terreno quebrado y pobre’. Dicha denominación puede verificarse con una buena cantidad de topónimos localizados en la geografía regional, en los cuales hay que buscar el origen natural y la identidad de estos apellidos.