Selecciona las celda a agrupar con el ratón, seguidamente usando el botón derecho del ratón (contextual) hacer clic en la opción agrupar/ desagrupar ( unir/ dividir en Calc) celdas.
Me parece que es igual en Excel que en Calc.
También se puede hacer a través del menú Formato.