я пытаюсь создать составной первичный ключ с помощью @UniqueConstraint

вам не нужен @UniqueConstraint, если вы объявляете этот составной ключ как свой @EmbeddedId, см. эта ссылка для примера.

вам нужен только класс, чтобы стать его составным идентификатором:

@Embeddable
public class SomeCompositeClass {
    @Column(name = "SOME_ID_1")
    private String someId1;

    @Column(name = "SOME_ID_2")
    private String someId2;

    //getter, setter methods
}

затем используйте его внутри своей сущности, чтобы стать его @EmbeddedId:

 @Entity
 @Table(name = "YOUR_MAIN_TABLE")
 public class YourMainTable {

     @EmbeddedId
     private SomeCompositeClass myCompositeId ;

  /*setter getter methods */
 }