Dans le filtrage de sécurité de la GPO, mettez uniquement les groupes concernés.
Dans l'onglet Délégation, définissez "Utilisateurs authentifiés" en lecture seule.
Pensez à bien lier la GPO à l'OU où sont présents les utilisateurs.