Optimisation Google Speed Wordpress et Woo Commerce

Bonjour,
Déjà pour commencer je suis prestataire comme vous. Je connais très bien WP, je code en PHP, CSS et JS depuis fort longtemps ... Juste pour situer :)
Mais il arrive que parfois on "Sèche" et c'est le cas aujourd'hui sur un gros site WP et Woocomerce avec Bcp de plugins (et beaucoup moins que avant il y en avait 52 ..... ) maintenant tout ce que sont en ligne sont "Obligatoire" et nécessaire.
Quand j'ai récupérer le projet les pages catégories de Woo s'ouvrait en 20 secondes et idem pour les produits !! arfff maintenant j'ai réussi à passer à moins de 4 secondes et le client est content jusque là tout va bien ...
Mais j'ai des chiffres google speed très moche (entre 12 et 24 en mobile et entre 58 et 64 sur desk ) L'objectif du client est d'atteindre au moins 40 en mobile et plus de 70 en Desk ...
J'ai réussi à le faire en utilisant des outils comme Rocket ou j'ai atteint les 60 en mobile et 92 en Desk ... Oui mais je suis repassé à une expérience utilisateur sur le chargement des catégories à 10 voir 12 secondes ...
J'ai essayé un max de plugin de cache toujours la même chose ..
j'ai changé de serveur (le site est actuellement sur un VPS hyper rapide) et toujours la même chose...

Donc pour résumé je cherche quelqu'un de vraiment calé dans ce genre de situation et obtenir un score google speed acceptable 40/70 en gardant la performance utilisateur (voir l'améliorer mais bon sans doute de la science fiction... )
Merci de me contacter si vous êtes sur de votre expertise
la bonne journée