Parce que l'air de rien, après un petit calcul et un bon gros test sur une RTX 3090 24G (prêtée par un client.... enfin empruntée à un client qui n'était pas en prod :) )
J'ai déduis que Whisper consomme beaucoup plus en CPU qu'en GPU (je parle de consommation électrique...)
- whisper sur un Ryzen 7 5800X met 59min pour transcrire une vidéo de 24min et consomme 241 W (consomme 241 WattsHeure par heure de transcription... donc 241W en moyenne)
- whisper sur la RTX3090 met 3'29" (!!) et consomme donc 43 W en moyenne.
Donc on va 17 fois plus vite
et on consomme au final 5.6 fois moins de courant
Benjamin Sonntag-King /
npub104…05fk0
2025-03-23 08:37:32
in reply to nevent1q…q8c6
Author Public Key
npub1042c9l3sxq8zvl27wsdmwx2tduvpulcafrkjrr42dqs7drkn8c5sv05fk0Published at
2025-03-23 08:37:32Event JSON
{
"id": "b2a877d01096dac0eed7a93e956829b230a97d754f910c9c1c3fbc54f24e47bc",
"pubkey": "7d5582fe30300e267d5e741bb7194b6f181e7f1d48ed218eaa6821e68ed33e29",
"created_at": 1742719052,
"kind": 1,
"tags": [
[
"e",
"137bf75d6905e5f03c039b5edd4f9f6413d33d0ac5add18db45cb7d26c4f181c",
"wss://relay.mostr.pub",
"reply"
],
[
"proxy",
"https://piaille.fr/users/benjamin/statuses/114210835801759310",
"activitypub"
]
],
"content": "Parce que l'air de rien, après un petit calcul et un bon gros test sur une RTX 3090 24G (prêtée par un client.... enfin empruntée à un client qui n'était pas en prod :) ) \n\nJ'ai déduis que Whisper consomme beaucoup plus en CPU qu'en GPU (je parle de consommation électrique...)\n\n- whisper sur un Ryzen 7 5800X met 59min pour transcrire une vidéo de 24min et consomme 241 W (consomme 241 WattsHeure par heure de transcription... donc 241W en moyenne) \n\n- whisper sur la RTX3090 met 3'29\" (!!) et consomme donc 43 W en moyenne. \n\nDonc on va 17 fois plus vite\net on consomme au final 5.6 fois moins de courant",
"sig": "eb418e0a32607a9fa5c696b5261d26462a2aed343edecc63e83cfa6512bab9f0b9c8ac79067cc6fa07226016c181101683beaef3aa25a780c0b24ee9ef2a336f"
}