Mayuraviva 🏳️‍⚧️ on Nostr: nprofile1q…my2tq Personnellement je pense que c'est du côté de la communauté ...

nprofile1qy2hwumn8ghj7un9d3shjtnddaehgu3wwp6kyqpqnzl84yt878kxjqdwzv2v7m655vrw6ks9e7vt6d6jjp64ly2emphqamy2tq (nprofile…y2tq) Personnellement je pense que c'est du côté de la communauté open source qu'il faut regarder. La communauté a beaucoup œuvré pour réduire le coût de l'inférence notamment avec le projet llama.cpp. Projet qui permet de compresser les modèles et de les faire tourner sur le CPU au lieu du GPU.