Olllama 0.10 accélère les modèles d'IA locaux et présente l'application de bureau
Ollama est une application de ligne de commande pour exécuter localement des modèles d'IA génératifs sur votre propre ordinateur. Une nouvelle mise à jour se déroule avec des améliorations impressionnantes, aux côtés de l'application de bureau d'Olllama pour une utilisation plus facile.
Si vous ne le connaissez pas, Olllama vous permet d'exécuter des modèles d'IA génératifs comme Deepseek-R1, Google's Gemma 3, Meta's Llama 3, Microsoft's Phi 4 et Phi 4 Mini et Llava sur votre propre matériel. Vous pouvez les utiliser dans un contexte de chat, tout comme Chatgpt et d'autres services cloud, ou les connecter aux automatisations et aux scripts pour les opérations par lots.
Olllama version 0.10 a deux fonctionnalités complètement nouvelles. Le premier est le ollla PS Commande, qui vous montre la longueur de contexte de vos modèles chargés, afin que vous puissiez rapidement dire les informations que chaque modèle utilise actuellement. Deuxièmement, lorsque vous utilisez l'API compatible OpenAI pour traiter les images, il prend désormais en charge les images WebP aux côtés d'autres formats comme JPEG et PNG.
Les principaux changements passionnants ici peuvent être les améliorations des performances. Les modèles Gemma 3N, qui sont similaires au modèle Nano Gemini de Google conçu pour les téléphones et les tablettes, ont désormais 2 à 3 fois des performances plus rapides. Si vous utilisez plusieurs GPU pour n'importe quel modèle, vous pouvez vous attendre à des gains de performances de 10 à 30%.
Il y a aussi quelques correctifs de bogues utiles et autres améliorations plus petites, comme le montre le Changelog complet ci-dessous.
- ollla PS montrera maintenant la longueur de contexte des modèles chargés
-
Amélioration des performances dans les modèles GEMMA3N par 2–3x
-
Le traitement parallèle de la demande est désormais par défaut 1. Pour plus de détails, consultez la FAQ
-
Correction du problème où l'appel d'outils ne fonctionnerait pas correctement avec les modèles de granit3.3 et de Mistral-NEMO
-
Correction du problème où l'appel d'outil d'Olllama ne fonctionnerait pas correctement si le nom d'un outil faisait partie d'un autre, comme Add et Get_Address
-
Performances améliorées lors de l'utilisation de plusieurs GPU de 10 à 30%
-
L'API compatible openai d'Olllama prendra désormais en charge les images WebP
-
Correction du problème où spectacle de ollla signalerait une erreur
-
Olllama Run affichera plus gracieusement les erreurs
Il existe également une nouvelle application Olllama Desktop, disponible pour MacOS, Linux ou Windows, vous pouvez donc l'utiliser dans une interface de chat standard sans terminal. Il y a eu de nombreuses applications frontales construites autour d'Olllama pour servir ce but, comme Open Webui et Macllama, il est donc intéressant de voir le projet lui-même essayer d'en faire un. L'interface est simple et facile à comprendre, et elle prend en charge les entrées et la bassesse multimodales.
L'un des développeurs d'Olllama a déclaré dans un commentaire des hackers: «Nous sommes tous des développeurs nous-mêmes, et nous l'utilisons. En fait, il existe de nombreux prototypes auto-fabriqués avant cela de différentes personnes. Nous étions accrochés, alors nous l'avons construit pour nous-mêmes.»
Vous pouvez télécharger l'application Olllama sur le site Web du projet. La version de la ligne de commande est disponible à partir de référentiels de logiciels comme Homebrew et Docker Hub.
