Vous pouvez créer un serveur AI auto-hébergé avec LM Studio 0.4.0
LM Studio est l'un des meilleurs outils pour exécuter des modèles d'IA génératifs localement sur votre ordinateur, vous offrant quelque chose de comparable à ChatGPT, Microsoft Copilot ou Google Gemini sans utiliser de services cloud. Désormais, LM Studio 0.4.0 est arrivé avec une interface remaniée et de nouvelles options pour les serveurs auto-hébergés.
Si vous ne l'avez jamais utilisé auparavant, LM Studio est une application de bureau pour Windows, Mac et Linux qui peut exécuter une variété de grands modèles de langage (LLM). Il vous suffit de télécharger le modèle souhaité depuis l'application, tel que GPT-OSS, Meta Llama ou Google Gemma, et LM Studio l'exécutera à l'aide du GPU ou du NPU de votre ordinateur. L'interface par défaut est une fenêtre de discussion comme ChatGPT, mais elle peut également démarrer un serveur qui fonctionne comme les services API d'OpenAI.
LM Studio 0.4.0 a séparé le code principal de l'application de l'interface utilisateur graphique, vous permettant de configurer facilement LM Studio sur un serveur auto-hébergé, ou simplement de l'utiliser dans le terminal sur votre bureau. La fonctionnalité de base se trouve désormais dans l'outil « llmster », et l'application de bureau constitue désormais une couche graphique au-dessus.
Le billet de blog d'annonce expliquait : « Nous avons réorganisé notre logiciel pour séparer l'interface graphique des fonctionnalités de base, permettant à llmster de s'exécuter en tant que démon autonome. Cela signifie que llmster peut être exécuté de manière totalement indépendante de l'application et déployé n'importe où : machines Linux, serveurs cloud, votre plate-forme GPU ou même Google Colabs. Il peut bien sûr toujours être exécuté sur votre machine locale sans l'interface graphique, pour ceux qui préfèrent les flux de travail basés sur un terminal.
LM Studio est un excellent choix sur les ordinateurs de bureau car il est facile à utiliser, tout en vous offrant la possibilité de plonger dans les paramètres et les optimisations si nécessaire. Il existe déjà plusieurs outils permettant d'auto-héberger des modèles d'IA génératifs sur des serveurs (comme Ollama), mais si le nouvel outil llmster ressemble à LM Studio sur les ordinateurs de bureau, il pourrait être la meilleure option pour la plupart des personnes cherchant à exécuter des modèles d'IA.
Il y a cependant encore quelques changements intéressants pour l'application de bureau LM Studio. L'interface a été mise à jour avec « une expérience plus cohérente et plus agréable, et elle devrait toujours être familière à tous ceux qui ont utilisé ChatGPT ou Google Gemini. Elle peut également désormais exporter vos discussions vers des fichiers PDF, Markdown ou texte brut, et il existe un mode d'affichage partagé pour utiliser plusieurs discussions en même temps.
LM Studio utilise le moteur open source llama.cpp pour l'inférence LLM, et LM Studio 0.4.0 le met à niveau vers la version 2.0 de lama.cpp. Cela déverrouille les demandes d'inférence simultanées vers le même modèle, vous permettant d'exécuter plusieurs discussions à la fois avec le même modèle.
Il y a quelques autres améliorations dans cette version. Si vous utilisez le serveur API intégré, il existe un nouveau point de terminaison REST qui vous permet de stocker les ID de réponse des conversations pour les flux de travail en plusieurs étapes. Vous pouvez également démarrer un chat interactif depuis votre terminal avec la commande « lms chat », comme vu ci-dessus. Gardez à l'esprit que ce n'est pas la même chose que le nouveau backend « llmster », il fonctionne sur LM Studio.
Vous pouvez télécharger LM Studio depuis le site officiel pour Windows, macOS et Linux. Les instructions d'installation du backend llmster se trouvent sur le billet de blog d'annonce, lié ci-dessous.
