Courir de profondeur localement sur mon MacBook est choquant bon

Sommaire

Toggle

Résumé

• LM Studio offre une méthode facile pour exécuter des modèles Deepseek sur un MacBook.

• La capacité à exécuter des modèles profonds plus grands dépend des spécifications de votre Mac, en particulier de sa capacité RAM.

• Bien que les modèles Deepseek puissent ne pas correspondre à Chatgpt en intelligence, ils sont toujours intelligents et utiles pour les tâches quotidiennes.

Deepseek est une nouvelle IA de Chine qui a été la cause de tout un tollé dans l'industrie et le marché de l'IA. Bien que la majeure partie de l'attention soit allée au grand modèle de battement de chatpt, il existe divers modèles Deepseek qui fonctionneront sur un ordinateur ordinaire, et sur mon Mac, les résultats sont impressionnants.

Comment faire fonctionner Deepseek sur un Mac

Il y a deux façons de faire fonctionner Deepseek sur votre Mac – Molla (avec une interface Docker) ou LM Studio. J'ai essayé les deux, mais la méthode LM Studio est de loin la plus facile.

Tout d'abord, rendez-vous sur le site de téléchargement du studio LM et téléchargez et installez l'application. Ensuite, exécutez-le. Vous verrez cet écran d'intégration la première fois que vous exécutez l'application. Dans ce cas, on nous a proposé un modèle Deepseek avec des paramètres 7B, et c'est un bon point de départ. Cependant, je veux exécuter un modèle plus grand, donc pour l'instant, nous choisirons « Skip Inboard ».

Puisque nous n'avons pas de modèles chargés, tapez « Deepseek » dans la zone de recherche en haut de la fenêtre du studio LM et appuyez sur Entrée.

J'ai recherché « Deepseek 14b » qui est le plus grand modèle que mon MacBook peut raisonnablement exécuter. Vous aurez un certain nombre d'options, dont beaucoup ont été réglées par la communauté. Choisissez ce que vous aimez et cliquez sur « Télécharger ».

Une fois le modèle terminé son téléchargement, cliquez sur la barre de recherche en haut de la fenêtre LM Studio et vous verrez les modèles que vous avez téléchargés.

Après l'avoir sélectionné, vous verrez les paramètres du modèle. Pour l'instant, allez simplement avec les paramètres par défaut. Cliquez sur « Charger le modèle » et nous sommes prêts à commencer à poser la question LLM.

Mes spécifications Mac

L'obtention de l'un des modèles Deepseek fonctionne à des vitesses utilisables dépend des spécifications de votre MacBook. Dans mon cas, j'utilise un M4 MacBook Pro, avec une puce M4 Pro et 24 Go de RAM. Le nombre de RAM est crucial, car l'ensemble du modèle doit s'adapter à votre mémoire GPU pour fonctionner correctement, ou du moins à des vitesses utilisables.

C'est pourquoi je peux exécuter le modèle 14B, car il s'intègre facilement dans les 24 Go de RAM disponibles, mais si vous utilisez un Mac de 8 Go, vous êtes limité aux modèles 7b ou plus petits, et même alors les choses peuvent ne pas fonctionner aussi bien. Bien sûr, il n'y a pas de mal à essayer un modèle sur votre Mac. Le pire qui puisse arriver, c'est que cela ne fonctionnera pas bien ou pas du tout, mais cela pourrait toujours être assez bon pour vos besoins.

Comparaison Deepseek 14b avec Chatgpt O3 Mini

Alors, comment cela fonctionne-t-il? La façon la plus simple de vous donner une idée est de donner les mêmes invites à Deepseek 14B en cours d'exécution sur mon Mac et Chatgpt O3 Mini.

Voici la première invite:

Écrivez une courte lettre de motivation en tant que Mickey Mouse postulant pour un emploi dans une usine de Mousetrap.

Voici les résultats.

Les deux modèles ont créé des résultats convaincants et grammaticalement corrects, mais 03 Mini a clairement fait un bien meilleur travail lorsqu'il s'agit d'incarner le personnage de Mickey Mouse.

Ensuite, j'ai demandé:

Expliquez-moi l'énergie solaire au niveau de la 5e année.

Les résultats sont à la fois décents, mais la version O3 Mini est mieux écrite, à mon avis.

Nous pourrions le faire toute la journée, et je l'ai! Mon impression globale est que ce modèle 14B, du moins, est à peu près aussi bon que Chatgpt lors de sa publication pour la première fois.

Cependant, par rapport à O3 Mini, ce n'est clairement pas aussi intelligent. Cependantc'est plus que suffisamment intelligent pour faire tout ce que j'étais heureux de demander au chatppt original de faire, et considérant qu'il fonctionne localement sur mon petit ordinateur portable, c'est un énorme sauter en avant. Même si cela prend dix fois plus de temps pour répondre à mes questions, c'est toujours moins d'une minute dans la plupart des cas. Bien sûr, vos spécifications GPU affecteront cette manière ou une autre.

Certaines choses à garder à l'esprit

Maintenant, alors que j'encourage quiconque à essayer la version locale de Deepseek, qui n'enregistre pas vos données privées sur des serveurs quelque part en Chine, il y a certaines choses à garder à l'esprit.

Tout d'abord, soyez conscient du modèle que vous utilisez. Il existe déjà de nombreuses versions modifiées de Deepseek et certaines vont être meilleures ou pires à vos fins. Deuxièmement, le modèle en profondeur complet qui est en fait La concurrence avec les meilleurs modèles ChatGpt est un monstre 671b qui a besoin d'un énorme système informatique avec des centaines de SG de RAM pour fonctionner. Ces petits modèles 7b et 14b sont loin d'être aussi intelligents, et sont donc plus susceptibles de générer des absurdités.

Il existe de nombreuses raisons de gérer l'un de ces LLM localement, mais ne tombez pas dans le piège de penser que, parce que les versions en ligne sont intelligentes et précises, ces modèles plus petits seront presque aussi bons. Pourtant, c'est plus qu'une simple curiosité. Pour ma part, je quitterai Deepseek sur mon Mac, car même si c'est dix fois plus lent et dix fois moins intelligent que le meilleur de ces AIS du centre de données, c'est toujours très intelligent pour ce que la plupart des gens ont besoin d'un LLM pour faire.