Un avocat bâtit son propre serveur d'IA
Huit cartes graphiques de 2018, 1 To de mémoire et un modèle d'IA qui tourne sans le nuage : un avocat a monté son propre serveur pour protéger la confidentialité…

Pas question d'envoyer ses dossiers dans le nuage.
Nick Mermiges, avocat en droit de la famille à Columbia, en Caroline du Sud, a assemblé lui-même un serveur d'IA privé pour traiter ses dossiers, rapporte le site technologique Wccftech. Il a détaillé son projet sur le forum Reddit, avant d'y publier une mise à jour le 12 novembre.
Sa motivation : garder les documents confidentiels de ses clients sur son propre matériel, plutôt que de les confier à des services d'IA hébergés dans le nuage. En droit de la famille, ses dossiers regorgent de renseignements intimes et financiers.
Le serveur extrait l'information pertinente des dossiers, résume les documents et produit des premières versions de textes. La relecture humaine reste obligatoire.
Du matériel recyclé
Le montage repose sur huit processeurs graphiques Nvidia Tesla V100 lancés en 2018, achetés d'occasion. L'avocat estime avoir payé environ 4 800 $US pour les deux blocs de quatre cartes, sans compter le reste de la machine.
Il y fait tourner localement une version fortement compressée du modèle chinois DeepSeek. Depuis, il a porté la mémoire vive à 1 téraoctet et ajouté une carte graphique, au prix d'un peu de vitesse pour gagner en fidélité.
Le projet n'a pas été de tout repos : un connecteur d'alimentation brûlé, des erreurs de mémoire et des pannes. Et les pilotes de Nvidia ne prendront bientôt plus en charge ces vieilles cartes.
Le résultat? Selon ses propres estimations, son serveur peut remplacer de 50 à 60 % de ses usages antérieurs des grands modèles de langage.
Latham aussi
L'avocat bricoleur n'est pas seul à vouloir garder l'IA à la maison. En septembre, The American Lawyer révélait que Latham & Watkins achète depuis quelques années ses propres serveurs Nvidia, hébergés dans un centre de données qu'il loue et accessibles à ses seuls employés.
Objectifs : garder la maîtrise des données des clients, réduire la dépendance à un seul fournisseur et mieux prévoir les coûts. Le cabinet continue toutefois d'utiliser les outils d'OpenAI, de Harvey et de Microsoft.
La question de fond est la même au Québec. Une utilisation non supervisée d'outils d'IA publics pourrait compromettre le secret professionnel, alors qu'un usage encadré dans un environnement sécurisé pourrait le préserver, rappelaient en août deux avocats de Cain Lamarre. Le Barreau, qui a publié un guide de bonnes pratiques, plaide pour la prudence.
Encore faut-il rappeler qu'un serveur local ne garantit pas à lui seul la confidentialité : il faut aussi le sécuriser.
Partager cet article: