Les bibliothécaires du droit demandent une amélioration des outils d'analyse après une étude comparative


analyse de données marteau

Au cours des dernières années seulement, les capacités d'analyse de données pour le droit ont explosé, tout comme les offres logicielles fournissant ces analyses. Alors, comment un cabinet d'avocats ou une bibliothèque de droit universitaire décide-t-il entre les plateformes?

Un groupe de bibliothécaires juridiques de l'American Association of Law Libraries (AALL) s'est aventuré à le découvrir avec une étude qui lui était propre. Au lundi «Le marché fédéral et des États de l'analyse des tribunaux – l'acheteur doit-il se méfier? Qu'est-ce qui se passe à l'horizon? », Un groupe de quatre directeurs de bibliothèque de cabinets juridiques a parcouru une salle comble à travers les résultats de l'étude – une qui n'a trouvé aucun gagnant, mais un certain nombre de problèmes et d'améliorations potentielles pour les plates-formes d'analyse actuelles.

Diana Koppang, directrice de la recherche et de l'intelligence économique chez Neal, Gerber & Eisenberg, a expliqué que l'étude analysait sept plateformes axées sur les tribunaux fédéraux: Bloomberg Law, Docket Alarm Analytics Workbench, Docket Navigator, Lex Machina, Lexis Context, Monitor Suite et Westlaw Bord. L'étude comprenait 27 bibliothécaires de cabinets d'avocats et de bibliothèques de droit universitaires, chaque testeur analysant deux plates-formes au cours d'un mois.

Chaque testeur a approché les plates-formes avec un ensemble de 16 questions «du monde réel», développées par un panel de quatre bibliothécaires en collaboration avec des avocats, pour essayer de trouver des réponses. Un exemple est la première question, qui demandait: «Dans combien de cas Irell & Manella a-t-il comparu devant le juge Richard Andrews dans le district du Delaware?» Avec d'autres contraintes de propriété intellectuelle et de dossiers. Ceux-ci peuvent être trouvés sur le site Web de AALL.

Et en parlant de cette première question, la réponse a révélé un problème clé dans la comparaison des outils: il y avait peu de cohérence entre les plateformes. La réponse réelle au problème a été de 13 cas, a expliqué Tanya Livshits, directrice des services de recherche chez Irell & Manella. Dans cet exemple, pas une seule plateforme n'a répondu à 13 cas.

Statistiques gracieuseté de AALL. Photo de Zach Warren / ALM. Résultats avec l'aimable autorisation d'AALL. Photo de Zach Warren / ALM.

Les problèmes avec chacune des plates-formes différaient: Bloomberg avait des problèmes avec les aspects IP de la recherche, Docket Navigator et Lex Machina avaient de faux résultats pour les avocats qui étaient partis, Monitor Suite se concentrait davantage sur les opinions plutôt que sur les dossiers, et Westlaw Edge était automatiquement filtré pour les 100 premiers résultats, dont Irell & Manella ne faisait pas partie.

Cela ne veut pas dire que les programmes d'analyse ne sont pas utiles. En fait, identifier certains cas à l'avance peut être un bon moyen de lancer la recherche. C'est juste que ces plates-formes ne devraient pas être une fin pour la recherche, a déclaré Livshits.

«Cela prouve simplement que même si l'analyse est un excellent point de départ, vous devez approfondir si vous voulez faire quelque chose de précis», a-t-elle expliqué. "Un examen manuel est toujours si nécessaire."

L'étude a également trié les entreprises par fonctionnalité et complexité.

Statistiques gracieuseté de AALL. Photo de Zach Warren / ALM. Résultats avec l'aimable autorisation d'AALL. Photo de Zach Warren / ALM.

Et c'est là que réside le deuxième problème: dans de nombreux cas, les bibliothécaires ont estimé qu'ils ne comparaient pas les pommes aux pommes. Jeremy Sullivan, directeur de l'intelligence concurrentielle et de l'analyse chez DLA Piper, a noté que Context était son go-to pour les témoins experts, tandis que Monitor Suite se concentrait davantage sur l'intelligence concurrentielle, avec un marquage granulaire et des filtres et des listes exhaustifs.

Ces différences expliquent pourquoi les testeurs ne déclareraient pas et ne pourraient pas déclarer qu'une plateforme est meilleure qu'une autre, a déclaré Koppang. «Tout dépend de votre cas d'utilisation; tout dépend de la taille de votre organisation. … Il y a tellement de facteurs que personne ne peut déclarer vainqueur », a-t-elle expliqué.

Kevin Miles, directeur des services de bibliothèque à Norton Rose Fulbright, a accepté, ajoutant: «Ce n'est que notre hypothèse, vous pouvez avoir une idée différente. … Ce que nous essayons de faire ici, c'est que tous les fournisseurs aient des améliorations. Nous n'essayons de brûler personne, nous essayons d'amener les gens à s'améliorer. »

En fin de compte, l'objectif est que les bibliothécaires de droit réunis effectuent leurs propres tests similaires, a déclaré le panel. Koppang a déclaré que ceux qui effectuent un test devraient:

  • Réfléchissez à votre cas d'utilisation (domaine de pratique, utilisateurs clés) avant de décider quoi et comment tester;
  • Enregistrer la date et l'heure de la recherche, ce qui est essentiel pour comparer les résultats;
  • Utilisez des exemples réels;
  • Stratégie de recherche détaillée (plages de dates, mesures prises, ressources externes); et
  • N'oubliez pas de capturer des images et d'exporter des données.

La réalisation de ces tests peut non seulement fournir des informations clés sur la sélection d'une plate-forme, mais également servir un autre objectif: aider les bibliothécaires à comprendre les capacités complètes des plates-formes. "Beaucoup de testeurs m'ont envoyé un e-mail et m'ont dit:" C'est un très bon exercice d'entraînement ", auquel nous n'avons pas vraiment pensé comme ça", a ajouté Koppang.

De même, les testeurs ont offert quelques informations sur les plateformes qu'ils ont testées. Parmi ceux-ci, il y a la flexibilité et le besoin de former ceux qui en forment d'autres. Miles a proposé quelques propositions pour améliorer l'apprentissage, notamment de courtes vidéos supplémentaires sur Vimeo ou Youtube, de courts documents de formation PDF supplémentaires, des recherches prédéfinies avec des boutons ou des cases à cocher pour combiner des fonctionnalités, et la possibilité de survoler des mots spécifiques pour révéler la stratégie de recherche rappels.

Koppang a ajouté: "Ils essaient d'expliquer chaque pièce et module qu'ils ont, et ils sont dépassés."

Le panel a également martelé un point tout au long de la présentation: le besoin de transparence. Compte tenu en particulier des problèmes liés aux recherches spécifiques, tels que ceux de la question 1, les panélistes (et ceux qui posent des questions à l'auditoire) ont réitéré qu'ils devaient connaître les limites de la plate-forme afin d'informer correctement l'avocat.

Si quelque chose se passe mal sans ces informations, Livshits a déclaré: "Vous allez perdre la confiance du bibliothécaire et de l'avocat, et il est difficile de retrouver la confiance de l'avocat."

Enfin, Sullivan a suggéré que pour les petites entreprises, les plates-formes d'analyse peuvent mieux combiner et offrir des fonctionnalités. En particulier, il a souligné les entreprises qui ont déclaré qu'elles n'offraient pas de fonctionnalité, car elle se trouvait sur une «plate-forme sœur».

"Beaucoup d'entre vous se contentent de dire que tout le monde ne peut pas être tout", a déclaré Sullivan. "Eh bien, je dirais que vous n'essayez pas."

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *