[I.A] Skynet Resistenza!

Pour discuter sereinement de l'actualité
Avatar de l’utilisateur
Orlov
Dieu d'après le panthéon
Messages : 9279
Inscription : jeu. févr. 20, 2014 10:57 am

Re: [I.A] Skynet Resistenza!

Message par Orlov »

L'article cité est intéressant mais porté sur des papiers académiques. Je ne sais pas à quel point c'est utile pour d'autres formes d'écrit.
En tous cas, j'ai appris ça :
The Pangram AI detection tool operates differently from Turnitin’s AI detection tool. According to the tool’s technical documentation, Pangram was trained on approximately 28 million human-authored documents drawn from open-source datasets (Emi and Spero 2024). The aim is the same as Turnitin’s GenAI detection tool; to recognise human-written text and AI-generated text by LLMs. A feature of Pangram’s approach is the use of a “mirror prompt” technique. For each human-written text in their training data, they created a customised prompt to generate an AI version of that exact text, matching it in terms of topic, tone, style, and length. This approach is called “syntactic mirror” and creates AI-generated versions of human text that look almost the same in structure, style and flow. This makes it harder for the model to rely on obvious signs of GenAI writing and instead trains it to notice smaller, more subtle differences. An example concerns how sentences are built, which linking words are used, and how varied the writing is. By doing so, it pushes the model to look past metrics like perplexity or burstiness. Subsequently, Pangram employs another technique known as “hard negative mining”. In this process, the model searches for “difficult cases“ where it misclassified text or where the difference between human and GenAI writing was minimal. They used these cases to train the data further and identify the differences between GenAI and human writing. Pangram supports multilingual detection (Emi and Spero 2024).
Cryoban a écrit : Le vrai problème c'est les gens.

Florentbzh a écrit : J'avoue ne pas bien comprendre ce qu'on peut jouer, mais si cela existe c'est qu'il doit bien y avoir une raison.

Mildendo a écrit : Faire du Jdr c'est prendre une voix bizarre et lancer des dés en racontant qu'on tue des gobs.
Avatar de l’utilisateur
cdang
Dieu d'après le panthéon
Messages : 8218
Inscription : jeu. avr. 30, 2015 10:23 am
Localisation : Le Havre (Choisy-le-Roi, Saint-Étienne, La Rochelle)

Re: [I.A] Skynet Resistenza!

Message par cdang »

Après, il est fréquent qu'après un test, l'équipe patche le système pour qu'il se comporte bien. Donc un test fait le jour J ne donnera pas le même résultat à J+1.

Mais je n'ai à titre personnel pas d'avis sur la question.
--
Vous êtes mort
[2 points CLETCSOOEF]
Skippy63
Initié
Messages : 173
Inscription : mer. sept. 27, 2006 11:11 pm
Localisation : Clermont-ferrand (63)
Contact :

Re: [I.A] Skynet Resistenza!

Message par Skippy63 »

Je suis rédacteur des débats. Concrètement, je rédige des comptes rendus et des procès-verbaux de CSE et de CSSCT à partir d’enregistrements de réunions, soit sous forme de synthèse, soit en retranscription in extenso.
Par curiosité, j’ai anonymisé un procès-verbal synthétique d’une vingtaine de pages que j’avais entièrement rédigé moi-même, avec mes petits doigts sur mon clavier :geek , puis je l’ai passé dans sept détecteurs d’IA, tous en version gratuite. Résultats :

  • 100 % humain à deux reprises, dont avec Pangram ;
  • 87 % humain ;
  • 72 % humain ;
  • 50 % humain ;
  • 33 % humain ;
  • 13 % humain.
Donc, pour exactement le même texte, entièrement écrit par un humain, je peux être considéré comme parfaitement humain par un détecteur et quasiment comme une IA par un autre. Autant lancer un dé pour connaître le résultat. Ça tombe bien, je suis rôliste. :yes:
Dans mes rédactions, j’utilise pas mal de mots de transition comme « en outre », « par ailleurs » ou « néanmoins ». J’emploie aussi des formulations qui permettent d’enchaîner les idées, des tirets d’incise, des phrases plutôt courtes. Je mets en général mes virgules au bon endroit et, forcément, j’essaie de ne pas faire de fautes, y compris avec les participes passés un peu tordus, même s’il m’arrive de vérifier avec un correcteur quand j’ai un doute.
Mon style est aussi assez neutre, mais ce n’est pas vraiment un choix esthétique : c’est lié au fait que quand je rédige les débats d’un CSE ou d’une CSSCT, je dois restituer les propos le plus fidèlement possible, sans prendre parti ni pour l’employeur ni pour les élus.
Or, beaucoup de ces caractéristiques — les transitions, la syntaxe régulière, les phrases structurées, la ponctuation correcte, le ton neutre — sont précisément celles que certains détecteurs semblent considérer comme des signes d’un texte généré par une IA. En somme, plus on écrit proprement et de façon professionnelle, plus on risque parfois d’être soupçonné d’être une machine :lol:
"la raison, c'est l'intelligence en exercice. L'imagination, c'est l'intelligence en érection" (V. HUGO)
Avatar de l’utilisateur
Qui Revient de Loin
Dieu qui a failli y rester
Messages : 15988
Inscription : sam. mars 02, 2013 1:20 pm
Localisation : Nothing Gulch
Contact :

Re: [I.A] Skynet Resistenza!

Message par Qui Revient de Loin »

T'es sur que t'es pas un Cylon ?
Dieu qui a failli y rester | Teams Panthéon & Bienvenue
Le blog de mes voyages imaginaires: http://qui.revient.de.loin.blog.free.fr/
Mon Itchio
Mémoire de rôlistes : le patrimoine du jeu de rôle se construit aujourd'hui

Contributeur au Grog
Skippy63
Initié
Messages : 173
Inscription : mer. sept. 27, 2006 11:11 pm
Localisation : Clermont-ferrand (63)
Contact :

Re: [I.A] Skynet Resistenza!

Message par Skippy63 »

Ce serait drôle en effet  😄
"la raison, c'est l'intelligence en exercice. L'imagination, c'est l'intelligence en érection" (V. HUGO)
Avatar de l’utilisateur
Qui Revient de Loin
Dieu qui a failli y rester
Messages : 15988
Inscription : sam. mars 02, 2013 1:20 pm
Localisation : Nothing Gulch
Contact :

Re: [I.A] Skynet Resistenza!

Message par Qui Revient de Loin »

Plus sérieusement, j'ai eu une activité proche de la tienne, et moi aussi je rédige comme ça : incise, tiret quadratin, articulation des phrases, etc.

Et quand on m'a dit que les IA écrivaient comme ça, ça m'a fait chier.
Dieu qui a failli y rester | Teams Panthéon & Bienvenue
Le blog de mes voyages imaginaires: http://qui.revient.de.loin.blog.free.fr/
Mon Itchio
Mémoire de rôlistes : le patrimoine du jeu de rôle se construit aujourd'hui

Contributeur au Grog
Avatar de l’utilisateur
Morningkill
Dieu d'après le panthéon
Messages : 4409
Inscription : mar. août 03, 2004 2:09 pm
Localisation : Bassens / Bordeaux

Re: [I.A] Skynet Resistenza!

Message par Morningkill »

Skippy63 a écrit : ↑lun. sept. 28, 2026 8:09 pmmes petits doigts sur mon clavier [/size] :geek , puis je l’ai passé dans sept détecteurs d’IA, tous en version gratuite. Résultats :[/font]
  • 100 % humain à deux reprises, dont avec Pangram ;
  • 87 % humain ;
  • 72 % humain ;
  • 50 % humain ;
  • 33 % humain ;
  • 13 % humain.
Incroyable des outils différents ne donnent pas le même résultat.....

C4est comme s'il y en avait des meilleurs que d'autre dis donc.
Rosco
Dieu d'après le panthéon
Messages : 9281
Inscription : dim. avr. 30, 2017 10:23 am

Re: [I.A] Skynet Resistenza!

Message par Rosco »

Attention à ne pas devenir un clou
Gork est « brutal mè ruzé » et son frère Mork est « ruzé mè brutal »

‘If in doubt, serve more ale.’
— First lesson of the rites of healing
Skippy63
Initié
Messages : 173
Inscription : mer. sept. 27, 2006 11:11 pm
Localisation : Clermont-ferrand (63)
Contact :

Re: [I.A] Skynet Resistenza!

Message par Skippy63 »

Morningkill a écrit : ↑lun. sept. 28, 2026 8:47 pm
Skippy63 a écrit : ↑lun. sept. 28, 2026 8:09 pm mes petits doigts sur mon clavier [/size] :geek , puis je l’ai passé dans sept détecteurs d’IA, tous en version gratuite. Résultats :[/font]
  • 100 % humain à deux reprises, dont avec Pangram ;
  • 87 % humain ;
  • 72 % humain ;
  • 50 % humain ;
  • 33 % humain ;
  • 13 % humain.
Incroyable des outils différents ne donnent pas le même résultat.....

C4est comme s'il y en avait des meilleurs que d'autre dis donc.
C'est fou hein ?
 
"la raison, c'est l'intelligence en exercice. L'imagination, c'est l'intelligence en érection" (V. HUGO)
Avatar de l’utilisateur
Morningkill
Dieu d'après le panthéon
Messages : 4409
Inscription : mar. août 03, 2004 2:09 pm
Localisation : Bassens / Bordeaux

Re: [I.A] Skynet Resistenza!

Message par Morningkill »

Skippy63 a écrit : ↑lun. sept. 28, 2026 10:38 pm C'est fou hein ? 
Non, le plus fou c'est que ca semble etre un bon argument pour toi..

Prend le (les , tu en parles de 2) meilleurs detecteurs, mets dix textes humaines dedans, et la si t'as des résultats aussi panachés, ok, t'auras prouvé un truc interessant pour le débat en cours.
Avatar de l’utilisateur
Vorghyrn
Dieu des gargarismes
Messages : 9196
Inscription : jeu. févr. 03, 2011 12:00 pm
Localisation : statistiquement entre Paris et la Vendée
Contact :

Re: [I.A] Skynet Resistenza!

Message par Vorghyrn »

on voit passer énormément de gens qui ont testé ci ou ça et en tire des conclusions de performances très variables et un peu rapides.

Tester un programme c'est comme tester une hypothèse scientifique : il faut un protocole, des contrôles positifs, des contrôles négatifs, des métriques d'évaluation (avec des seuils d'appréciation), suffisamment de répétitions pour que ça soit significatif, une connaissance des biais (ou plus de jeu de données, pour tester certains biais) afin d'évaluer le système dans des conditions réalistes (paramétrage, conditions d'utilisation conforme à la revendication du concepteur...).

Bref, c'est pas un truc qui s'improvise sur un coin de table. Dans un environnement sérieux, c'est une tâche qui peut occuper un expert pendant plusieurs jours à temps plein. 

 
"la bêtise naturelle bat l'intelligence artificielle à tous les coups" (Terry Pratchett)
 
Avatar de l’utilisateur
Qui Revient de Loin
Dieu qui a failli y rester
Messages : 15988
Inscription : sam. mars 02, 2013 1:20 pm
Localisation : Nothing Gulch
Contact :

Re: [I.A] Skynet Resistenza!

Message par Qui Revient de Loin »

Oui, mais les-dits logiciels de détection d'IA sont à disposition du grand public en ligne et promettent, ils me semblent, une réponse. Ils disent qu'ils sont en bêta et qu'ils ont une méga incertitude ? Sinon, comment reprocher aux gens de prendre leurs réponses pour argent comptant ?
Dieu qui a failli y rester | Teams Panthéon & Bienvenue
Le blog de mes voyages imaginaires: http://qui.revient.de.loin.blog.free.fr/
Mon Itchio
Mémoire de rôlistes : le patrimoine du jeu de rôle se construit aujourd'hui

Contributeur au Grog
Avatar de l’utilisateur
Kandjar
Envoyé de la Source
Messages : 11448
Inscription : sam. févr. 05, 2005 9:32 pm
Localisation : Petit mouroir tout gris entre l'Allemagne et la vie

Re: [I.A] Skynet Resistenza!

Message par Kandjar »

À nous de savoir exercer notre esprit critique.
Activement, chaque fois que l'occasion se présente, même et surtout quand la réponse donnée nous confirme ce qu'on croit déjà savoir.

Douter, se tromper, se faire tromper, reconnaître quand c'est arrivé, connaître les principaux biais et grands principes d'hygiène mentale et les appliquer.
Dieu des mecs un peu trop naïfs
dK synergique for ever
ImageImageImageImageImageImage
Avatar de l’utilisateur
Deimoss
Dieu des spaces marines
Messages : 10043
Inscription : mar. sept. 18, 2007 9:27 am

Re: [I.A] Skynet Resistenza!

Message par Deimoss »

Kandjar a écrit : ↑mar. sept. 29, 2026 6:04 am À nous de savoir exercer notre esprit critique.
Activement, chaque fois que l'occasion se présente, même et surtout quand la réponse donnée nous confirme ce qu'on croit déjà savoir.

Douter, se tromper, se faire tromper, reconnaître quand c'est arrivé, connaître les principaux biais et grands principes d'hygiène mentale et les appliquer.
Et faire en sorte de transmettre ça dès le plus jeune âge pour outiller nos mômes qui sinon se trouvent bien dépourvu pour gérer ces choses là. J'ai eu ma première discussion IA avec ma nièce de 12 ans justement à propos de l'usage de l'IA hier après midi, se servant de chat gpt pour un exercice de math qu'elle n'avait pas compris et pour lequel, le llm lui a fourni la réponse et même un raisonnement qui se tient, bien expliqué et tout, et pour le coup c'était juste. Mais comme elle ne pouvait pas en juger, j'ai dû lui rappeler qu'un IA peut se tromper et que de recopier bêtement ce qu'elle produit ne va pas l'aider, mais lui savonner la planche en mettant en pause sa cafetière et la rendant toujours plus dépendante de résultats se payant le "luxe" d'être aléatoire et elle de ne pas pouvoir le savoir parce qu'elle n'a pas fait l'effort d'apprendre.

Et dans sa classe y en a apparemment un bon paquet qui font faire leurs devoirs à la maison par un llm, certains ont les parents qui ont pris des comptes payants pour leurs gosses... Est ce qu'ils ont au moins conscience que ce n'est pas un prof particulier qu'ils paient?
La mort, c'est quand t'as plus de pièces de rechange.
Avatar de l’utilisateur
Kandjar
Envoyé de la Source
Messages : 11448
Inscription : sam. févr. 05, 2005 9:32 pm
Localisation : Petit mouroir tout gris entre l'Allemagne et la vie

Re: [I.A] Skynet Resistenza!

Message par Kandjar »

Oui faut transmettre aux gosses, mais j'avoue en avoir un peu ras la cafetière (rien contre toi) de cette litanie. Et pourtant, transmettre aux gosses c'est une grande partie de mon boulot et c'est ma vocation première.

Mais on fait un atelier écologique, "il faut faire ça dans les écoles hein !" (j'y ai eu droit samedi dernier), on parle d'esprit critique ou d'éducation aux médias, "faut transmettre aux gosses" (encore une fois, rien de personnel, je recrache un trop plein)... mais les gosses on peut aussi un peu les laisser être des gosses, non ? "mais ce sont les adultes de demain..."
Et les adultes d'aujourd'hui, à quel moment ils agissent, prennent leurs responsabilités ou montrent l'exemple ?
Ce sont eux qui ont le pouvoir financier, le pouvoir politique, le pouvoir décisionnel, mais "on est conditionné, c'est trop tard pour faire changer nos habitudes, c'est difficile de renoncer à tout ça..."

Alors ouais, faut transmettre aux gosses. Par l'exemple. Le mimétisme ça marche du tonnerre, bien mieux que toutes les explications du monde, parce qu'on est une espèce de singes, pas des intelligences désincarnées.
Pour un.e gosse qui fait faire ses devoirs de maths par un LLM, combien d'adultes s'en servent pour faire une affiche jaune pisseux, dérouler du code informatique qui servira à optimiser un autre bullshit job, écrire un Goncourt, rédiger un email, trouver une idée originale de mot à inscrire sur une carte d'anniversaire, claquer 10 noms de PNJ pour en choisir un... Les gosses le voient ça, et ils font pareil.
Je ne vois pas comment on peut attendre d'eux une discipline qu'on n'est pas foutu d'appliquer à nous-mêmes.
Dieu des mecs un peu trop naïfs
dK synergique for ever
ImageImageImageImageImageImage
Répondre