Le chatbot social chinois de Microsoft, XiaoIce est à présent capable d'interpréter une image et de traduire cette dernière en un poème chinois.
Les scientifiques ont ainsi introduit plusieurs règles. Les mots clés sont extraits de l'image, puis le réseau neuronal est ensuite divisé en deux, une partie qui génère un poème, l'autre qui juge ce dernier. Si la partie qui juge le poème, estime que les règles sont respectées et que le poème est assez bon, il est ainsi validé, puis vérifier par un humain. Si le poème n'est pas assez bien, les paramètres sont peaufinés jusqu'à ce qu'ils soient jugés bons.
Les intelligences artificielles qui génèrent du texte à partir d'une image ou inversement sont de plus en plus nombreuses, comme par exemple celle de Microsoft capable de dessiner des images à partir de légendes. Mais écrire un poème en chinois est une problématique plus complexe, pour les robots comme pour les humains. Un chercheur étudiant la poésie anglaise à l'Université de Durham a expliqué « c'est une chose délicate d'apprendre la poésie et d'écrire des poèmes dans différentes langues. »
Au fil du temps, les règles de la poésie chinoise ont évolué, les chercheurs de Microsoft travaillant sur le projet explique « alors que la poésie chinoise traditionnelle est construite avec des règles et des schémas stricts, la poésie chinoise moderne n'est pas structurée en chinois vernaculaire. Par rapport à la poésie traditionnelle chinoise, bien que la lisibilité des chinois vernaculaires facilite l’accès à la poésie chinoise moderne, les utilisateurs peuvent plus facilement critiquer les erreurs de mots ou de grammaire. Une bonne poésie moderne exige également plus d'imagination et d'utilisations créatives du langage. Dans ces perspectives, il peut être plus difficile de générer un bon poème moderne qu'un poème classique. »
