language:fr;Premier épisode de 5 minutes;1 papier! Les 3 dernières années de recherche en traitement du langage naturel (NLP) ont été caractérisées par le développement et déploiement de modèles de langage (LM) toujours plus grands. BERT;ses variantes;GPT-2/3 et autres;Switch-C;ont repoussé les limites du possible à la fois par des innovations architecturales et par la taille. En utilisant ces modèles pré-entraînés et la méthodologie pour les fine-tuner pour des tâches spécifiques;les chercheurs ont étendu l'état de l'art sur un large éventail de tâches mesurées par des classements. Dans cet article;les auteurs proposent de prendre du recul et de poser les questions suivantes : - Un LM peut-il être trop grand? Quels sont les risques possibles associés à ce technologie et quelles sont les voies disponibles pour atténuer ces risques ? Ils fournissent des recommandations;sur les coûts environnementaux et financiers d'abord;en investissant des ressources dans la conservation et documenter soigneuse des ensembles de données plutôt que de tout ingérer par exploration du web;en réalisant des exercices de pré-développement évaluant comment l'approche envisagée s'inscrit dans les objectifs de recherche et développement et de soutient aux valeurs des parties prenantes;et en encourage les directions de recherche au-delà de modèles de langage toujours plus grands. Merci de liker et de commenter la vidéo avec vos créations et j'en sélectionnerai pour mes prochaines vidéos. N'hésitez pas à me taguer sur Instagram et Twitter. #stablediffusion #aiart #gpt #gpt3 #gpt4 #chatgpt -------------------------------------- L'article: https://dl.acm.org/doi/pdf/10.1145/3442188.3445922 Évaluation du coût environnementaux des LLMs: - Energy and Policy Considerations for Deep Learning in NLP_ https://aclanthology.org/P19-1355.pdf - Attention is All You Need: https://arxiv.org/pdf/1706.03762.pdf - GreenAI: https://cacm.acm.org/magazines/2020/12/248800-green-ai/fulltext Sur les associations de stéréotypes des LLMs: - Evaluating the Underlying Gender Bias in Contextualized Word Embeddings: https://arxiv.org/pdf/1904.08783.pdf - Demarginalizing the Intersection of Race and Sex: A Black Feminist Critique of Antidiscrimination Doctrine;Feminist Theory and Antiracist Politics: https://chicagounbound.uchicago.edu/cgi/viewcontent.cgi?article=1052&context=uclf Sur l'intersectionalité: - Detecting Emergent Intersectional Biases: Contextualized Word Embeddings Contain a Distribution of Human-like Biases: https://arxiv.org/pdf/2006.03955.pdf Sur la compréhension du langage naturel: - Probing Neural Network Comprehension of Natural Language Arguments: https://aclanthology.org/P19-1459.pdf - Adversarial Filters of Dataset Biases: https://arxiv.org/pdf/2002.04108.pdf BERTologie: - A Primer in BERTology: What We Know About How BERT Works: https://arxiv.org/pdf/2002.12327.pdf - BERT Rediscovers the Classical NLP Pipeline: https://arxiv.org/pdf/1905.05950.pdf Sur les capacités des modèles récents: - Reflexion: an autonomous agent with dynamic memory and self-reflection: https://arxiv.org/pdf/2303.11366.pdf - Self-Refine: Iterative Refinement with Self-Feedback.: https://arxiv.org/pdf/2303.17651.pdf - Large language models can self-improve: https://arxiv.org/pdf/2210.11610.pdf -------------------------------------- Découvre Midjourney: https://youtu.be/u4OM2o3miZQ Découvre Stable Diffusion: https://youtu.be/vSONCmk5vVU Crée des animations avec Deforum: https://youtu.be/vSONCmk5vVU Entraîne un modèle avec tes propres images: https://youtu.be/yOwogL5fBB0 Crée tes personnages avec Stable Diffusion et Open Pose: https://youtu.be/Uz1FAGimbk0 -------------------------------------- La chaîne Artificialis: https://www.youtube.com/channel/UCbvAobvBdTDx042ad8AcM-Q La chaîne Artificialis Code: https://www.youtube.com/channel/UCo6Ao4dYuCL3J-fAeVsbKLQ Fais vivre la chaîne : ✔ Via Tipeee: https://en.tipeee.com/artificialis ✔ Via Patreon: https://www.patreon.com/artificialis Interagis avec moi : ✔ Via GitHub : https://github.com/artificialis ✔ Via Twitter : https://twitter.com/Artificialis1 ✔ Via Facebook : https://www.facebook.com/the.artificialis ✔ Via Instagram : https://www.instagram.com/the.artificialis/ ✔ Via Tik Tok : https://www.tiktok.com/@the.artificialis Rejoins le Discord ! https://discord.gg/EFW5mMzPDe;Science & Technology
Book Details
...
Download learning
video(s) to your Internet-in-a-Box
Description:
language:fr;Premier épisode de 5 minutes;1 papier! Les 3 dernières années de recherche en traitement du langage naturel (NLP) ont été caractérisées par le développement et déploiement de modèles de langage (LM) toujours plus grands. BERT;ses variantes;GPT-2/3 et autres;Switch-C;ont repoussé les limites du possible à la fois par des innovations architecturales et par la taille. En utilisant ces modèles pré-entraînés et la méthodologie pour les fine-tuner pour des tâches spécifiques;les chercheurs ont étendu l'état de l'art sur un large éventail de tâches mesurées par des classements. Dans cet article;les auteurs proposent de prendre du recul et de poser les questions suivantes : - Un LM peut-il être trop grand? Quels sont les risques possibles associés à ce technologie et quelles sont les voies disponibles pour atténuer ces risques ? Ils fournissent des recommandations;sur les coûts environnementaux et financiers d'abord;en investissant des ressources dans la conservation et documenter soigneuse des ensembles de données plutôt que de tout ingérer par exploration du web;en réalisant des exercices de pré-développement évaluant comment l'approche envisagée s'inscrit dans les objectifs de recherche et développement et de soutient aux valeurs des parties prenantes;et en encourage les directions de recherche au-delà de modèles de langage toujours plus grands. Merci de liker et de commenter la vidéo avec vos créations et j'en sélectionnerai pour mes prochaines vidéos. N'hésitez pas à me taguer sur Instagram et Twitter. #stablediffusion #aiart #gpt #gpt3 #gpt4 #chatgpt -------------------------------------- L'article: https://dl.acm.org/doi/pdf/10.1145/3442188.3445922 Évaluation du coût environnementaux des LLMs: - Energy and Policy Considerations for Deep Learning in NLP_ https://aclanthology.org/P19-1355.pdf - Attention is All You Need: https://arxiv.org/pdf/1706.03762.pdf - GreenAI: https://cacm.acm.org/magazines/2020/12/248800-green-ai/fulltext Sur les associations de stéréotypes des LLMs: - Evaluating the Underlying Gender Bias in Contextualized Word Embeddings: https://arxiv.org/pdf/1904.08783.pdf - Demarginalizing the Intersection of Race and Sex: A Black Feminist Critique of Antidiscrimination Doctrine;Feminist Theory and Antiracist Politics: https://chicagounbound.uchicago.edu/cgi/viewcontent.cgi?article=1052&context=uclf Sur l'intersectionalité: - Detecting Emergent Intersectional Biases: Contextualized Word Embeddings Contain a Distribution of Human-like Biases: https://arxiv.org/pdf/2006.03955.pdf Sur la compréhension du langage naturel: - Probing Neural Network Comprehension of Natural Language Arguments: https://aclanthology.org/P19-1459.pdf - Adversarial Filters of Dataset Biases: https://arxiv.org/pdf/2002.04108.pdf BERTologie: - A Primer in BERTology: What We Know About How BERT Works: https://arxiv.org/pdf/2002.12327.pdf - BERT Rediscovers the Classical NLP Pipeline: https://arxiv.org/pdf/1905.05950.pdf Sur les capacités des modèles récents: - Reflexion: an autonomous agent with dynamic memory and self-reflection: https://arxiv.org/pdf/2303.11366.pdf - Self-Refine: Iterative Refinement with Self-Feedback.: https://arxiv.org/pdf/2303.17651.pdf - Large language models can self-improve: https://arxiv.org/pdf/2210.11610.pdf -------------------------------------- Découvre Midjourney: https://youtu.be/u4OM2o3miZQ Découvre Stable Diffusion: https://youtu.be/vSONCmk5vVU Crée des animations avec Deforum: https://youtu.be/vSONCmk5vVU Entraîne un modèle avec tes propres images: https://youtu.be/yOwogL5fBB0 Crée tes personnages avec Stable Diffusion et Open Pose: https://youtu.be/Uz1FAGimbk0 -------------------------------------- La chaîne Artificialis: https://www.youtube.com/channel/UCbvAobvBdTDx042ad8AcM-Q La chaîne Artificialis Code: https://www.youtube.com/channel/UCo6Ao4dYuCL3J-fAeVsbKLQ Fais vivre la chaîne : ✔ Via Tipeee: https://en.tipeee.com/artificialis ✔ Via Patreon: https://www.patreon.com/artificialis Interagis avec moi : ✔ Via GitHub : https://github.com/artificialis ✔ Via Twitter : https://twitter.com/Artificialis1 ✔ Via Facebook : https://www.facebook.com/the.artificialis ✔ Via Instagram : https://www.instagram.com/the.artificialis/ ✔ Via Tik Tok : https://www.tiktok.com/@the.artificialis Rejoins le Discord ! https://discord.gg/EFW5mMzPDe;Science & Technology