This deep learning course provides a comprehensive introduction to attention mechanisms and transformer models the foundation of modern GenAI systems. Begin by exploring the shift from traditional neural networks to attention-based architectures. Understand how additive, multiplicative, and self-attention improve model accuracy in NLP and vision tasks. Dive into the mechanics of self-attention and how it powers models like GPT and BERT. Progress to mastering multi-head attention and transformer components, and explore their role in advanced text and image generation. Gain real-world insights through demos featuring GPT, DALL·E, LLaMa, and BERT.
Attention Mechanisms and Transformer Models Course
Obtenez un aperçu d'un sujet et apprenez les principes fondamentaux.
niveau Débutant
Expérience recommandée
4 heures à compléter
Planning flexible
Apprenez à votre propre rythme
Ce que vous apprendrez
Apply self-attention and multi-head attention in deep learning models
Understand transformer architecture and its key components
Explore the role of attention in powering models like GPT and BERT
Analyze real-world GenAI applications in NLP and image generation
Compétences que vous acquerrez
- Catégorie : Deep Learning
- Catégorie : Natural Language Processing
- Catégorie : Generative AI
- Catégorie : PyTorch (Machine Learning Library)
- Catégorie : ChatGPT
- Catégorie : Tensorflow
- Catégorie : Artificial Neural Networks
- Catégorie : Artificial Intelligence and Machine Learning (AI/ML)
- Catégorie : OpenAI
- Catégorie : Large Language Modeling
- Catégorie : Machine Learning Methods
Détails à connaître
Certificat partageable
Ajouter à votre profil LinkedIn
Récemment mis à jour !
juin 2025
Évaluations
7 devoirs
Enseigné en Anglais
Découvrez comment les employés des entreprises prestigieuses maîtrisent des compétences recherchées
Il y a 2 modules dans ce cours
Explore the power of attention mechanisms in modern deep learning. Compare traditional neural architectures with attention-based models to see how additive, multiplicative, and self-attention boost accuracy in NLP and vision tasks. Grasp the core math and flow of self-attention, the engine behind Transformer giants like GPT and BERT and build a solid base for advanced AI development.
Inclus
10 vidéos1 lecture3 devoirs
Master multi-head attention and transformer models in this advanced module. Learn how multi-head attention improves context understanding and powers leading transformer architectures. Explore transformer components, text and image generation workflows, and real-world use cases with models like GPT, BERT, LLaMa, and DALL·E. Ideal for building GenAI-powered applications.
Inclus
11 vidéos4 devoirs
Obtenez un certificat professionnel
Ajoutez ce titre à votre profil LinkedIn, à votre curriculum vitae ou à votre CV. Partagez-le sur les médias sociaux et dans votre évaluation des performances.
Instructeur
Offert par
Pour quelles raisons les étudiants sur Coursera nous choisissent-ils pour leur carrière ?
Felipe M.
Étudiant(e) depuis 2018
’Pouvoir suivre des cours à mon rythme à été une expérience extraordinaire. Je peux apprendre chaque fois que mon emploi du temps me le permet et en fonction de mon humeur.’
Jennifer J.
Étudiant(e) depuis 2020
’J'ai directement appliqué les concepts et les compétences que j'ai appris de mes cours à un nouveau projet passionnant au travail.’
Larry W.
Étudiant(e) depuis 2021
’Lorsque j'ai besoin de cours sur des sujets que mon université ne propose pas, Coursera est l'un des meilleurs endroits où se rendre.’
Chaitanya A.
’Apprendre, ce n'est pas seulement s'améliorer dans son travail : c'est bien plus que cela. Coursera me permet d'apprendre sans limites.’
Ouvrez de nouvelles portes avec Coursera Plus
Accès illimité à 10,000+ cours de niveau international, projets pratiques et programmes de certification prêts à l'emploi - tous inclus dans votre abonnement.
Faites progresser votre carrière avec un diplôme en ligne
Obtenez un diplôme auprès d’universités de renommée mondiale - 100 % en ligne
Rejoignez plus de 3 400 entreprises mondiales qui ont choisi Coursera pour les affaires
Améliorez les compétences de vos employés pour exceller dans l’économie numérique
Foire Aux Questions
The attention mechanism allows transformer models to focus on relevant parts of input sequences, weighing relationships between tokens to improve context understanding and accuracy in tasks like translation or text generation.
Yes, ChatGPT is built on the transformer architecture, specifically using a variant of the GPT (Generative Pre-trained Transformer) model, which enables it to generate human-like responses.
The Vision Transformer (ViT) applies self-attention to image patches instead of pixels, enabling the model to capture spatial relationships and global context for accurate image classification and understanding.
Plus de questions
Aide financière disponible,