checkmymanuscript
Soumettre un articleVérificationsFAQConfidentialitéCommencer
Soumettre un articleVérificationsFAQConfidentialitéCommencer

Votre rapport est prêt

Téléchargez votre rapport PDF

Il comprend l'analyse complète de votre article avec toutes les erreurs trouvées et les suggestions concrètes pour les corriger

Titre

Attention Is All You Need

Date d'analyse

3 nov. 2025

Terminé en

499.56 secondes

Résumé général

Le manuscrit nécessite des révisions substantielles axées sur la clarté, la cohérence et le respect des normes académiques dans plusieurs sections. Les problèmes principaux concernent l'organisation structurelle, l'utilisation des acronymes et l'exhaustivité des métadonnées.

Répartition par sévérité

3

Problèmes critiques

25

Problèmes majeurs

5

Problèmes mineurs

Qualité linguistique

Score linguistique global

A-

Résumé linguistique

Le manuscrit présente un langage académique solide, avec quelques problèmes grammaticaux et syntaxiques mineurs qui n'entravent pas significativement la clarté ou la fluidité d'ensemble.

Évaluations par catégorie

Grammaire et syntaxe

B+

Grammaire et syntaxe globalement correctes, avec des erreurs mineures occasionnelles nécessitant une correction pour une précision accrue.

Clarté et précision

B

Les idées sont communiquées clairement, bien que certaines formulations pourraient être plus précises et moins ambiguës.

Concision

B+

La rédaction est globalement concise, mais certaines instances de verbosité ou de redondance peuvent être davantage affinées.

Ton académique

A

Maintient un ton formel et universitaire cohérent, approprié pour une publication académique.

Cohérence

B+

Globalement cohérent dans la terminologie et la mise en forme, avec des exceptions mineures nécessitant une attention particulière.

Lisibilité et fluidité

B+

Le texte s'enchaîne logiquement avec de bonnes transitions, bien que la variation de la structure des phrases puisse être améliorée.

Points forts

Communication claire et efficace de concepts techniques complexes.

Ton académique approprié et cohérent tout au long du document.

Organisation et structure logiques de l'information.

Axes d'amélioration

Erreurs grammaticales mineures occasionnelles, comme des articles manquants.

Certaines formulations pourraient être plus précises ou moins verbeuses.

Des incohérences mineures dans les références ou la terminologie nécessitent une attention particulière.

Suggestions détaillées

Problèmes critiques (3)

AMÉLIORATION SUGGÉRÉE

Keywords: Transformer architecture; attention mechanism; neural machine translation; sequence transduction; deep learning; parallelization

EXPLICATION

Aucun mot-clé n'a été fourni dans le document. D'après le titre « Attention Is All You Need » et le résumé, l'article introduit l'architecture « Transformer », qui repose uniquement sur des « mécanismes d'attention » et se passe de la récurrence et des convolutions pour les tâches de « transduction de séquences » comme la « traduction automatique neuronale ». Il met en avant une meilleure « parallélisation » et un temps d'entraînement réduit, qui sont des contributions clés en « apprentissage profond ». Ces mots-clés sont donc suggérés pour représenter fidèlement les contributions principales et l'orientation technique de l'article.

TEXTE ORIGINAL

Ashish Vaswani

EXPLICATION

Aucun auteur correspondant n'a été identifié. Veuillez désigner un auteur correspondant.

TEXTE ORIGINAL

The Transformer generalizes well to English constituency parsing (Results are on Section 23 of WSJ)

AMÉLIORATION SUGGÉRÉE

Fig. 1: The Transformer generalizes well to English constituency parsing. Results are shown in Section 23 of the WSJ dataset.

EXPLICATION

Le tableau « tab:parsing-results » doit être cité dans le texte. De plus, clarifiez « WSJ » en tant que jeu de données et ajoutez un numéro de figure et une description à la légende.

Problèmes majeurs (25)

TEXTE ORIGINAL

illia.polosukhin@gmail.com

EXPLICATION

Une adresse e-mail personnelle (@gmail.com) est utilisée. Il est recommandé d'utiliser une adresse e-mail institutionnelle pour les publications académiques afin de garantir une correspondance professionnelle.

TEXTE ORIGINAL

University of Toronto

EXPLICATION

L'affiliation institutionnelle d'Aidan N. Gomez est incomplète. Veuillez ajouter le département, la ville/province et le pays pour compléter l'affiliation.

TEXTE ORIGINAL

Google Research

EXPLICATION

L'affiliation institutionnelle de plusieurs auteurs (Niki Parmar, Jakob Uszkoreit, Llion Jones, Illia Polosukhin) est incomplète. Veuillez ajouter la ville/province et le pays pour chaque affiliation d'auteur afin d'en assurer l'exhaustivité.

TEXTE ORIGINAL

Google Brain

EXPLICATION

L'affiliation institutionnelle « Google Brain » est incomplète pour plusieurs auteurs (Ashish Vaswani, Noam Shazeer, Łukasz Kaiser). Veuillez ajouter la ville, la province et le pays pour compléter l'affiliation.

TEXTE ORIGINAL

In this work, we presented the Transformer, the first sequence transduction model based entirely on attention, replacing the recurrent layers most commonly used in encoder-decoder architectures with multi-headed self-attention.

EXPLICATION

L'acronyme « Transformer » est défini plusieurs fois. Supprimez cette définition redondante (première définition au 5e paragraphe de la section « Introduction » : « In this work we propose the Transformer, a model architecture eschewing recurrence and instead relying entirely on an attention mechanism to draw global dependencies between input and output. »). Remarque : cette définition (« the first sequence transduction model based entirely on attention, replacing the recurrent layers most commonly used in encoder-decoder architectures with multi-headed self-attention ») diffère de la définition initiale. Utilisez une terminologie cohérente.

TEXTE ORIGINAL

Background

EXPLICATION

La section « Background » apparaît avant l'« Introduction ». En règle générale, l'introduction doit poser le cadre et fournir le contexte, suivie si nécessaire d'un contexte plus détaillé. Envisagez de fusionner « Background » avec « Introduction » ou de réorganiser l'ordre si « Background » présente des connaissances fondamentales distinctes de l'énoncé du problème de l'article.

TEXTE ORIGINAL

Model Architecture

EXPLICATION

La section « Model Architecture » détaille les composants du modèle, y compris les mécanismes d'attention. Cependant, il existe une section distincte de premier niveau intitulée « Why Self-Attention ». Le contenu de « Why Self-Attention » pourrait être mieux intégré dans la section « Model Architecture », plus précisément dans la sous-section « Attention », pour fournir une justification et un contexte à l'architecture choisie.

TEXTE ORIGINAL

Training

EXPLICATION

La section « Training » est placée après « Why Self-Attention ». La structure académique standard place généralement « Methods » ou « Experimental Setup » avant « Results ». La section « Training » décrit des aspects de la méthodologie. Envisagez de réorganiser pour placer les sections « Model Architecture » et « Training » ensemble en tant que méthodologie avant la section « Results ».

TEXTE ORIGINAL

Attention Visualizations

EXPLICATION

La section « Attention Visualizations » est actuellement une section de premier niveau sans contenu et apparaît après la « Conclusion ». Les visualisations font généralement partie de la section « Results » ou « Discussion » pour illustrer les résultats. Si ces visualisations sont des résultats clés, elles devraient être intégrées dans la section « Results ». Si elles ont un rôle complémentaire, elles pourraient être déplacées en annexe.

TEXTE ORIGINAL

Many of the attention heads exhibit behaviour that seems related to the structure of the sentence. We give two such examples above, from two different heads from the encoder self-attention at layer 5 of 6. The heads clearly learned to perform different tasks.

AMÉLIORATION SUGGÉRÉE

Fig. 1: Examples of attention heads exhibiting sentence structure-related behavior from the encoder self-attention at layer 5 of 6. The heads learned to perform different tasks.

EXPLICATION

Ajout d'un numéro de figure (Fig. 1) et précision que les exemples proviennent d'une figure. Consolidation des phrases descriptives en une légende plus concise.

TEXTE ORIGINAL

Two attention heads, also in layer 5 of 6, apparently involved in anaphora resolution. Top: Full attentions for head 5. Bottom: Isolated attentions from just the word `its' for attention heads 5 and 6. Note that the attentions are very sharp for this word.

AMÉLIORATION SUGGÉRÉE

Two attention heads, also in layer 5 of 6, apparently involved in anaphora resolution. Top: Full attentions for head 5. Bottom: Isolated attentions from just the word `its' for attention heads 5 and 6. Note that the attentions are very sharp for this word (n=X).

EXPLICATION

Ajout d'informations essentielles manquantes : taille de l'échantillon (n=X) pour les données statistiques.

TEXTE ORIGINAL

The Transformer - model architecture.

AMÉLIORATION SUGGÉRÉE

Fig. 1: The Transformer : model architecture.

EXPLICATION

La figure « fig:model-arch » doit être citée dans le texte. De plus, assurez-vous d'utiliser une terminologie cohérente lors de la définition de l'acronyme « Transformer » et supprimez les définitions redondantes. Pour une meilleure mise en forme de la légende, remplacez le tiret par deux-points.

TEXTE ORIGINAL

Maximum path lengths, per-layer complexity and minimum number of sequential operations for different layer types. $n$ is the sequence length, $d$ is the representation dimension, $k$ is the kernel size of convolutions and $r$ the size of the neighborhood in restricted self-attention.

AMÉLIORATION SUGGÉRÉE

Maximum path lengths, per-layer complexity and minimum number of sequential operations for different layer types. $n$ is the sequence length, $d$ is the representation dimension, $k$ is the kernel size of convolutions and $r$ the size of the neighborhood in restricted self-attention (e.g., Performer).

EXPLICATION

Le tableau « tab:op_complexities » devrait être cité dans le texte. De plus, pour clarifier le contexte de « restricted self-attention », un exemple de type de couche tel que « Performer » peut être ajouté.

TEXTE ORIGINAL

(left) Scaled Dot-Product Attention. (right) Multi-Head Attention consists of several attention layers running in parallel.

AMÉLIORATION SUGGÉRÉE

Fig. 1: (left) Scaled Dot-Product Attention mechanism. (right) Multi-Head Attention mechanism, which consists of several attention layers running in parallel to capture different aspects of the input sequence.

EXPLICATION

La figure « fig:multi-head-att » doit être citée dans le texte. De plus, la légende doit être améliorée pour indiquer explicitement que les deux panneaux représentent des mécanismes et pour fournir plus de contexte sur le Multi-Head Attention, comme son rôle dans la capture de différents aspects de la séquence d'entrée.

TEXTE ORIGINAL

The Transformer achieves better BLEU scores than previous state-of-the-art models on the English-to-German and English-to-French newstest2014 tests at a fraction of the training cost.

AMÉLIORATION SUGGÉRÉE

The Transformer achieves better BLEU scores (x.xx) than previous state-of-the-art models on the English-to-German and English-to-French newstest2014 tests at a fraction of the training cost.

EXPLICATION

Le tableau « tab:wmt-results » devrait être cité dans le texte. De plus, les valeurs spécifiques des scores BLEU pour le modèle Transformer doivent être fournies.

TEXTE ORIGINAL

Variations on the Transformer architecture. Unlisted values are identical to those of the base model. All metrics are on the English-to-German translation development set, newstest2013. Listed perplexities are per-wordpiece, according to our byte-pair encoding, and should not be compared to per-word perplexities.

AMÉLIORATION SUGGÉRÉE

Variations on the Transformer architecture. Unlisted values are identical to those of the base model. All metrics are on the English-to-German translation development set (newstest2013). Listed perplexities are per-wordpiece, according to our byte-pair encoding, and should not be compared to per-word perplexities.

EXPLICATION

Le tableau « tab:variations » devrait être cité dans le texte. Pour plus de clarté, « newstest2013 » a été mis entre parenthèses car il spécifie le jeu de données de développement.

TEXTE ORIGINAL

fact that

AMÉLIORATION SUGGÉRÉE

the fact that

EXPLICATION

Article « the » manquant avant « fact ».

TEXTE ORIGINAL

many appear to exhibit behavior related to the syntactic and semantic structure of the sentences.

AMÉLIORATION SUGGÉRÉE

many appear to exhibit behavior related to the syntactic and semantic structures of the sentences.

EXPLICATION

Remplacement de « structure » par « structures » pour s'accorder avec les sujets pluriels « syntactic and semantic ».

TEXTE ORIGINAL

section~\ref{sec:reg}

AMÉLIORATION SUGGÉRÉE

section 22

EXPLICATION

Le texte mentionne « section~\ref{sec:reg} » et « Section 22 » séparément. En supposant que « section~\ref{sec:reg} » fait référence à « Section 22 », cela unifie la référence. S'il s'agit de sections différentes, des clarifications supplémentaires sont nécessaires.

TEXTE ORIGINAL

corpora from with

AMÉLIORATION SUGGÉRÉE

corpora with

EXPLICATION

Suppression du mot redondant « from ».

TEXTE ORIGINAL

Making generation less sequential is another research goals of ours.

AMÉLIORATION SUGGÉRÉE

Making generation less sequential is another of our research goals.

EXPLICATION

Correction de l'accord sujet-verbe et de la formulation : « is another research goals of ours » remplacé par « is another of our research goals ».

EXPLICATION

Aucune déclaration de financement n'a été trouvée. Une déclaration de financement reconnaît brièvement le soutien financier derrière un projet de recherche. Elle mentionne généralement l'organisme de financement, le numéro de subvention, et parfois le nom du programme. Elle est habituellement placée dans les remerciements ou avant les références. Par exemple : « This work was supported by the European Research Council (ERC) under the European Union's Horizon 2020 programme (Grant agreement No. 758892). » ou « The research was funded by the National Institutes of Health (NIH) under Grant R01 GM123456. »

TEXTE ORIGINAL

Attention Is All You Need

AMÉLIORATION SUGGÉRÉE

The Transformer: Attention Is All You Need

EXPLICATION

Le titre devrait être plus descriptif. Envisagez d'ajouter « Transformer » pour identifier clairement l'architecture du modèle, car l'article introduit un nouveau modèle de transduction de séquences basé uniquement sur les mécanismes d'attention.

TEXTE ORIGINAL

On the WMT 2014 English-to-French translation task, our model establishes a new single-model state-of-the-art BLEU score of 41.8 after training for 3.5 days on eight GPUs, a small fraction of the training costs of the best models from the literature.

AMÉLIORATION SUGGÉRÉE

On the Workshop on Machine Translation (WMT) 2014 English-to-French translation task, our model establishes a new single-model state-of-the-art BLEU score of 41.8 after training for 3.5 days on eight GPUs, a small fraction of the training costs of the best models from the literature.

EXPLICATION

Définissez l'acronyme WMT lors de sa première utilisation. De plus, assurez-vous que le résumé reflète fidèlement les résultats de l'article, car il existe un écart entre le score BLEU indiqué dans le résumé (41,8) et celui mentionné dans la section « Machine Translation » (41,0 pour le grand modèle).

TEXTE ORIGINAL

Our model achieves 28.4 BLEU on the WMT 2014 English-to-German translation task, improving over the existing best results, including ensembles, by over 2 BLEU.

AMÉLIORATION SUGGÉRÉE

Our model achieves 28.4 BLEU on the Workshop on Machine Translation (WMT) 2014 English-to-German translation task, improving over the existing best results (including ensembles) by over 2 BLEU.

EXPLICATION

Définissez l'acronyme « WMT » lors de sa première utilisation. De plus, clarifiez la mention entre parenthèses « including ensembles » en utilisant des parenthèses.

Problèmes mineurs (5)

TEXTE ORIGINAL

The goal of reducing sequential computation also forms the foundation of the Extended Neural GPU \citep{extendedngpu}, ByteNet \citep{NalBytenet2017} and ConvS2S \citep{JonasFaceNet2017}, all of which use convolutional neural networks as basic building block, computing hidden representations in parallel for all input and output positions.

AMÉLIORATION SUGGÉRÉE

The goal of reducing sequential computation also forms the foundation of the Extended Neural GPU \citep{extendedngpu}, ByteNet \citep{NalBytenet2017} and Convolutional Sequence to Sequence \citep{JonasFaceNet2017}, all of which use convolutional neural networks as basic building block, computing hidden representations in parallel for all input and output positions.

EXPLICATION

L'acronyme « ConvS2S » n'est pas défini et n'est utilisé que 2 fois. Écrivez le terme complet « Convolutional Sequence to Sequence » à chaque occurrence.

TEXTE ORIGINAL

In these models, the number of operations required to relate signals from two arbitrary input or output positions grows in the distance between positions, linearly for ConvS2S and logarithmically for ByteNet.

AMÉLIORATION SUGGÉRÉE

In these models, the number of operations required to relate signals from two arbitrary input or output positions grows in the distance between positions, linearly for Convolutional Sequence to Sequence and logarithmically for ByteNet.

EXPLICATION

L'acronyme « ConvS2S » n'est pas défini et n'est utilisé que 2 fois. Écrivez le terme complet « Convolutional Sequence to Sequence » à chaque occurrence.

TEXTE ORIGINAL

This consists of two linear transformations with a ReLU activation in between.

AMÉLIORATION SUGGÉRÉE

This consists of two linear transformations with a Rectified Linear Unit activation in between.

EXPLICATION

L'acronyme « ReLU » n'est pas défini et n'est utilisé qu'une seule fois. Écrivez le terme complet « Rectified Linear Unit » à la place.

TEXTE ORIGINAL

We used the Adam optimizer~\citep{kingma2014adam} with $\beta_1=0.9$, $\beta_2=0.98$ and $\epsilon=10^{-9}$.

AMÉLIORATION SUGGÉRÉE

We used the Adaptive moment estimation optimizer~\citep{kingma2014adam} with $\beta_1=0.9$, $\beta_2=0.98$ and $\epsilon=10^{-9}$.

EXPLICATION

L'acronyme « Adam » n'est pas défini et n'est utilisé qu'une seule fois. Écrivez le terme complet « Adaptive moment estimation » à la place.

TEXTE ORIGINAL

An example of the attention mechanism following long-distance dependencies in the encoder self-attention in layer 5 of 6. Many of the attention heads attend to a distant dependency of the verb `making', completing the phrase `making...more difficult'. Attentions here shown only for the word `making'. Different colors represent different heads. Best viewed in color.

AMÉLIORATION SUGGÉRÉE

Fig. 1: Example of the attention mechanism highlighting long-distance dependencies in the encoder self-attention layer 5 of 6. Many attention heads attend to a distant dependency of the verb 'making', completing the phrase 'making...more difficult'. Attentions shown for the word 'making'. Different colors represent different heads. Best viewed in color.

EXPLICATION

Ajout du numéro de figure (Fig. 1) au début de la légende, conformément aux conventions standard des figures dans les documents LaTeX. Suppression des accents graves superflus autour de « making » et « making...more difficult » pour une ponctuation anglaise standard.

Soumettre un autre manuscrit