Le problème de la fenêtre contextuelle : Travailler dans les limites de jetons
Donc, me voilà le mois dernier, plongé dans un projet colossal, en train de trier ce qui semblait être une montagne de données pour un modèle que j’entraînais. Puis, sans crier gare, j’ai rencontré le problème de la fenêtre de contexte. C’est comme quand votre modèle ne peut tout simplement pas gérer tous les tokens qu’il est censé traiter parce qu’il a atteint sa limite.