Comment savez-vous que votre agent a réellement résolu la tâche, et qu’il n’a pas simplement trouvé la clé de réponse ?


Sur un SWE-Bench personnalisé, le correctif attendu existe déjà dans l’historique du dépôt, et les tests d’évaluation sont fournis avec la tâche elle-même.
Un modèle capable emprunte ce raccourci à chaque fois, sauf si vous le supprimez d’abord. C’est là le vrai travail pour construire une évaluation (eval).
Voir l'original
post-image
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
  • Récompense
  • Commentaire
  • Reposter
  • Partager
Commentaire
Ajouter un commentaire
Ajouter un commentaire
Aucun commentaire
  • Épinglé