近期，OpenAI最新發(fā)布的GPT-5在編程能力測試中涉嫌"作弊"的行為引發(fā)業(yè)界廣泛討論。據多方技術分析顯示，OpenAI在評估GPT-5編程能力時存在選擇性使用測試數據、降低評估標準等爭議性操作，這使得其宣稱的性能優(yōu)勢受到嚴重質疑。
測試基準的"雙重標準"問題尤為突出。OpenAI自行提出的SWE-bench Verified基準本包含500個編程問題，但在實際測試中僅采用477個問題。官方解釋稱，其余23個問題因其基礎設施無法運行而被排除。值得注意的是，這已經是OpenAI第二次在模型測試中采用這種"刪題"操作。早在GPT-4.1發(fā)布時，就以相同理由排除了相同數量的測試題。
這種操作直接影響了測試結果的公正性。數據顯示，在完整500題測試中，Claude Opus 4.1的表現優(yōu)于GPT-5。而OpenAI通過刪除部分題目，使得GPT-5在縮減后的測試集上僅以0.4%的微弱優(yōu)勢領先。更關鍵的是，若將被刪除的23題按零分計算，GPT-5的實際得分將低于Claude Opus 4.1。
測試方法的不對等性也引發(fā)質疑。OpenAI將GPT-5的最大思維努力輸出與Claude Opus 4.1的基礎輸出進行對比，這種不對稱比較嚴重削弱了結果的參考價值。Anthropic公司明確指出，其Claude 4系列所有模型的測試成績均基于完整的500題測試集，與OpenAI的做法形成鮮明對比。
具有諷刺意味的是，SWE-bench Verified基準本身就是OpenAI為解決原SWE-bench測試集的不足而特別設計的。該基準經過93位資深程序員的人工標注，從1699個樣本中嚴格篩選出500個優(yōu)質測試題，并按照修復難度進行分級。如今OpenAI卻對自己參與制定的標準進行二次"裁剪"，這種做法難免讓人質疑其動機。
在更權威的原始SWE-bench測試榜單中，Claude 4 Opus仍保持領先地位。這一結果與OpenAI的宣傳形成反差，進一步加深了業(yè)界對GPT-5真實編程能力的懷疑。
此次事件反映出AI行業(yè)在模型評估標準化方面仍面臨挑戰(zhàn)。當企業(yè)既當"運動員"又當"裁判員"時，如何確保評估的客觀性成為亟待解決的問題。行業(yè)需要建立更中立、透明的評估機制，避免因商業(yè)競爭損害技術發(fā)展的公信力。目前來看，GPT-5在編程領域的實際能力可能需要更全面、公正的評估才能得到準確判斷。
（免責聲明：本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網站出現的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。 ）
