การทดสอบของคุณผ่านเมื่อวันจันทร์ ด้วยอินพุตเดิม โค้ดเดิม และ temperature=0 แต่เมื่อวันอังคารมันกลับล้มเหลว ทั้งที่คุณไม่ได้เปลี่ยนอะไรเลย assertion ตรวจสอบสตริงที่ตรงกันเป๊ะ แต่โมเดลตอบด้วยถ้อยคำที่ต่างออกไปเล็กน้อย การทดสอบขึ้นสีแดง แม้เอเจนต์ยังทำงานได้ดี และคุณต้องดีบั๊กชุดทดสอบแทนผลิตภัณฑ์
ลองใช้ Apidog วันนี้
นี่คือภาระของการทดสอบระบบที่เรียกใช้โมเดลภาษา: ผลลัพธ์เปลี่ยนแปลงได้ แม้ตั้งค่าให้สุ่มน้อยที่สุดแล้วก็ตาม temperature=0 ไม่ได้รับประกันว่าทุกการรันจะได้คำตอบเหมือนกันทุกไบต์ บทความนี้อธิบายวิธีเขียน assertion ที่ทนต่อความเปลี่ยนแปลงของข้อความ โดยเน้นการตรวจสอบสัญญา (contract) ของผลลัพธ์แทนการตรวจถ้อยคำตรงตัว นี่คือการเจาะลึกโหมดความล้มเหลวที่สามจากคู่มือ เหตุใด AI agents จึงพังในการใช้งานจริง
ทำไม temperature=0 จึงไม่ได้หมายถึง deterministic
Temperature ควบคุมวิธีที่โมเดลสุ่มเลือกโทเค็นถัดไป ที่ค่า 0 โมเดลจะเลือกโทเค็นที่มีความน่าจะเป็นสูงสุด แต่ไม่ได้หมายความว่าผลลัพธ์จะทำซ้ำได้แบบบิตต่อบิต
