Örnek setini önceden hazırlayın
Gerçek görevleri temsil eden sorular ve kabul ölçütleri oluşturun. Farklı belge biçimleri, eksik bilgiler ve anlamı belirsiz talepleri ekleyin. Geliştirme sırasında kullanılan örneklerden ayrı bir değerlendirme seti tutun. Doğruluk kadar kaynak uygunluğu, kapsam ve kullanıcının düzeltme yükünü inceleyin.
Değişiklikleri aynı ölçütle karşılaştırın
Model, istem veya bilgi kaynağı değişince aynı örnekleri yeniden çalıştırın. Hataları türlerine göre kaydedin; tek bir ortalama puana güvenmeyin. Yanıt süresi ve kullanım maliyetini de izleyin. Kritik hataların kabul edilebilir olup olmadığına iş sahibi karar vermelidir.
Örnek uygulama
Belge özeti pilotunda tarih ve tutarların doğru aktarılması ayrı ölçülür. Akıcı yazılmış ancak yükümlülük tarihini atlayan bir özet, yalnızca dil kalitesi iyi olduğu için başarılı sayılmaz.
Başlamadan önce kontrol edin
Aşağıdaki soruları ilgili iş birimi ve teknik ekiple birlikte yanıtlayın.
- Kabul ölçütleri pilot başlamadan yazıldı mı?
- Zor ve eksik bilgi içeren örnekler var mı?
- Yeni sürümler aynı setle karşılaştırılıyor mu?