品質の方法論
97%以上の精度を確実にする仕組み
すべての作業単位は、納品前に3段階のQAカスケードを通過します。各段階が前の段階で見逃したものを捉え、大規模でも97%以上の精度を生み出します。
Tier 1
アノテーター + 相互レビュー
地域内で訓練されたアノテーターがバージョン管理されたタクソノミーに沿ってラベル付けします。すべてのユニットは次の工程に進む前に構造化された相互チェックを受けます。
エラーの約80%を検出
Tier 2
エキスパートQAリード
ドメインQAリードがサンプリングおよびフラグ付けされた作業を監査し、エッジケースを解決し、修正内容をアノテーターのガイダンスに反映します。
さらに約15%を検出
Tier 3
プログラム処理 + コンセンサス
自動整合性チェック、ゴールドセットによるベンチマーク、コンセンサススコアリングが納品前にバッチを検査します。
97%以上の精度を確保
試してみる
エラーを注入して、カスケードが捉える様子を見る
エラーを注入:
Tier 1 · アノテーター + 相互
クリーン
Tier 2 · エキスパートQAリード
クリーン
Tier 3 · プログラム処理 + コンセンサス
クリーン
上のエラーを選ぶと、カスケードのどのティアが納品前にそれを検出するかがわかります。
品質についてお答えします
3段階のQAカスケードとは、アノテーション済みのすべてのデータ単位が納品前に3つの独立したチェックを通過する、Corpshore の品質プロセスです。アノテーターとピアレビュー、専門QAリードによる監査、そしてプログラムによるコンセンサスとゴールドセットのベンチマークです。各段階が前の段階で見逃したものを捉えることで、このプロセスは大規模でも97%以上の精度に達します。