AIを使った案件は30分、使わなかった案件は60分。それだけで「作業時間を半減できた」と言えるでしょうか。前者が定型作業で、後者が初めて扱う難しい案件なら、AIの効果と案件の差が混ざっています。
効果検証で先に決めるのは、何を同じ仕事とみなし、どんな違いを記録するかです。生成AIのROIとKPIが費用・成果の全体像を扱うのに対し、本稿は比較相手の作り方に絞ります。
「下書きが出た」ではなく、仕事が完了した時点を測る
対象を、入力準備、生成・作業、確認、修正、提出後の手戻りまで分けます。計測の終了は両条件で同じにし、たとえば「所定のレビューに合格した資料が完成した時点」と決めます。
経過時間と人の実作業時間も分けてください。AIの応答を待つ間に別の仕事ができた場合、待ち時間の全てを人件費として数えると意味が変わります。逆に、待ち時間を除外すると納期への効果は測れません。AIで浮いた時間と仕事量を整理する記事は、この二つを分けた後の配分に使えます。
作業を配る前に、難易度を分類する
結果を見てから「これは難しかった」と分類すると、都合のよい説明になります。対象業務に合う難易度の目安を、割当て前に決めます。
横に長い表は、左右にスクロールして確認できます。
| そろえる条件 | 記録する例 | そろわない場合 |
|---|---|---|
| 案件の難しさ | 定型／例外あり、参照資料数、必要な専門判断 | 層を分けて比較する |
| 担当者の経験 | 業務経験、対象システムへの習熟 | 同じ経験層を比べる |
| 入力の状態 | 資料がそろっているか、欠損があるか | 準備時間を別に残す |
| 利用環境 | AIのモデル・設定・利用可能な資料 | 変更日を記録し、混ぜない |
| 品質の基準 | 正確さ、必要項目、承認者 | 両条件で同じ評価表を使う |
担当者が自分で「AIに向く案件」だけを選ぶ運用なら、その選択を含む効果を測っています。全案件にAIを配布した場合の効果とは区別します。
比較方法は、現場の制約に合わせて選ぶ
同じ担当者が、別の同等課題を両条件で解く方法。 担当者差を小さくできますが、同じ課題を二度解くと答えを覚えます。別の課題を難易度で組にし、AIあり・なしの順番を入れ替える設計を検討します。学習した内容が次の課題へ影響する可能性は残ります。
似た案件を、AIあり・なしへ割り当てる方法。 可能なら難易度や経験層の中で無作為に割り当てます。同じ案件を同じ人にやり直させず比較できますが、件数が少ないと偶然の偏りが残ります。担当者単位で割り当てる場合は、同じ人の複数案件を独立した多数の人のデータのように扱いません。
導入前後の期間を比べる方法。 始めやすい一方、繁忙期、人員変更、業務改善、習熟が混ざります。並行してAIを使わない同種業務の推移を記録できれば解釈の材料になりますが、それでも因果関係を自動的に証明できるわけではありません。
METRの2025年の研究は、経験あるOSS開発者の実際の課題を、AI使用可・不可へ無作為に割り当てて評価しています。ここで参考にするのは比較設計です。特定時期のツールと対象者の結果を、現在の自社業務の改善率として転用しません。METRの研究方法と適用範囲
架空例：簡単な案件だけを見ると結論が変わる
以下は計算を説明するための架空の比較です。各行は同等の課題の組で、同じ品質基準を満たした完了時間とします。
| 課題の組 | AIなし | AIあり | AIなし−AIあり |
|---|---|---|---|
| 定型の資料整理 | 40分 | 28分 | ＋12分 |
| 例外条件がある資料整理 | 80分 | 88分 | −8分 |
| 合計 | 120分 | 116分 | ＋4分 |
定型だけなら30％短縮ですが、合計では約3.3％です。さらに本番の案件構成が例外中心なら、この合計さえ代表値にはなりません。案件の構成比を示してから、適用先を判断します。
実際の記録では、未完了、途中で人へ戻した案件、AIを使わなかった割当て案件も残します。難しい案件を集計から落とすと、成功した仕事だけの評価になります。
時間と品質を別々に判定する
短縮時間が大きくても、重大な誤りや手戻りが増えれば導入範囲を広げる理由にはできません。評価者には可能な範囲でAI利用の有無を伏せ、同じ基準で完成物を見てもらいます。
記録するのは、完了時間、実作業時間、基準を満たした件数、重大な誤り、修正時間、差戻しです。品質の必須条件と、時間・費用の改善を別の欄に置くと、「速いが受け入れられない」を表現できます。
比較条件シート
対象業務／対象外の業務：
仕事の開始・終了／完成物の合格基準：
課題ID／割当て前の難易度：
担当者の経験層／実施順：
AIあり・なしの割当て方法：
モデル・設定・資料・環境の版：
準備／作業／確認／修正の実作業時間：
開始から完了までの経過時間：
完成物の品質／重大な誤り／差戻し：
未完了・中止の理由：
比較条件の違いと、解釈できないこと：
少数案件では「次に何を確かめるか」を決める
件数が少ないうちは、全体への改善率を確定するより、どの工程で時間が増減したかを見ます。中央値だけでなく、長くかかった案件や失敗した案件も併記してください。信頼区間を計算する場合は、同じ担当者や同じ案件群の依存関係を考慮します。
「定型では確認時間が短くなった」「例外の調査でやり直しが増えた」まで分かれば、次は定型だけの限定導入か、例外の根拠資料の整備かを選べます。採否の会議には、PoCの未決事項シートと一緒に持ち込むと、追加検証の目的が明確になります。
資料確認日：2026年10月7日。比較表・数値例・シートは本稿独自の提案です。
WRITTEN BY
コメント