メインコンテンツまでスキップ

ドキュメントの成果判断方法

ドキュメントの成果を図るために考えられることをまとめる。

前提

  • 組織の目標があって、ドキュメントの目標を立てる必要がある
    • 組織の目標と異なってはいけない
  • 重要なこと
    - 自分の部署と会社にとって何が重要かを定義する。
    - ビジネス上の意思決定を明確にする。
    - 意思決定に伴う不確実性を低減するために、何を測定できるかを考える。
    - 小規模で簡単な実験を行い、それに応じて測定値を調整する。
    - 報告し、行動を起こす。
    これをうまくやれば、あなたの部署はより成功し、上層部に成功を測定することの意味とその方法について1つか2つ教えることになるかもしれません。

測定の目的

  • 測定の目的は不確実性を減らし、その結果に基づいて意思決定できるようにすることだと雄弁に語っている[
  • 測定とは正確に数えることではなく、測定はビジネスの意思決定をサポートしなければならない。

測定方法

  • TTHW(Time to Hello World)
    • ドキュメントの目的を満たすために、どの程度時間がかかるか
    • 「アカウントの追加方法」というドキュメントの場合、何もしていない状況からアカウント追加まで何分かかるのか(短いのかどうか)
    • 参考:Every Page is Page One』の著者であるマーク・ベイカーは、「生産性向上までの平均時間こそが、文書化が成功したかどうかの唯一の真の尺度である」と述べています
  • 問い合わせ数を減らす
    • ドキュメントを追加したことで、問い合わせ数が減ったかどうかを計測する
    • 例えば、ドキュメントを作成したことで問い合わせ工数を月に50時間減らせたとしたら、とても費用対効果が高かったと言えます。
    • 逆に、複雑なドキュメントを書いてしまったばかりに、問い合わせ数が増えるというのは避けなくては行けません
  • お客様からの評価を確認
    • ドキュメントページに「good/bad」ボタンをつけて評価する
  • 書くべき機能が網羅されているか
    • 不足なく書ききれているかを計測
  • ドキュメントリクエストが運営されているか
    • スコアをつけて対応
    • スケジュール通りに対応されているか
  • 古い情報が載っていないか
    • 1件でもあればアウトだが、リクエストにあがっていて優先度下げているなども考えられる。
  • 読みやすいかどうか
    • ガイドラインに沿ったドキュメントになっているか
  • 読み切る時間
    • ドキュメントを読み切るまでの時間が適切か
    • 長いと避けられる可能性がある
    • 複雑で長い場合、プロダクト自体が複雑な可能性があるのでフィードバックする
    • 一方で、長くなる
  • GAの分析
    • ページの滞在時間は予定通りか
    • 直帰しているか
      • 直帰しているということは、解決できたということ。逆に回遊していたら、回答を得られていない可能性が高い
    • 目的のページにすぐ辿り着けているか
      • サイト設計が良い
    • 検索ワードが適切にドキュメント内に配置されているか
    • 上記ポイントを、複合的に判断する必要がある
      • 例えば、ページビュー数が多いが、滞在時間が極端に短い場合、必要なタイトルで検索されているが、ドキュメントは見られずに他のページを探している可能性があります。
      • 参考:私たちは、ページビューや「反対」票をカウントしていますが、その集計結果だけで何かを意味するわけではありません。カウントは測定ではありません。 No "票の数は少ないですが、それを使って、声なき声がどのようなものなのか、以前にはなかった知見を得ることができます。
  • アンケート
    • お客様にアンケートをとって確認する