Skill Assessment とは
各機能の説明Skill Assessment は、在籍エンジニアが日常業務で使っている AI ツールの利用ログから、AI協働力を継続的に計測し、組織の中で相対化して可視化する機能です。
試験環境で受検してもらう Skill Interview と違い、普段の業務環境のまま計測します。エンジニアは専用のエディタや試験環境に移る必要がなく、いつも使っている AI ツールをそのまま使い続けます。
Skill Interview との違い
| Skill Interview | Skill Assessment | |
|---|---|---|
| 対象 | 採用候補者 | 在籍エンジニア |
| 計測する場所 | HireRoo の試験環境 | 普段の業務環境 |
| 計測の単位 | 受検 1 回のスナップショット | 継続的な計測と推移 |
| 主な用途 | 採用時の見極め | 組織の AI 活用状況の把握と育成 |
評価軸はどちらも同じ SEI（Software Engineering Index）の「AI協働力」を使うため、採用時に見た指標と、入社後に見る指標が同じ軸でつながります。
AI協働力の 5 つの評価軸
AI協働形式のレポートと同じ 5 軸で評価します。
| 評価軸 | 評価する行動 |
|---|---|
| 環境構築 | AIが適切に作業できるよう、ツールやコンテキストを整え、安全に進めるためのルールを設定する |
| 意図の仕様化 | 問題を自分の言葉で捉え、制約や完了条件を具体的に伝える |
| 共同推論 | AIから代替案を引き出し、根拠やトレードオフを踏まえて採否を判断する |
| 実行の統制 | AIに任せる範囲を調整し、実行中の軌道修正や失敗からの収束を導く |
| 出力の品質保証 | 検証方法を設計し、AIの出力を批判的に確認して、品質をさらに高める |
各評価軸の詳しい定義は AI協働力｜SEI で確認できます。評価基準の考え方は 2026年7月 | AI協働力の評価基準を刷新し、AI活用の深さを見極めやすくしました もあわせてご覧ください。
評価に使うデータ／使わないデータ
Skill Assessment の評価は、エンジニアが書いたプロンプトと、AIエージェントのツール呼び出しだけを入力にします。
AIの応答文とツールの実行結果は評価に使いません。 これは、AIモデルが賢くなるだけでスコアが上がってしまう状態を避けるためです。評価の対象を人間側の判断に限定することで、スコアの上下がエンジニア自身の働き方の変化を表すようにしています。
可視化される内容
管理者向けと、計測対象のエンジニア本人向けの 2 種類の画面があります。
管理者向け
| 画面 | 確認できること |
|---|---|
| ダッシュボード | 組織平均スコア・アクティブ率・AIツール利用コスト・トークン使用量、AI活用状況（リクエスト数・消費トークン・平均プロンプト長）、用途分類・利用言語・稼働時間帯、ランク分布、スコアが伸びているメンバー |
| メンバー一覧 | メンバーごとのスコア・ランク・先週比・主に使っているAIツール・最終ログ時刻。ランク／スコア／ステータス／ツール／氏名・メールで絞り込み |
| メンバー詳細 | 総合スコアと組織内順位、5軸レーダー（本人と組織平均の比較）、ツール利用比率、用途分類、稼働状況 |
エンジニア本人向け
自分の総合スコア・ランク・組織内順位と、5 軸の内訳を組織平均と比べて確認できます。あわせて自分のリクエスト数・消費トークン・平均プロンプト長・用途分類・利用言語・稼働時間帯を、いずれも組織平均との比較で表示します。
他のメンバー個人のスコアは表示されません。 本人が見られるのは自分のスコアと、比較対象としての組織平均のみです。
導入の流れ
1. 管理者が計測対象のメンバーを招待する
Skill Assessment の画面から、計測したいメンバーをメールアドレスで招待します。すでに HireRoo に登録済みの従業員は、招待を送らずそのまま計測対象に指定できます。
2. メンバーが hireroo CLI をインストールする
招待されたメンバーは、自分の端末に hireroo CLI をインストールし、セットアップコマンドを実行します。インストールは 1 コマンドで完了し、セットアップはブラウザでのログインだけで終わります。トークンを手で貼り付ける操作はありません。
セットアップにかかる時間は 5 分程度です。
3. 計測が始まる
セットアップ後、メンバーが普段どおり AI ツールを使うと計測が始まります。マイページには進捗が 3 段階のステップで表示されます。
- CLI をインストール — セットアップが完了した
- 疎通を確認 — 最初の利用ログが HireRoo に届いた
- 計測の開始を待つ — 最初の評価結果が生成された
3 つ目が完了すると、スコアがダッシュボードに表示されます。スコアは以降、利用が蓄積されるたびに更新されます。
対応環境
| 対応状況 | |
|---|---|
| OS | macOS / Linux / Windows |
| AIツール | Claude Code / Codex CLI |
AIツールの API キーやサブスクリプション契約の種類（APIキー／サブスクリプション／Amazon Bedrock／Google Vertex AI）は問いません。既存の契約のまま計測できます。
データの取り扱い
AIツールの動作には影響しません
Skill Assessment は、AIツールと AI プロバイダの間に割り込みません。AIツールから HireRoo に届くのは利用ログだけで、AI へのリクエストそのものは従来どおり直接 AI プロバイダに送られます。
そのため、HireRoo 側に障害があってもエンジニアの作業は止まりません。その間の利用ログが記録されないだけです。
プロンプト本文は保存しません
プロンプトの本文とツール呼び出しの内容は、スコアを算出するために必要な短い期間だけ一時領域に保持し、算出が終わった時点で削除します。データベースなどに長期保管することはありません。
長期的に保存されるのは、本文を含まない情報（トークン数・コスト・時刻・使用ツール・プロンプトの文字数など）と、算出後のスコアだけです。また、メールアドレスなどの個人情報は、ログを受け取った時点で取り除きます。
提供形態
現在は、HireRoo が計測基盤を提供する形態（クラウド版）でご利用いただけます。ログを社外に出せない場合に備え、計測基盤をお客様自身のクラウド環境内に設置する形態を今後提供予定です。この形態では、プロンプト本文がお客様の環境から外に出ることはなく、HireRoo に届くのは算出済みのスコアと集計値のみになります。
ご利用にあたっての注意
- 計測はエンジニアの端末の設定に依存します。 メンバーが AIツールの設定を書き換えたり CLI をアンインストールしたりすると、計測は止まります。この場合もAIツールは通常どおり使えるため本人は気づきにくいため、一定期間ログが届かないメンバーは管理画面で確認できるようにしています。
- 同一のメールアドレスで、管理者と計測対象を兼任することはできません。 管理者自身の AI協働力を計測する場合は、別のアカウントを計測対象として招待してください。
- AI ツールの利用がない期間はスコアが更新されません。 スコアは利用ログが一定量たまった時点で更新されるため、利用が少ないメンバーは更新間隔が長くなります。
β提供について
Skill Assessment は現在β版として提供しています。評価軸の定義や重み付け、スコアの算出方法は、お客様のデータをもとに今後調整していきます。
導入をご希望の場合は、担当のカスタマーサクセス、または お問い合わせ窓口 までご連絡ください。