AI協働形式のレポート

各機能の説明

レポート画面の構成

スコア

AI協働形式の試験では、「トータルスコア」と「AIスコア」の両方が表示されます。画面の右側のタブから切り替えてご覧ください。

AIスコアは、エージェント環境の整備やAIエージェントへの指示の仕方、反復改善、出力の検証など複数の観点から自動採点されています。通常のコーディングテストの指標に加え、AIスコアもご参考ください。

提出コードの確認

提出コードを開く

「提出コードを開く」ボタンをクリックすると、候補者が作業したリポジトリをブラウザ上の VS Code で確認できます。ファイルツリーから各ファイルを選択して内容を確認できます。

プレイバックを開く

「プレイバックを開く」ボタンをクリックすると、候補者が AI（Claude Code 等）と行ったやり取りを時系列で確認できます。

プレイバックページ上部：

  • ターン数：候補者と AI のやり取りの回数
  • トークン使用量：AI が処理したトークン合計
  • コスト：AI 使用にかかったコスト

プレイバックページ左側：

左側のタイムラインのセクションから、各ターンの詳細が表示されます。

  • ターン詳細タブ：候補者の入力内容と AI の返答を確認できます
  • ツール呼び出しタブ：AI がどのツール（ファイル読み書き、コマンド実行など）を使ったかを確認できます
  • すべてタブ：すべてのやり取りを表示
  • chatタブ：（対話形式の場合のみ）ステークホルダーとのやり取りのみを表示
  • Agentタブ：AI agentとのやり取りのみを表示

プレイバックページ右側：

評価観点と評価結果が表示されます。プライバックのどの部分において加点 / 減点になったか、理由とともに評価結果が記載されます。

GitHub でコードをレビューする

PR を開く

「PRを開く（GitHub）」ボタンをクリックすると、候補者が作成した Pull Request を GitHub 上で直接確認できます。

GitHub 上では以下を確認できます。

  • Commits：コミット数と内容
  • Files changed：変更ファイルの差分
  • Conversation：hireroo-system による自動レビューコメント

hireroo-system による自動レビュー

PR には hireroo-system アカウントからの自動レビューコメントがありますが、これらは「深堀り質問を生成する」ボタンを押して深堀り質問を生成すると見ることができます。コメントは日本語・英語の両方で記載されており、例えば下記のような内容が含まれます。

  • 実装の要件充足度の総評
  • コードの設計・責務分離についての評価
  • 改善を促す質問（例：「なぜこのコンポーネントをインラインで定義しましたか？」）

コメントには優先度ラベル（例：P2 medium）も付与されます。

リポジトリへのアクセス権

GitHub のリポジトリはプライベートです。閲覧したい GitHub アカウントがある場合は、「アクセス権を申請」ボタンから申請できます。申請済みアカウントは「閲覧できるアカウント」欄に表示されます。

インタビュー準備

深堀り質問を生成する

「深堀り質問を生成する」ボタンをクリックすると、提出コードの内容を元に AI がインタビューで使える質問を自動生成します。生成には 3〜4 分かかります。

生成された質問は「インタビューで深堀る観点」セクションに表示されます。コードレビューで見つかった課題や設計上の意思決定について、候補者に直接聞くための材料として活用できます。また、この操作で hireroo-system による自動レビューコメントも同時に確認できます。

最終評価を行う

レポート右上の「最終評価」ボタンから、候補者への合否判断を記録できます。「技術レビュー」ボタンから技術観点のコメントも残せます。

評価の流れまとめ

候補者一覧 → 候補者詳細レポートを開く
  ↓
スコアを確認する
  ↓
提出コードを開く（VS Code ビュー）
プレイバックを開く（AI 活用の確認）
  ↓
PR を GitHub で確認する（差分・自動レビューコメント）
  ↓
深堀り質問を生成する（インタビュー準備、レビューコメントも表示）
  ↓
最終評価を記録する