AI活用 問題集へ戻る
AIの判断力 実習(週末用)
「この使い方は危ない」「この結果は信用できない」を、自分で測って確かめる練習です。1本2〜4時間。 問題集の「仕組みと評価」「AIへの攻撃と枠組み」と対になっています。試すのは、自分が管理しているシステムとデータだけにしてください。
週末ラボ1: 自分の資料でRAGを作り、20問で当たり外れを測る
自分の資料で小さなRAGを作り、20問の正解つき質問で検索の当たり外れを測る。外れた理由を「検索で外した/回答が誤り/資料が古い」などに分ける。
目安 約3〜3.5時間(モデルのダウンロードを除く)
週末ラボ2: 自分のチャットボットを攻撃してみる
自分のPCで動く練習用チャットボットに、AISIのレッドチーミング手法の流れでプロンプトインジェクションを試し、対策の前後で結果を比べる。
目安 約4〜4.5時間
週末ラボ3: ベンダーの『精度95%』を確かめる
ベンダーの「精度95%」を、正解つきの50件で確かめる。混同行列・適合率・再現率と、少ない件数で言えること・言えないことを計算する。
目安 約4時間(2日に分けても可)