「はじめに」
・この講座はISTQB(テスト技術者資格制度) Foundation Level シラバス-AI テスティング (CT-AI)のトレーニングコースです
・スチュアート・リード博士による解説を日本語にローカライズしてお届けしています
「コースの概要」
AI技術が進化し、私たちの日常生活に不可欠なものとなっています。
従来のシステムのテストは広く理解されていますが、AIベースのシステムの普及に伴い新たな課題が生じています。
このコースは、AIの核心となる理論や基準、そしてテストアプローチに焦点を当てています。
AIベースのシステムは、ディープニューラルネットワークのような高度な構成要素や、大規模データを基にした学習能力、予測不可能な行動など、独特な特徴を持っています。
そのため新たな課題とテスト機会が多く生じています。
このコースでは、現在使用されているAIベースのシステムの様々なタイプを紹介し、機械学習（ML）がこれらのシステムにおいて重要な要素であることを説明します。
さらに、MLシステムの構築が比較的容易である方法を示し、AIベースのシステムにおいて基準の設定がどのように変化するか、なぜ倫理的な観点が重要かを考察し、AIベースシステムの特性によって従来のシステムと比較してテストがより難しくなる点を示します。
「ISTQB AIテスティングコースの紹介」
AIベースのシステムにおいて品質を確保するために3つの観点を用います。
1.データ品質の確保：
機械学習の精度は、バイアスのない、正確にラベル付けされたデータに依存します。
まず機械学習システムを構築する際にデータの品質を確保するための選定と検証について考察します。
2.効果的なテスト手法：
AIシステムは不透明な部分が多いため、バックツーバックテストやA/Bテストなどのブラックボックステストが有効です。またメタモルフィックテストの応用も解説します。
3.詳細な分析の実施:：
ホワイトボックステストを通じて、ニューラルネットワークのテストカバレッジを測定する方法を示します。
加えて、仮想テスト環境の必要性については、自動運転車のケースを例にして説明します。
最後に、AIのテスト支援ツールの使用例と、AIを活用した一般的なテスト問題の成功例を見ていきます。
この実践的なコースには、多数の演習が含まれますがプログラミング経験は不要です。
参加者は、様々な機械学習システムのテスト経験を積むことができます。
ーーーーーーーーーーーーーーーーーーーーーーーーーーー
「コースの各セッション紹介」
1. AI への導入
AI、特に人工知能は、技術としての進化を遂げ、ビジネスや日常生活に取り入れられています。
AIaaSではクラウドを介してAI機能を提供し、多くの開発フレームワークがAIアプリケーションの構築をサポートしています。
このセッションではニューラルネットワークやディープラーニングといったAIの中核技術をお伝えします。
そのほか、GDPRのような法規制や特化型AI、従来の非AIシステムとの違いなどを紹介していきます。
2 AI ベースのシステムの品質特性
AIシステムの品質は、適応性、自律性、説明可能性などの要因によって評価されます。
このセッションでは、柔軟性、適応性、自律性、進化など、AIベースのシステムにとって特に重要な品質特性について説明します。
さらに、バイアス、副作用、報酬のハッキング、倫理など、AIベースのシステムに特に重要な品質特性について学びユーザーがAIシステムをどのように信頼するかを考察します。
3. 機械学習（ML）
機械学習はデータを利用して学習・予測する技術で、アソシエーション分析、分類、クラスタリングなどの手法が存在します。
モデルの評価やチューニングは、MLモデルの精度を高めるために不可欠です。
このセッションでは、機械学習の基本的な概念を紹介し、シンプルな機械学習モデルを構築するための実践を通じて理解を深めていきます。
4. ML - データ
機械学習の精度は、使用するデータの質に大きく依存します。
データのアノテーション、ラベリング、準備は、モデルのトレーニングにおいて中心的な役割を果たします。
このセッションでは、MLワークフローのデータ準備における課題、データ品質と、MLワークフローの一部として使用されるさまざまなデータセットについて検討します。
さらに、MLワークフローの訓練とデプロイメントの部分を詳しく見ていきます。
5. ML 機能パフォーマンスメトリクス
MLモデルの性能は、正解率やAUC、混同行列などのメトリクスによって評価されます。
このセッションでは、混同行列による機能パフォーマンスメトリクスの計算の説明や正解率、適合率、再現率F1スコアの算出方法を説明します。
さらに、回帰やクラスタリングなどの機械学習に適したメトリクスも紹介していきます。
6. ML～ニューラルネットワークとテスト
この章では、MLとニューラルネットワークのテストに焦点を当てています。
活性値やディープニューラルネットワーク（DNN）などの基本的なキーワードを取り上げ、多層パーセプトロンやニューロンカバレッジのような高度なテクニックも紹介。
ニューラルネットワークと関連するテストカバレッジレベルについても取り扱います。
7. AIベースのシステムのテスト概要
AIベースのシステムのテストは、コンポーネント、自動化バイアス、そしてビッグデータの扱いなど、多くの固有の課題を持っています。
このセッションでは、これらの課題にどのように対処するか、またコンセプトドリフトやデータパイプラインといったテストの際に考慮すべき事項について触れています。
また、AIベースのシステムに関するテストオラクルの問題、受け入れ基準のさまざまな例とドキュメント化についての課題などを考えていきます。
8. AIに特化した品質特性のテスト
AIの品質を評価するための特定のテスト技術と考え方をこのセッションで探求します。
アルゴリズムのバイアスの検出、自律的なシステムの挙動、さらには解釈可能性や透明性を評価する方法など、AIの品質を確保するための多岐にわたるトピックが網羅されています。
9. AIベースのシステムのテストのための方法と技法
このセッションでは、MLシステムに対するテスト手法の選択やテスト技法について見ていきます。
従来のシステムテストの技法やAIシステム特有の技法について紹介します。
AIシステムのテストには、A/Bテストや敵対的テストなどの特定の技法が利用されるケースが多くあり
特にメタモルフィックテストは、AIの動作を確認するための新しい手法として注目されています。
10. AI ベースのシステムのテスト環境
AIのテスト環境はシステムの性能を評価するためのものです。
このセッションでは、AAIベースシステムタイプごとの専門的なテスト環境について見ていきます。
ここでは自動運転車を例に取り上げ、仮想テスト環境のメリットやデメリットについても考察していきます。
11. テストにおける AI の使用
AIを使用したテスト手法も増えています。
AIの多くは確率的手法に基づいており、これらの手法はシステムの問題を扱うのに適しています。
このセッションでは、AIを使用してさまざまなテスト活動をサポートする方法について説明します。
具体的には、AIを用いた欠陥分析やテストケース生成の自動化をサポートする方法。
さらに、ユーザーインターフェースのテストと欠陥予測をサポートするためのAIの使用を見て理解を深めていきます。
ーーーーーーーーーーーーーーーーーーーーーーーーーーー
(注意事項)
・Udemyの動画はスチュアート リード博士が直接講義をしており、動画内の音声や表示されているスライド資料は全て英語となります
・コースの動画内容は字幕以外は英語となりますので、日本語に翻訳された講義スライドと併せてご覧頂くことを推奨しております
【日本語への翻訳内容について以下となります】
◇動画内の字幕全般(日本語対応)
◇添付資料1.「AIテスティング(CT-AI)コース_講義スライド_V3.01.pdf」
◇添付資料2.「AIテスティング(CT-AI)コース_演習ガイド_V2.0.pdf」
【日本語への翻訳対象外について以下となります]
参考資料として用意しているファイルです。
◇添付資料3.「参考資料1_ISTQB CT-AI_シラバスと模擬試験 」
・こちらはISTQB公式の模擬試験になります。
・参考用として資料を添付していますが詳細はISTQB公式サイトなどを参照してください。
◇添付資料4.「参考資料2_論文集(Papers) 」
・AIの進化、ロボット技術、ニューロモーフィック・コンピューティング、自動運転、デジタル経済、テスト技術、ソフトウェア欠陥予測など、多岐にわたるテーマを包括する論文集です。
・本コースとは直接関係ありませんが関連資料として参考用に添付しております。