29に、QAML主催のイベント「AI/IoTシステムのための安全性シンポジウム」が開催されました。300名の参加者を集める盛況な会となりましたので、その様子を報告します。このシンポジウムが企画されたきっかけとして、昨年度までIPAが主催していた「STAMPワークショップ」と「FRAMily」という2つのイベントがあります。それぞれ、システムの安全性を分析する手法である”STAMP”と”FRAM”に関する研究や活用事例を発表し、議論する場として開催されていました。今回は、QAML主催の「AI/IoTシステムの安全性」をテーマとするシンポジウムのなかで、STAMPやFRAMの活用法に関する議論も行うという位置づけになりました。今回のシンポジウムの実行委員は、IPAの「IoTシステム安全性向上技術ワーキンググループ」のメンバーが中心になっています。Hollnagel教授による基調講演と、5件の研究発表がありました。Hollnagel教授の講演は、「AIとは何か」という本質的な問いかけを含む格調高いものでした。有史以来の技術の発達を、人類が利用可能な能力の「増幅」と捉えた上で、それが「人間本来の能力」を遥かに上回ってしまった現在はそのギャップが安全を脅かす要因になるという見方には共感を覚えました。AIには、そのギャップを埋める役割が期待されますが、それにはモデリングが重要であり、FRAMはそのための有用な手段になると理解しました。一般発表では、FRAMモデルの振る舞いの定量的評価をモデル検査やシミュレーションで行う手法の紹介が2件ありました。「モデルから何を読み取るか」に取り組む2件の発表は、変動と安定の関係といった哲学的な話も含まれ、興味深い発表でした。ニューラルネットワークを用いたAIの安全性をFRAMで分析した発表や、人が自然に行ってしまう行動をFRAMでモデリングした発表では、会場からも多くの質問があり、関心の高さが感じられました。月面着陸機の振る舞いをFRAMで分析した発表では、リアリティのあるモデルが示され、FRAMの実践的な使い方として大変参考になりました。ホルナゲル先生と実行委員11/28、29は会場をNTTデータ研修センターに移し、共催者講演2件、招待講演4件と「信頼できるAIシステムのために今取り組むべき課題と持続可能な社会への展望」をテーマとしたパネルディスカッション、また、「STAMPワークショップ」としてSTAMPの活用事例や研究発表12件が行われました。ロボットなどの領域での活用例や、セーフティだけでなくセキュリティにも適用した多様な事例発表がありました。人を含めたシステムを対象とした安全分析の事例が多く、人間の知的行動を人工的に実現する「AI」の安全性を考える上でもSTAMPによる分析は役立つ場面が多いだろう、という印象を持ちました。共催者講演では、「Society5.0」の実現に向けてシステムズエンジニアリングの活用に取り組んでいるIPAの活動紹介と、システム理論あるいはSTAMPの真髄ともいうべき「創発性」について解説した講演があり、大変参考になりました。アイデア(28日交流会)招待講演では、会津大学の兼本先生より、STAMPによるシステムの安全分析について解説した講演がありました。事例を用いた具体的な説明は、STAMPの初心者にも分かりやすい内容だったと思います。JAXAの石濱さんからは、「自律システムの安全実現に向けて~とっても賢いシステムの安全性」をテーマに、STAMP/STPAと現在のJAXAでの取り組みについて講演がありました。FTA及びFMEAを用いて安全化方針を各システム段階で分析するJAXAにおける従来型の安全設計プロセスとSTAMP/STPAと連携したモデルベースシステムズエンジニアリングについて、具体的な説明がなされました。大阪大学の原先生からは、機械学習モデルの判断根拠をいかに説明するか、というホットなテーマの講演がありました。機械学習ソフトウェアは、「正しさの基準」となる仕様がないことが従来のソフトウェアと大きく異なり、それが信頼性や安全性の問題に大きくかかわります。それに取り組む講演は多くの聴講者を集め、関心の高さが窺えました。東京電機大学の佐々木先生からは、セキュリティとAIに関する講演がありました。いう4つの観点で問題を整理し、世の中の実例を多く紹介しながらの講演は大変分かりやすく、興味を引くものでした。ほかに、デンソーの中江さん、JR東日本の北村さんがパネリストとして登壇して行われましたが、Slidoを使ってリアルタイムに会場からの質問を受けつけ、パネリストが答える形式で大変盛り上がりました。「AIと安全性」の本質に迫るような鋭い質問や、自動車や鉄道など安全クリティカルシステムの現場の視点に関心を持つ質問が多く出され、パネリストの方がそれに真摯に答えてくださり、フロアの参加者も多くのことを得られたのではないかと思います。今回は、AI・IoTシステムの安全性という「待ったなし」の課題がテーマであり、プログラムの内容もバラエティに富んでおり、非常に盛り上がったイベントになったと思います。この熱が冷めないように、草の根的な活動が数多く継続していくとよいと感じました。MukaiyamaメンバーブログQAMLセミナーの開催10月9日(水)15:00から国立情報学研究所(NII)でQAMLセミナーが開催されました。Bennaceur博士でした。データからモデルを自動的に推測する方法を研究する分野である機械学習(ML)とソフトウェアエンジニアリングの相乗効果について語られました。要件エンジニアリング(RE)の観点からMLがどのように利益を得ることができるかについての研究は日本では聞く機会の少ないテーマであり、興味深いものでした。MLとSEのkeyコンセプト比較、翻訳合成の事例、コンポーネントモデルの学習、体系的でなく実践的なプロセス、コンポーネント抽出のためのオートマタ学習L*、学習ベースのメディエーター合成、明確な指示のある第一世代、例を通じた処理をする第2世代、そして、コラボレーションを通じた第3世代のSEパラダイムなどについて話されました。数々の具体的な事例を通じ、終始明るくにこやかにスピーチをされるAmel博士だからこそ、少し難易度の高い内容を英語でスピーチされたにも関わらず、とても楽しく聞くことができました。次の講演はデンソーの桑島洋氏による研究発表でした。System」という論文についてスピーチされました。25000シリーズに基づいて議論し、MLの独自性と欧州委員会の信頼できるAIの倫理ガイドラインにどのように適合させるかを特定しています。MLの性質とAIの倫理を従来のソフトウェア品質の概念に組み込むことにより、AIシステムの品質に関する全体的な洞察を提供する内容となっています。MLの品質保証という重要なテーマのスピーチでした。講演の最後に吉岡先生からお二人に記念のQAMLグッズも渡されました。講演終了後はQAMLルームでたこ焼きパーティーが開催され、親睦も深める有意義なセミナーとなりました。Engineering)では機械学習工学関連の多くのワークショップが開催されました。Testing)に参加してきましたので、概要と私の興味を持ったトピックについてご紹介します。2019DeepTestでは、深層学習に対するテストと、深層学習を用いたテストの両方を興味の対象としています。2件のキーノート、12件の口頭発表、パネルディスカッションで構成されますが、口頭発表に必要な提出物は要旨のみのため、Proceedingsもなく、発表時間も1人15分と短めに設定されていました。考慮する必要があるのですが、今回は特にロバストネスに関する発表が多かった印象です。Prasadの発表ではロバストネスの定義を(画像の場合、回転や拡大縮小などの)変換したデータに対する損失関数の値として評価する方法を提案していました。Orsoは「ニューラルネットワークの正しさに関する仕様は確率的に表される」と「その確率的仕様を満たしているかの検証は統計的アプローチとシンボリックアプローチが必要」という仮説に基づき、確率的なロバストネスを定義し、それを満たすか検証する方法を披露していました。trackで採択された論文の内容とほぼ同等のものでした。Chenは、既存のロバストネスの検証における課題である計算コストを、ランダムサンプリングによる確率的近似と、精度とロバストネスをバランスさせる動的な損失関数により、1/15に減らせることを実験で示した成果を紹介した。現時点では、ロバストネスの評価またはある閾値以上かの検証を目的とした研究がほとんどで、それもまだ実用的な成果までは至っていないのですが、将来的にはその結果からどう修正していくか、ということが課題になっていくのではないかと考えます。同内容の論文のpreprintはここから入手可能です。ZhangによるMLモデルのデバッグと敵対的サンプル攻撃の検知に関する研究の紹介でした。2018で発表されたMODEという手法なのですが、正解データと不正解データそれぞれで特徴量の傾向を知らべ、その差分をとることでことで悪影響を与えている特徴量を特定する、というものです。数学的な正しさというのはなく、ソフトウェア工学的な知識によって構築したものでありますが、特徴量の影響を知ってデバッグに活かす、というのは他の研究も近いものがあり、今後さらに増えていく領域ではないかと考えます。preprintはここから入手可能です。敵対的サンプル攻撃の検知の話は、サイバーセキュリティ分野で著名な国際会議であるNDSSにおいて発表されたものをベースとしています。アイデアとしては、通常のデータと敵対的サンプル攻撃とではアクティベーションパターンが異なることを利用し、アクティベーションパターンをinvariantとして実行環境でのアタックを検知するというもので、実験で90%の精度で敵対的サンプルを検知できたという結果を出しています。preprintはここから入手可能です。2019METはメタモルフィックテスティングに関するワークショップで、もちろん機械学習アプリケーションについてのメタモルフィックテスティングも興味の対象に入っています。多くのスライドは公式ページにアップされていますので、詳細はそちらを参照してください。ここでは機械学習関連のトピックについて紹介します。pattern(MRP))として、振る舞いを変えないようなノイズを入力に加えることを提案しました。ユースケースとして、自動運転におけるLiDARによる障害物の検知を挙げており、背景などの検知対象外領域にノイズを加えることで、検知すべき障害物が検知できなくなるという事例の紹介をしていました。MRPについて興味深かった議論としては、メタモルフィック関係とMRPの境界はどこになるのか、ということです。メタモルフィック関係自体が十分に抽象的に書かれている場合にそれはMRPと呼べるのか、どこまで抽象的に書けばMRPと呼ぶのか、というようなことが議論されていますが、現状はまだ十分な整理がされておらず今後の課題のようです。Ningbo)がk-meansクラスタリングについて、それぞれメタモルフィック関係とそれを用いた実験結果を紹介しました。CESE)は、アフィン変換によるメタモルフィック関係を用いて敵対的サンプルの特定を行う方法を提案し、ImageNetを用いた実験では最高96.85%の精度で敵対的サンプルを検出したという発表を行いました。どれもアイデアとして斬新なものではないですが、既存研究ではまだ行われていないことを着実に取り組んでいっているなという感想を持ちました。symposium)は機械学習アプリケーションのためのソフトウェアエンジニアリングを対象とした国際学術会議で、今年で2回目の開催となります。今年の開催時期・場所はICSE参加者が参加しやすいように、ICSEの前週の木・金曜の2日間にモントリオール理工科大学で行われました。そのような配慮もあったためか、参加者数は170名以上となり、この分野の期待の高さを感じられました。プログラムの構成としては、1日目が主に学術界、2日目は主に産業界の人による講演・パネルで、投稿は募集せず全員招待されての講演となっています。講演資料の多くは公開されているため、詳細は割愛しますが、その中から私が興味を持ったトピックについていくつか紹介します。Leveson教授が提唱したシステム理論に基づく安全分析の考え方。STAMPに基づく分析手法は、システムの構成要素単体ではなく、それらの相互作用に着目してハザード要因を考える点に特徴がある。Theory)がある。そこでSTAMPの最近の傾向について所感を述べる。今回の参加者は28%増加し、416名。参加者の分野でみると多い順に航空153、防衛125、セーフティ104と続くが、例年に比べ、アカデミア・大学が87と大きく伸びているのが特徴である。これは、AIへの安全分析適用という新しいトピックが発生している影響もあるだろう。レブソン教授のWelcomeスピーチでは日本の第3回STAMPワークショップも300名程度の参加者があり、盛況だった旨も伝えられた。ハザード分析、システムアーキテクチャを生成するSTPAの利用法などが提唱された。2年前にはSTPA適用中心の発表だったが、今回はCAST本格適用やSTAMP理論にもとづくMBSE、システムズエンジニアリング、AI適用に適用の方向性が進化している。昨年のWSで発行されたSTPAハンドブックの手順に統一されている点に特徴を感じた。STPAによるセキュリティ分析で多くの事例がでていた。今後はセーフティ・セキュリティ統合分析もより本格化することであろう。企業における実用化の進展を感じた。Authority)などの会社・組織が実績を披露した。Engineers)において、STAMPの国際規格化もなされたことが発表された。QAMLプロジェクトに属する者として、最も知りたいのは、AIへの展開。Automobiles」が最もAIを取り扱っていた。STPAの分析結果をヒューマンシナリオとソフトウェアシナリオに分けて作成し、コントロールストラクチャに安全モニタ/保護機構を追加して、その要求事項を抽出していることなどが特徴的であった。STPA適用により、想定以上の多くのリスクが洗い出され、プロジェクトは公道での実験をキャンセル、今後は知覚ソフトウェアの開発のみに注力するという。ちなみにAIへの本格的な適用研究はまだ始まったばかりで、2年計画でJAXAと共同研究も始まるそうである。STAMPによるAIの安全性分析はこれから本格化するところだが、今までの蓄積をもとにAIの安全性分析の実用的な技術となっていく可能性は高いと期待する。参加報告2019年4月1日から2日間、国際会議SysML2019が開催された。私はこの会議に参加したのだが、語弊を恐れずに言えば非常に「楽しい」会議だったので、ぜひ本記事で紹介してみたい。詳細な内容の記事は『コンピュータソフトウェア』に寄稿予定である。この会議は今年で2回めとなる新しい国際会議であり、計算機システム(System)と機械学習(ML、MachineLearning)という2つの研究トピックの学際領域における研究発表を行うという趣旨のもので、機械学習を実用するためのソフトウェア・ハードウェア全般が対象となる。本年の参加者は515名で、第1回である昨年の292名から1.8倍程度に増加している。それ以前はNIPS(現NeurIPS)等機械学習分野の会議の併設ワークショップとして数度開催されていたが、聞くところによればその頃の参加者は50名程度だそうで、数年で実質10倍の規模になった。その中での産学の内訳は、企業から68%、大学から29%とのことだった。主だった参加者の所属としては、企業はFacebook、Google、Amazon、Intel、Microsoftなど、大学はスタンフォード大、CMU、カリフォルニア大学バークレー校、ETHなど、とのこと。プログラムに関しても、昨年は招待講演が大半を占める1日のみの開催で開催実績だけが先行したイメージだったが、本年に関してはシングルトラックながら2日間に渡って質の高い発表があり、また採択率も16.9%と、立派な国際会議に成長した印象を受けた。プログラムの構成は、先述の通りシングルトラックで、基調講演2件、研究論文発表4セッション32件、ポスター・デモ発表が15件であった(さらに口頭発表した研究もポスターに同時掲載していた)。https://youtu.be/uRfp-reEJQ0))。各発表の詳細は『コンピュータソフトウェア』寄稿の記事に取り置くとして、この会議に参加して強く感じたのは『機械学習のための〇〇』といった研究が今強く求められているということである。急速な発展と社会への普及を遂げるにつれ、大きく成長した機械学習を既存の情報科学の中でどう位置づけるべきか、あるいは逆に機械学習の社会実装のために既存の情報科学をどう用いるべきか、が今社会から問われていて、この会議はそうした社会からの強い要求に基づいて登場したものなのだ。参加してみてその熱量の大きさに私は強く感銘を受けた。応用を踏まえた研究を進めている諸氏は多いはずだが、ぜひ「機械学習のための」諸分野の研究が集うこの会議への参加を検討してみてはいかがだろうか。機械学習分野とシステム分野それぞれの見地から同時に良い示唆が得られるのではと思われる。次回SysML2010は開催だけは決まっているが詳細は未定である。今年と同じスケジュールで開催されるとするなら、論文投稿締切は9月頃になろうかと思われる。(MLSE)でもこの会議とほぼ同様のトピックを扱っているので、こちらへの参加もぜひ検討してみてほしい。