掲載された記事「現場から見た画像処理の将来像」を一部加工し、転載しています。IIoT(産業用IoT)を実現させ、新たなモノづくりを創造するために、生産設備の在り方の見直しが進んでいる。部長代理の高橋義広氏に話を伺い、現在の画像処理技術が抱える課題と目指すべき将来像を紹介する。半導体工程のトータルソリューションを提供する新光電気はじめに、新光電気工業(以下、新光電気)の事業内容について教えてください。高橋氏:新光電気は、半導体実装のさまざまな要素技術を時代の要請に応じて深化、発展させることにより、半導体工程のトータルソリューションを提供しています。PC、スマートフォン、車載向けをはじめとした多彩な製品群は、世界中の人々の便利で安心、安全な暮らしを支えています。最近では、IoT、ビッグデータ、AIなどの広がりが、経済や社会の仕組みに変化をもたらしはじめ、従来とは次元の異なるイノベーションを生み出す可能性を秘めています。当社はこのような状況下にあって市場や技術の方向性をしっかりと見定めながら、ICチップと基板をつなぐインターコネクトテクノロジーをベースに、プロアクティブな製品開発を進めています。モノづくりの革新を継続的に取り組むことにより、今後もお客さまのビジネスに貢献していきます。当社には社内向けの設備開発のみならず社外にも設備を外販する部門があります。主力製品の基板分割機では、富士通研究所が開発した切断ルートの自動作成プログラムにより、設定作業を短時間で対応できるようにして、差別化を図っています。外販装置HALCON導入の経緯とディープラーニングへの取り組み新光電気では、検査設備を開発する上で、さまざまな画像処理ユニットやライブラリを使用してきたと伺っています。最終的に「HALCON」を導入されましたが、そのメリットをどのように感じていますか。高橋氏:検査設備の開発で一番大切なことは、要望される設備をタイムリーに提供することです。そのため“検査の自動化を実現する”という課題の解決と“設備の開発スピードをアップする”ことが重要です。これら2つの課題を解決するため、2010年にHALCONを導入しました。HALCONの多彩な機能はそれらの課題解決に加え、効率的なソフトウェア設計を容易にしてくれます。HALCONを活用して開発した検査設備は、不良の検出力や処理能力が優れており、人による製品の全数検査を廃止し、安定した品質保証と大きなコストダウン効果を実現してきました。今回、ディープラーニングを活用されたのはなぜでしょうか。高橋氏:将来を考えると、少子高齢化による労働力の減少に対して、今まで以上にさまざまな分野で自動化が求められます。さらなる設計業務の効率化も要求されます。当社では、Verify工程にディープラーニングを活用することが、まさに効果的な適用法だと考えています。検査工程におけるVerifyとは、検査装置が不良と判定した対象物に対して、より精度の高い再検査を行う工程です。そこにはまだ人による作業が残っており、顕微鏡越しに製品の光沢、色つや、表面の粗さなどを観察し、経験から得られた判定基準との比較で良否判定するという官能検査が存在します。人による検査は優秀なのですが、検査員によって判定にバラツキが出ることや、同じ人が検査をする場合でも、その日の体調などによって良否判定にバラツキが発生するという課題もあります。そこで、優秀な検査員の判定結果のみを使ってディープラーニングを適用すれば、判定のバラツキが改善され、その判定アルゴリズムが自動生成されることにより、ソフトウェア設計の効率化が期待できます。ランド検査結果例ディープラーニングを適用する際には、「良」か「不良」かのクラス判別結果だけでなく、結果の確かさを表す「信頼度」も活用します。信頼度が高いものはディープラーニングの判定結果を有効とし、信頼度が低いものは従来通り人に任せるところからスタートしていきます。量産稼働データを用いた検証による自動化のめどは立っており、今後3ヵ月から半年までに本格的な量産適用を開始する予定です。信頼度に基づく判定のイメージ工場内におけるディープラーニング適用の先駆けとなりそうですね。高橋氏:工場内でディープラーニングを適用することに関しては、当社ではトップ層からの強いバックアップもあり、検討を進めやすい環境になっています。ディープラーニングを導入する決め手はあったのでしょうか。複数の検査員による判定の正解率を、ディープラーニングが超えるとなれば、ディープラーニングへの適用に踏み出しやすくなりますよね。われわれも、多くの画像データを基に、量産評価のテストを何回も行い適正化をしてきました。人による検査の判定と一致した部分を自動化しています。今後、さらに精度を上げていくには、優秀な検査員が判定した画像だけを学習させることが考えられます。それで判定されたものであれば、自動化だけでなく、検査員に対しても一つの線引きができるので、人による検査のバラツキも抑えることが可能だと思います。現状におけるディープラーニングの課題ディープラーニングの検証結果はいかがでしたか。高橋氏:デザインが繰り返されるような部位の検査に対しては、これまでの人の作業を7割減らせるという効果が、量産評価により得られています。その一方で、良品としてのデザインに変化が大きい場合、効果を出すのはなかなか難しいです。当社が行っている検査は、高倍率の顕微鏡で確認し、視野は製品の一部をズームアップした状態で不良箇所を探すというハードルが高いものです。不良箇所を探す際の視野に映る背景のデザインは、ズームアップする位置により変化するため、ディープラーニングで不良と判断されたとしても、不良箇所に着目しているのか、良品の背景の違いに着目しているのか、の判断が難しくなります。△という対象物に対して、その背景が○なのか□なのかによって結果に影響が出る、ということですか。背景の変化によって正否を判定することが難しくなるのです。現状では、CADデータから背景デザインを引き出し、差分を取って背景を除去しています。ルールベースと相性の良いHALCONのディープラーニング機能であれば、将来的に、○、□を除去したり、○、□を考慮した上での判定ができたりするのではないかと期待しています。FA業界でのディープラーニングは、単に犬や猫を判定できるというレベルではなく、微細な差での判定が求められていることが分かります。大画像の中のわずかなものを効率的に見つけられることをディープラーニングで提案できるかどうかが今後のキーになるのかもしれません。高橋氏:FA領域へのディープラーニングの適用はまだまだ始まったばかりなので、今後いろいろな技術が蓄積されることにより、さらなる進化を遂げるのではないでしょうか。産業画像処理に特化しているHALCONには期待しています。AIメーカーとHALCONの違いFA業界でのディープラーニングは、単に犬や猫を判定できるというレベルではなく、微細な差での判定が求められていることが分かります。大画像の中のわずかなものを効率的に見つけられることをディープラーニングで提案できるかどうかが今後のキーになるのかもしれません。最近は、さまざまな企業がAIを活用した画像処理システムを提供しています。新光電気でもさまざまなディープラーニングサービスを評価されたと思いますが、HALCONとAIメーカーとの違いについてはどのようにお考えでしょうか。高橋氏:第3次AIブームに乗って、多くの企業がAIを検討していますし、私自身もAI活用を検討しています。課題解決をAIメーカーに丸投げする場合、自社の情報が含まれた画像をAIメーカーに提供することになりますし、それにより成果が得られたとしても、そこにたどり着くまでのAI活用ノウハウは自社に蓄積できません。テーマが変われば、AIメーカーに再度大きな投資をすることとなります。それに対して一から全てを自社で開発するとなると、それだけ大きな開発力を持つことが可能なのは大企業などのごく一部に限られると思います。そのように思われたのでしょうか。高橋氏:私たちも、技術者をGoogleのTensorFlowなどに代表されるオープンソースのセミナーなどに参加させたことがあります。そこで、多少の技術は身に付きましたが、HALCONと比較し、その精度に追い付くまでにかかる時間と労力を考えると、そういったことができる企業は限られると思います。そこで当社は、ディープラーニング機能はライブラリとして提供されているHALCONを選択することとしました。従来手法の画像処理機能とのマッチング(相性)も非常に良好ですし、やがてAIブームが落ち着き、多数乱立したAIメーカーが淘汰(とうた)されるであろうときにも、画像処理ユーザーに多く活用されているHALCONは勝ち残る可能性が大きいと判断しました。AIメーカーが淘汰されるとお考えなのですか。高橋氏:AIメーカーであれば、求められる画像を送り、分類結果を提供してもらうまでに数百万円から数千万円かかります。日本の製造業は少量多品種が多いため、分類に当てはまらないものが追加されれば、同じことを繰り返すことになります。各企業ともAIを活用し始めるために、1回はその工程を踏むことになるとは思いますが、リピートすることはないと思います。言えば、製品の良品、不良という企業の生々しい部分をメーカーに渡すのは、極力、避けたいと考えるはずです。最近のAIブームはいずれ終わりを迎え、メーカーは淘汰されていくのではないでしょうか。HALCONを活用した実績が増えていくことで進化、深化、新化が加速され、そこにAIの真価が生まれてくると思っています。今後のディープラーニングに、どのようなことを期待されますか。高橋氏:当社の検査工程で求められる分解能は非常に高く、不良もランダムな箇所で発生しますので、背景状況もさまざまです。いったものに適用するための学習は非常に難しく、前処理で工夫するか、高解像度カメラで撮像した巨大な画像にも対応できるようにする、といった工夫が必要になります。多品種少量生産が多い現場では、製品切り替え時の学習スピードを速める工夫も必要です。ディープラーニングによるデータ生成手法の一つであるGANは予期せぬことを学習させるリスクもあるので、現時点では学習データはできるだけ生画像を使うことから着手したいと思っています。今後、ある代表品種で得られた不良の特徴を、違う品種の良品画像と足し合わせることで違う品種の不良画像が生成される、といった使い勝手の良い機能が出てくることを期待しています。画像処理の将来については、どのようにお考えですか。高橋氏:3次元計測は重要なポイントだと思います。今までは、3次元計測を行う際、専用の計測装置メーカーに頼っていました。それが3~4年前から手頃で性能の良い3次元計測ユニットが市場に現れ、最近では2次元画像処理と3次元計測ユニットを組み合わせて運用する機会が増えてきました。高精度な3次元計測のハードルが下がり、徐々に2次元から3次元という流れに進んでいるのは間違いないと思います。現状、HALCONを用いた当社の検査装置の性能は高く、効率良く全数検査ができています。今後、Verify工程において、ディープラーニング、3次元計測、マルチスペクトルといった、新たな切り口の検査機能を組み合わせていけば、さらに自動化の領域が広がっていくと考えています。