今回のバイオテクノロジー科(バイオ科)ブログは、IoT＋AI科とコラボレーションし、微生物のコロニーを自動計測するモデルをつくった卒業研究をご紹介します。

バイオ科では、大腸菌や黄色ブドウ球菌、酵母といった微生物を培養する実験があります。微生物を培地に撒くと、培地の栄養をとりながら分裂増殖し、１～２日も経つと肉眼で観察できる菌の集合体(コロニー)を形成します。バイオ科では、いつも手作業でコロニーを数えているのですが、これがなかなか骨の折れる作業なのです。

2023年秋にIoT＋AI科の藤原瑞卿先生にコロニー計測を自動化できないかと相談したところ、快く引き受けていただき、物体検出アルゴリズムのYOLOで学習させたコロニー自動計測モデルを開発してくださいました。そのときのエピソードをブログにまとめていますので、こちらをご覧ください。

ブログ：「一瞬でコロニーを検出できる画像処理モデルを作れますか？」

その当時は、シャーレ20枚分のコロニーデータでモデルを作成していただいたので、コロニーデータが少なく、モデルの再現率(コロニー検出率)が低いのが課題でした。「今度はぜひ、学生も交えて自動計測できるモデルを一緒に開発しましょう!」と藤原先生と約束していたのですが、2024年度の卒業研究でその夢が実現することになりました！

2024年11月にバイオ科とIoT＋AI科の学生でプロジェクトチームを結成しました。まず、バイオ科がデータに使うコロニー培地を大量に作ります。そして、IoT＋AI科にご協力いただき、YOLOで学習させたコロニー計測モデルを作成することにしました。

今回は、バイオ科の実験でよく使用する酵母、黄色ブドウ球菌、大腸菌のコロニーを、それぞれ識別でき、数もしっかりカウントできるモデルを完成させることが目標です。まずはバイオ科の学生が、データ用のコロニー培地を各微生物50枚ずつつくりました。

コロニー培地をスマートフォンで撮影して画像データにします。反射や影、手ぶれのない写真を撮るため、工夫を凝らしました。

画像データが150枚（各微生物50枚ずつ）集まりました。ここから、いよいよIoT分野に突入です！

物体検出アルゴリズムYOLOで、コロニーをラベリングして、「これは大腸菌のコロニー」「これは黄色ブドウ球菌のコロニー」と学習させていきます。学習の成果として、正しくコロニーを数えているのか検証テストをおこないました。もし、コロニーを見逃したり、誤認識していることがわかったら、学習をやり直します。このプロセスを繰り返し、精度を向上させ最適なモデルに仕上げていくのです。この一連の流れをフローチャートにまとめました。

ここから少しだけ専門的な話をします。

YOLOの学習が正しくできているかを評価するとグラフが出力されます。さまざまなグラフがありますが、今回は、微生物を正しく分類しているか（適合率）とコロニーを検出できているか（再現率）の両方のバランスがよいモデルを作成したいので、F1カーブというグラフで評価しました。

下図がF1カーブのグラフです。縦軸がF1値（適合率と再現率のバランス）、横軸がconfidence　threshold（信頼度の閾値）です。信頼度の閾値は「この物体はコロニーだ！」とモデルがどれだけ自信をもって物体の存在を確信しているかを0～1の数値で表したものです。例えば信頼度の閾値が0.9なら「90％の確信でこれはコロニー」と判断していると言えます。この閾値を高く設定すると、確信度の高いコロニーだけを出力するので、誤検出は減りますが、見逃しが増える可能性が高くなります。

F1カーブはさまざまな信頼度の閾値でF1値がどのように変化するのかを表したグラフです。今回はF1値が80％以上になるモデルの構築を目指しました。

下の左図は、はじめに学習したときのモデルを評価したF1カーブのグラフです。信頼度の閾値が0.39のときにF1値が71％で最大になりました。F1値を80％にあげるために、データセットの見直しとモデルの再学習を繰り返した結果、右図のように改善され、閾値が0.497のときに、F1値が83％まで上げることができました。目標達成です！

このモデルを使って、スマートフォンにコロニー画像をかざすとコロニーを計測するアプリケーション(アプリ)を開発することにしました。アプリのソフトを使って、バイオ科の学生がデザインを作成しました。

常夏の島で微生物たちが海水浴を楽しんでいるイラストです。どの微生物も30℃以上で培養するので、夏のイメージがぴったり。

浮き輪で泳いでいるのは、きっと酵母ですね。形状が卵形で出芽増殖している様子を上手にデフォルメしています。ビーチボールで遊んでいるのは黄色ブドウ球菌でしょうか。黄色の球菌でブドウ状に集まって増殖する様子がうまく表現されています。アイコンもコロニーをイメージしたかわいいデザインです。バイオ科の学生が、こんなにデザインの才能があるとは！

さて、このアプリの使い方ですが、操作は簡単です。アプリを起動して、コロニーの写真を撮るか、フォルダの画像を貼り付ければコロニーを計測してくれます。実際に酵母のコロニー画像を貼り付けて計測した結果がこちらです。

微生物のコロニーを酵母と認識して、正しくコロニー数を計測しました。すばらしい成果です。

ただ、まだ課題もあります。酵母、黄色ブドウ球菌、大腸菌の単独コロニーは比較的再現率が高いのですが、3種混合したコロニーを読み込ませると、誤認識やコロニー見逃しが多くなってしまいました。

今後は、もっと信頼性の高いモデルにするために改良が必要です。全体的にまだコロニーのデータが少ないので、データ数を増やすことやラベリングの質を上げることも課題としてあがりました。また、今回は3種類の微生物を一緒に学習させましたが、1種類ずつモデルを作成することで精度を向上できるかもしれません。

「この課題を後輩が引き継ぎ、モデルの精度をあげてもらえれば嬉しいです。」とバイオ科2年のSさんとHさん。バイオ科の実験でも自動コロニー測定アプリを活用していきたいと思います。

最後に、IoT＋AI科の学生さんと藤原先生のご協力に心から感謝申し上げます。みなさまのおかげで、バイオ科の学生にとって新たな視点や学びを得ることができました。ありがとうございます。医療や農業分野でIoTを取り入れた技術革新が目覚ましい今、バイオ科とIoT＋AI科で協力して取り組めることが、これからもたくさんありそうです。また一緒に学びの機会をつくっていきましょう。

🔶IoT＋AI科はこんなところ🔶

IoTとAIの学生は、2年間かけてネットワークや機械学習などを学びます。「ヒーローズリーグ」などのコンテンツに作品を応募して世界の人に発信し、卒業後、インフラや医療などの業界でIoTエンジニアとして働くことができます。自分のアイデアを実現できるエンジニアになりたい人におすすめの学科です。

IoT＋AI科のオープンキャンパスでは、トイレの空き状況確認IoTシステムやスマホやタブレットで操作できるラジコンカーの制作など面白いメニューがたくさんあります。ぜひ見学にいらしてみてください。

IoT＋AI科のHPはこちら

IoT＋AI科のXはこちら

★バイオテクノロジー科の卒業研究ブログ　バックナンバー★

・2024年度　バレイショでんぷん（片栗粉)＋胃腸薬＝お汁粉味⁉

・2023年度　卒業研究発表会

・2022年度　卒業研究発表会　～こんな先輩になりたい！2年生が1年生に貫禄を見せる～

・2021年度　バイオテクノロジー科　卒業研究発表会

・1本3300円のバラ！(2020）

・早口で3回言えたらすごい！　ジアリルジスルフィド＆ベータクリプトキサンチン(2020）

・毛だらけの葉(2020）

・自作しちゃいました！電気泳動装置(2020）

・プレ卒研って何だろう？

・捨てるのはもったいない！胡蝶蘭 再生への道(2021）

・加工食品から大豆由来のDNA検出　～納豆からは検知でき醤油からは難しい～(2021）

東京テクニカルカレッジ　バイオテクノロジー科講師紹介はこちら

バイオ科ブログのバックナンバーはこちら

バイオ科 公式X（旧Twitter）ほぼ 毎日更新中♪

バイオテクノロジー科　公式 (@TTCbio)

バイオ科の学生Twitterは2期～4期　毎週金曜日更新☆

RJP学生　広報部Twitter（@BioRJP)

文責：宮ノ下いずる【170】