最新の機械学習の成果を1型糖尿病患者の血糖管理に活用　車の自動運転に使用される機械学習を応用

オフライン強化学習により低血糖を増やさずTIRは大幅延長

　1型糖尿病患者の血糖値を目標範囲内に維持するために最適なインスリン投与を選択するため、効果的なクローズドハイブリッドループシステムを使用した研究が増えているが、これらに使用されているデバイスは単純なアルゴリズムにより制御されている。

　機械学習とは、データを分析する方法のひとつで、データからコンピューターが自動で学習し、データの背景にあるルールやパターンを発見する方法。近年では、学習した成果にもとづき予測・判断することが重視されるようになっている。

　医療や自動運転などの場面での活用が期待されているオフライン強化学習により、クローズドハイブリッドループシステムの血糖管理の精度をさらに高められると期待されているが、従来の制御アルゴリズムに比べ血糖値を目標範囲内に維持する時間が延長されることは示されているものの、その学習プロセスが不安定になる傾向があることが課題になっている。

　そこでブリストル大学工学数学部のHarry Emerson氏らは、コンピュータープログラムがさまざまなアクションを試すことで意思決定を学習する機械学習の一種である強化学習(Reinforcement Learning)が、安全性と有効性の点で、現在市販されている機械学習システムよりも優れていることを明らかにした。患者の血糖変動のデータからアルゴリズムが学習する強化学習を使用し、試行錯誤ではなく決定から学習することで、良好な血糖管理を達成できることを示した。

　研究グループは、「UVA/Padova グルコース ダイナミクス シミュレーター」内で利用可能な30人の仮想患者(小児・若年者・成人)の血糖管理での有用性を検証した。これは、FDAによって承認された、グルコースやインスリンの動態のモデルにもとづく、ヒト代謝システムのコンピュータシミュレータ。1型糖尿病の新しい治療戦略の前臨床試験での動物実験の代替として使用されている。

　7,000日分のデータが考慮され、現在の臨床ガイドラインにしたがいパフォーマンスが評価された。また、シミュレーターは、測定エラーや不正確な患者情報、利用可能なデータの量の制限など、現実での実装上の課題を考慮するように拡張された。

　その結果、オフライン強化学習により、安定したパフォーマンスを達成するために必要な総トレーニング サンプルは10分の1未満で済み、従来の機械学習と比較し、血糖値が目標範囲に収まった時間(TIR)は、低血糖イベントの増加なしに、61.6±0.3%から65.3±0.5%と大幅に延長できることが示された。強化学習により、ボーラスインスリンの誤投与や不規則な食事タイミングなど、一般的で困難な制御シナリオを修正できることが示された。

　「多くの要因が血糖変動に影響を与えるため、特定のシナリオに対して正しいインスリン用量を選択することは、困難で面倒な作業となっている。現在の人工膵臓デバイスは、インスリンの自動投与が可能だが、それを制御しているのは単純な意思決定のみ可能なアルゴリズムだ」と、Emerson氏は言う。

　「より安全でより効果的なインスリン治療を開発するために、強化学習を使用するのは大いに期待できる。すでに機械学習主導のアルゴリズムは、車の自動運転やチェスの対局などで、超人的なパフォーマンスを発揮することが実証されている。乗用車の自動運転の技術開発では、各国が競争を繰り広げている。これを事前に収集された血糖変動のデータから高度に個別化されたインスリン投与を実行するプログラムを作成するのに応用できる可能性がある」としている。

Machine-learning method used for self-driving cars could improve lives of type-1 diabetes patients (ブリストル大学 2023年6月15日)
Offline reinforcement learning for safer blood glucose control in people with type 1 diabetes (Journal of Biomedical Informatics 2023年6月)