Running TensorFlow Serving #1
January 15, 2022•689 words
Steps
Keras モデルを TensorFlow Serving が扱えるフォーマットに変換する
TensorFlow Serving をローカルで実行する
画像を前処理、TensorFlow Serving と通信するサービスを構築する
これらのモデルを Kubernetes 上にデプロイする
次に Kubeflow を使用し、より簡単にデプロイできるようにする。
KFServing を使用したモデルのサービング
画像の前処理のための transformer と 予測のための後処理
saved_model フォーマットへの変換
Keras でトレーニングしたモデルは h5 という形式で保存されているので、 saved_model というフォーマットに変換する。
# model_converter.py
import tensorflow as tf
from tensorflow import keras
model = keras.models.load_model('/path/to/model.h5')
tf.saved_model.save(mod...
Read post