2023.03.23
技術関連

プログラミング知識ゼロからGoogleColaboratoryでAI始めてみた（５）

プログラミング知識ゼロからGoogleColaboratoryでAI始めてみた（５）

（前回記事の続きです）

お久しぶりです。IIUの鎌田です。

今回でGoogleClaboratoryはついに最終回です！

ほぼ1年越しでやってきましたが12月になると2022年も早かったなーとしみじみ思います。

さて、最終回はお待ちかねの学習と検証回です!

 

■学習フェーズ

まずは下記コードをコピペしてください。

  1. ################################
  2. ############# 学習 #############
  3. ################################
  4. import keras
  5. import glob
  6. import numpy as np
  7. import os
  8. from keras import models, optimizers
  9. from keras.applications.vgg16 import VGG16
  10. from keras.utils import np_utils
  11. from keras.models import Sequential
  12. from keras.layers.convolutional import Conv2D, MaxPooling2D
  13. from keras.layers import Dense, Dropout, Activation, Flatten, BatchNormalization
  14. from keras.preprocessing.image import ImageDataGenerator
  15. from sklearn.model_selection import train_test_split
  16. from PIL import Image
  17. from tensorflow.keras.optimizers import SGD
  18. from keras.callbacks import LearningRateScheduler
  19. from keras.callbacks import ModelCheckpoint
  20. ##設定#################################################################################################
  21. batch_size = 32 #ニューラルネットワークに何枚ずつ画像データを投入して学習させるか(とりあえず32で)(4の倍数だとだいたい上手くいきます)
  22. nb_classes = 3 #評価数を指定
  23. nb_epochs = 10 #用意した画像データを何周させるか
  24. test_size = 0.2 #用意した画像の何％を評価用に使うか(記入例0.20 = 20%)
  25. image_width = 224 #画像の幅
  26. image_height = 224 #画像の高さ
  27. #学習に使う画像フォルダを評価別に指定
  28. Excellent = “drive/My Drive/画像認識/初期データ/○”
  29. Average = “drive/My Drive/画像認識/初期データ/△”
  30. Bad = “drive/My Drive/画像認識/初期データ/×”
  31. folder = [Excellent,Average,Bad] #上記フォルダに対応させる(4フォルダあるなら4つ、5なら5)
  32. ClassNames = [“○”,“△”,“×”] #検証時に表示したいラベルを指定
  33. #学習モデルの格納場所とファイル名を指定
  34. json_file = ‘drive/My Drive/codeモデル/code_cnn_model1.json’ #学習モデルを使う際に必要なファイル（自動生成）
  35. best_weights = ‘drive/My Drive/codeモデル/best_weights1.h5’ #誤差関数が一番低い部分の学習モデル
  36. last_weights = ‘drive/My Drive/codeモデル/last_weights1.h5’ #最終エポックまでの学習モデル
  37. #######################################################################################################
  38. X = []
  39. Y = []
  40. for index, name in enumerate(folder):
  41. dir = “./” + name
  42. files = glob.glob(dir + “/*”)
  43. for i, file in enumerate(files):
  44. image = Image.open(file)
  45. data = np.asarray(image)
  46. X.append(data)
  47. Y.append(index)
  48. X = np.array(X)
  49. Y = np.array(Y)
  50. X = X.astype(‘float32’)
  51. X /= 255.0
  52. # 正解ラベルの形式を変換
  53. Y = np_utils.to_categorical(Y, nb_classes)
  54. # 学習用データとテストデータ
  55. X_train, X_test, y_train, y_test = train_test_split(X, Y, test_size=test_size)
  56. # 学習率の変更
  57. learn_schedule=0.9
  58. class Schedule(object):
  59. def __init__(self, init=0.001): # 初期値定義
  60. self.init = init
  61. def __call__(self, epoch): # 現在値計算
  62. lr = self.init
  63. for i in range(1, epoch+1):
  64. lr *= learn_schedule
  65. return lr
  66. def get_schedule_func(init):
  67. return Schedule(init)
  68. lrs = LearningRateScheduler(get_schedule_func(0.001))
  69. mcp = ModelCheckpoint(filepath=best_weights, monitor=‘val_loss’, verbose=1, save_best_only=True, mode=‘auto’)
  70. # CNNを構築
  71. vgg_conv = VGG16(weights=‘imagenet’, include_top=False, input_shape=(image_width, image_height, 3))
  72. for layer in vgg_conv.layers[:-4]:
  73. layer.trainable = False
  74. model = models.Sequential()
  75. model.add(vgg_conv)
  76. model.add(Flatten())
  77. model.add(Dense(1024, activation=‘relu’))
  78. model.add(Dropout(0.5))
  79. model.add(Dense(nb_classes, activation=‘softmax’))
  80. model.summary()
  82. # コンパイル
  83. model.compile(optimizer=SGD(lr=0.001), loss=‘categorical_crossentropy’, metrics=[“accuracy”])
  84. print(model)
  85. #訓練
  86. history = model.fit(X_train, y_train, batch_size=batch_size, epochs=nb_epochs, verbose=1, validation_data=(X_test, y_test), shuffle=True, callbacks=[lrs, mcp])
  87. #評価はevaluateで行う
  88. score = model.evaluate(X_test, y_test, verbose=0)
  89. print(‘Test loss:’, score[0])
  90. print(‘Test accuracy:’, score[1])
  91. #学習モデルを保存
  92. json_string = model.to_json()
  93. json_string += ‘##########’ + str(ClassNames)
  94. open(json_file, ‘w’).write(json_string)
  95. model.save_weights(last_weights)
  96. model.add(Dense(nb_classes, activation=‘softmax’))
  97. model.summary()

 

めちゃめちゃ長いコードですいません
これでも最低限学習できるようなシンプルなコードになっています。

早速使い方ですが、前回のコードと同じく#の中の設定をいじるだけにしました。

すべてコード上の説明通りなのですが、気を付けるポイントとして
画像サイズとラベルと学習モデルの保存先はしっかり確認してください。

実行するとプログレスバーで学習の進行度を教えてくれて、設定したエポック数分処理が終わると完了です。

 

■モデル精度確認フェーズ

学習モデルができたら下記コードを実行してみて下さい。

  1. ################################
  2. ############ 正解率 ############
  3. ################################
  4. import matplotlib.pyplot as plt
  5. acc = history.history[‘accuracy’]
  6. val_acc = history.history[‘val_accuracy’]
  7. nb_epoch = len(acc)
  8. plt.plot(range(nb_epoch), acc, marker=‘.’, label=‘acc’)
  9. plt.plot(range(nb_epoch), val_acc, marker=‘.’, label=‘val_acc’)
  10. plt.legend(loc=‘best’, fontsize=10)
  11. plt.ylim(ymin=0) #ymaxは変えずに、yminだけ変更
  12. plt.grid()
  13. plt.xlabel(‘epoch’)
  14. plt.ylabel(‘acc’)
  15. plt.show()

 

このコードを実行すると写真のような正解率をグラフで確認することが出来ます。

図１　正解率の出力

 

エポックごとに正解率が分かるのでちゃんと学習できているかどうかを確認することが出来ます。

このグラフがぐちゃぐちゃだったり、最終エポックの正解率が低かったりすると
モデルの精度が悪いので、学習の設定や画像データを見直してみて下さい。

ところでこのグラフ、2種類ありますが

青は学習に使ったデータの正解率青は学習に使ったデータの正解率で、オレンジは評価用(validation)データでの正解率を示しています。

学校のテストの時に一度解いたことがある問題と全く一緒だと簡単ですよね。

逆に習っている分野だけどそれが応用された問題だと難しかったりします。

それと同じで、AIも学習したのと同じ画像で評価するのは簡単ですが、学習に使ってない画像で評価するのは難しいわけです。

そのため学習していない画像でも、評価できるモデルが作れているか確認できるようになっています。

 

■検証フェーズ

最後に学習モデルを使った検証です。

下記コードを使って検証しました。

  1. ################################
  2. ############# 検証 #############
  3. ################################
  4. import os.path as op
  5. import numpy as np
  6. import matplotlib.pyplot as plt
  7. from keras.preprocessing.image import load_img, img_to_array, array_to_img
  8. from keras.models import model_from_json
  9. ##設定#################################################################################################
  10. json_file = “drive/My Drive/codeモデル/code_cnn_model1.json” #jsonファイルを指定
  11. weights = “drive/My Drive/codeモデル/best_weights1.h5” #学習モデルを指定
  12. test_image = “drive/My Drive/画像認識/テストデータ/code/ばつ/” #テスト画像が入ったフォルダを指定
  13. image_width = 224 #画像の幅（テスト画像もサイズを統一させておくこと）
  14. image_height = 224 #画像の高さ
  15. #######################################################################################################
  16. def TestProcess(imgname):
  17. modelname_text = open(json_file).read()
  18. json_strings = modelname_text.split(‘##########’)
  19. textlist = json_strings[1].replace(“[“, “”).replace(“]”, “”).replace(“\'”, “”).split()
  20. model = model_from_json(json_strings[0])
  21. model.load_weights(weights)
  22. img = load_img(imgname, target_size=(image_width, image_height))
  23. TEST = img_to_array(img) / 255
  24. plt.imshow(img)
  25. plt.show()
  26. np.set_printoptions(suppress=True)
  27. pred = model.predict(np.array([TEST]), batch_size=1, verbose=0)
  28. print(“>> 計算結果↓\n” + str(pred))
  29. print(“>> この画像は「” + textlist[np.argmax(pred)].replace(“,”, “”) + “」です。”)
  30. while True:
  31. while True:
  32. imgname = input(“\n>> テスト画像のファイル名を入力して下さい(「end」を入力して終了) ： “)
  33. if imgname != “end”:
  34. imgname = test_image + str(imgname)
  35. if op.isfile(imgname) or imgname == “end”:
  36. break
  37. print(“>> そのファイルは存在しません！”)
  38. if imgname == “end”:
  39. print(‘>> 終了しました。’)
  40. break
  41. # 関数実行
  42. TestProcess(imgname)

 

まずは、テスト用の画像を数枚用意してGoogleDriveのフォルダに入れてください。

そしたらコードの設定の部分で自動生成されたjsonファイルと学習モデルを指定します。

こちらの方が過学習を防いだ汎用的なモデルになっています。

これで実行すると、、、

「テスト画像のファイル名を入力して下さい」と表示されるので、拡張子を含めてテストしたい画像を入力して下さい。

そうすると私の場合はですが、下記画像のように○△×で評価してくれます。

図2　検証結果例

以上が学習から検証までのやり方です！

図２に「前回」「今回」とあるように、ここから私は何度も学習モデルを作成して検証を重ねました。

カスタマイズ要素としてはいくつかあります。

  • 画像の枚数
  • 画像のサイズ
  • 水増しした場合としなかった場合
  • 水増し枚数
  • エポック数
  • 評価クラスの数

などなど。

これらを変えてみて自分の理想の学習モデルを作ってみて下さい。

以上、GoogleColaboratoryでのAIの使い方講座は終了です。

ここまで読んで下さりありがとうございました。

ここからより良きAIライフが始まるのを祈っています。

それではまた別のブログで会いましょう！

ブログ一覧へ

Contact

各サービスの詳しい資料のダウンロードや、
ご相談・お問い合わせ等お気軽にお問い合わせください。

資料ダウンロード一覧へ お問い合わせフォームへ