Style Transfer AI Images (2)

風格轉移實驗之二

實驗概念

延續Style Transfer AI Images (1)的初步感想：Style Transfer應可以做為藝術家進行過去風格反思、重建、創新、演繹的工具，目的是追求超越、與可能性的推展。因此，這次我找到一些在2003年間在台北拍的照片、以及當時用Photoshop完成的構圖(尚未以其他媒材實現)，來進行Style Transfer運算。〈藍天之下 Under the Blue Sky〉(2004) (圖一)是我在師大美術系的畢業製作油畫作品，尺寸為200F，當時候用了厚疊的筆觸，讓顏料像是浮雕一樣的黏在畫布上，這次以這張作品的風格模型來進行，也就是讓風格、被轉換的影像都來自2003-2004年間。

圖一 藍天之下 Under the Blue Sky 油畫畫布 200F 李炳曄 (2004)

實驗過程

與Style Transfer AI Images (1)的步驟大同小異，同樣在Spell雲端運算平台上，花了超過14天來運算出風格模型(圖二)，再轉換為ml5.js可用的模型來進行風格轉移。

圖二 雲端平台Spell整整14天又15小時的運算過程

完成風格轉移影像


如同上述，這次就針對過去未完成的構圖、素材、風格來做實驗，完成影像如上，我歸納出以下幾點心得：

  1. 完成的畫面出現蠻多規律、重複的圖紋，造成影像看起來不太自然。尤其是原始影像是單一色彩平塗的地方，AI會嘗試模仿油畫筆觸來填滿，但又無法達到隨機性，看起來有點尷尬。
  2. 比較滿意的是「05構圖之一」、「06構圖之二」兩張，可見預先處理過的構圖、色彩較豐富的構圖，可以讓完成的圖像比較多變化。
  3. AI可將平面感強烈的影像轉為有深度感的影像，如「07線性」所示，這個我認為是有趣的，也有發展的空間。
  4. 「03火車貨櫃車廂」上的字體的筆觸效果不錯，未來或許可以結合影像風格和文字的語義來進一步創作。
  5. 「02建物」、「04旋轉梯建物」 由原本還算整齊的建物框架，轉為像是在燃燒的、自由的造型，這也算不錯。
  6. 整體而言，似乎看到了風格轉移作為創作的侷限性與可能性。侷限性在於：很容易掉入「風格套用」的無聊邏輯；可能性在於：若能在風格影像、原始影像、畫面中的語意此三方之間找到連接點，再思考展示的方式，應可以打造出有趣的空間。

Credits

Fast style transfer implementation in tensorflow by Logan Engstrom
Fast style transfer in deeplearn.js by Reiichiro Nakano
p5.js style transfer tutorial by Yining
p5.js: https://p5js.org
ml5.js: https://ml5js.org/
Python and Virtualenv: https://youtu.be/nnhjvHYRsmM