กรณีศึกษาของโปรเจกต์
นางเงือกที่มีชีวิตในต้นโอ๊กแห่งเทพนิยาย
นางเงือกเสมือนที่พูดคุยกับผู้เข้าชมแต่ละกลุ่มแบบเรียลไทม์ นักแสดงหญิงควบคุมใบหน้าและร่างกายของนางเงือกจากบูธที่ซ่อนอยู่ และโครงข่ายประสาทเทียมเปลี่ยนตัวละคร 3D ให้กลายเป็นภาพวาดที่มีชีวิต
- ลูกค้า
- ศูนย์แห่งชาติ “รัสเซีย”
- สถานที่
- ศูนย์ “รัสเซีย” มอสโก
- ปีที่แล้วเสร็จ
โจทย์
นิทรรศการต้องการตัวละครในเทพนิยายที่พูดคุยกับเด็ก ๆ ได้จริง ทั้งตอบสนองต่อกลุ่ม ตั้งปริศนา ให้คำใบ้ และเล่นมุก แทนที่จะเปิดวิดีโอที่บันทึกไว้แบบเดียวกันให้ทุกคนดู
สิ่งที่ Awake! ส่งมอบ
เราสร้างระบบควบคุมการแสดงแบบเรียลไทม์ นักแสดงในบูธทำงานโดยไม่ต้องสวมชุด motion capture: Kinect ติดตามศีรษะ ไหล่ แขน และนิ้วมือ ส่วน iPhone ที่ใช้ Live Link Face ส่งสีหน้าของเธอเข้าสู่ Unity นางเงือกปรากฏบนหน้าจอสามจอที่ติดตั้งอยู่ในต้นโอ๊กแห่งเทพนิยาย โดยซิงค์กับวิดีโอใน Resolume และแสงไฟในห้อง บนภาพเรนเดอร์ 3D มีการปรับสไตล์วิดีโอด้วยโครงข่ายประสาทเทียม ทำให้ตัวละครดูเหมือนภาพวาดที่มีชีวิต แผงควบคุมของผู้ปฏิบัติงานใช้สลับโหมดรอและโหมดแสดงสด และควบคุมสคริปต์การแสดง ได้แก่ ปริศนาเก้าข้อพร้อมคำใบ้ ตัวละครแมว และคิวแสงไฟ
ผลลัพธ์
ต้นแบบแรกที่ใช้งานได้จริงพร้อมการติดตามร่างกายและใบหน้าเสร็จพร้อมในวันถัดจากวันที่ได้รับโจทย์ โซนนี้เปิดให้บริการสำหรับทัวร์นำชมในเดือนธันวาคม 2025 และผู้เข้าชมแต่ละกลุ่มจะได้บทสนทนากับนางเงือกในแบบของตัวเอง
เทคโนโลยีและวิธีการ
Unity, การติดตามร่างกายด้วย Kinect, iPhone Live Link Face, การปรับสไตล์วิดีโอด้วยโครงข่ายประสาทเทียมแบบเรียลไทม์, Resolume, แผงควบคุมสำหรับผู้ปฏิบัติงาน