Haoran Xie, Ph.D. Associate Professor Human-Centered AI Laboratory (XIE LAB) Japan Advanced Institute of Science and Technology (JAIST) Researcher(Associate Professor), Waseda University (Waseda) [ xie at jaist.ac.jp ]

Latest News

• 2025.07 Joined Waseda University as Researcher(Associate Professor), cross-appointment by JST BOOST.
• 2025.04 featured in JAIST Faculty Interview [LINK].
• 2025.03 Papers accepted in Frontiers of Architectural Research, CAADRIA2025, CHI2025, CVPR2025.
• 2024.08 JAIST-NSF-IRES Physical AI International Workshop 2024 will be held in JAIST.
• 2024.06 will serve as Conference Chair of NICOGRAPH International 2025. Welcome to visit Kanazawa and JAIST!
• 2024.01 will serve as program committee of CGI2024, CASA2024, Cyberworlds2024, NICOINT2024, IEVC2024.
• 2024.01 Our recent projects have been accepted in IEEE Access 2024, ICRA2024, IUI2024, IWAIT2024, CGIP2024, HCII2024.
• 2023.10 will serve as the Educator's Forum Chair of ACM SIGGRAPH ASIA 2024.
• 2023.08 Our AniFaceDrawing project has been reported by various medias: [ACM Technews] [TechXplore] [EurekAlert!] [alphagalileo] [JAIST] [Waseda] [ScienceDaily] [News8Plus] [日本の研究] [SINA] [QQ] [北陸放送] [北國新聞] [PC Watch] [CGWORLD]
• 2022.11 3-years-NSF-Project Physical AI Design (PI: Prof.Bo Zhu) has been launched. Please check project webpage here.

Short Bio

H. Xie is an Associate Professor at Japan Advanced Institute of Science and Technology (JAIST) and Waseda University. He was Assistant Professor (2018), Senior Lecturer (2020) in JAIST, Project Assistant Professor (2017) and postdoc researcher (2015) in User Interface Research Group working with Takeo Igarashi in University of Tokyo. Ph.D. and M.S. in Computer Graphics under the supervision of Kazunori Miyata from JAIST (2015), B.S. in Applied Mathematics from Anhui University (2006). Visiting Kent State University (2013-2014) working with Ye Zhao, University of Sydney (2011), University of California Davis (2012). Members of ACM, IEEE, IPSJ, Society for Art and Science. His researches have been reported by many medias including Daily Industrial News, ITmedia NEWS, TechXplore, China Science Daily.

[NSF IRES: Summer Research Intern Opportunity]: From 2022 Fall, we started to direct a three-year research project on Physical AI Design sponsored by NSF with Prof.Bo Zhu (PI) and Prof. Takeo Igarashi. We are actively looking for summer research interns in the areas of physics simulation, machine learning, and user interface in Dartmouth College, University of Tokyo and JAIST. More information about the internship can be found on the project webpage. (The applicant must be a U.S. citizen or permanent resident)

Research Vision

I believe emerging technologies (Information Science) are designed and created to enhance human capabilities and involve human in the loop for better performance and knowledge discovery (Knowledge Science). My main research interests are at Human-Centered Generative AI techniques and its applications as the boundaries (User Interfaces) for Augmenting Human Intelligence with Machine Intelligence, especially generative AI for professional designs (anime, architecture, fashion, robots, etc.), and human-centered AI technologies.

Our group conducts the education of both Information Science and Knowledge Science degrees for self-motivated PhD/Master students. We explore innovative research projects in Interactive Computer Graphics, Deep Learning, Image Generation, Human-Computer Interaction, Human Augmentation and Robotics with the following current main research topics: (For research introduction, please refer [JAIST][Interview][Sketch]．)


• Human-Centered Generative AI:
  • 2D Image Generation: sketch-to-image, anime generation, architectural design, fashion design, etc.
  • 3D Model Generation: sketch-to-3D, neural field, 3D architectures, 3D world reconstruction, etc.
  • Physical Intelligence: sketch-to-dynamics, fluid simulation, natural simulation, embodied AI, etc.
• Human-AI Interaction:
  • Sketch Interfaces: user guidance, drawing interface, generative models, etc.
  • Augmented Human Interfaces: supernumerary robotic limbs, soft robotic, wearable devices, etc.
  • Intelligent Interfaces: creativity support, human perception, virtual & augmented reality,etc.

Selected Projects (For more details, please refer to page Publications and Videos.)

Human-Centered Generative AI : Image Generation
	(GenAI4Architecture, Frontiers of Architectural Research 2024) [PDF]	(TexControl, NICOINT 2024) [PDF](Best Paper Award)
(T2I Spatial Control, CGIP 2024) [PDF](Best Presentation Award)	(DiffFaceSketch, IEEE Access 2024) [Project][PDF]	(AniFaceDrawing, SIGGRAPH 2023) [Project][PDF][Video]
Human-Centered Generative AI : 3D Model Generation
	(DualShape, IEEE Access 2024) [Video][PDF]	(Sketch2Cloth, NICOINT 2023) [Video][PDF]
Human-Centered Generative AI : Physical Intelligence
(DiffSmoke, 2024) [Video](coming)	(DualSmoke, CVMJ 2024) [Code] [PDF][Video]	(Sketch2VF, CASA2019, CAVW2019) [Project][Video] [PDF](Best Paper Nomin)
Human-AI Interaction : Sketch Interface
(AniFaceDrawing, SIGGRAPH 2023) [Project][PDF][Video]	(DualSlide, NICOINT 2023) [PDF][Video]	(DualFace, CVMJ 2021) [Project][Code] [PDF][Video] [Talk][CVM]
Human-AI Interaction : Augmented Human Interfaces
(Origami SRL, IEEE Access 2024) [Youtube][Youtube(short)][IEEE]	(AugLimb, AH 2022) [Project][Video][NEWS][PDF]	(RESTAIL, AH 2019) [Project][Youtube] [News] [ACM]
Human-AI Interaction : Intelligent Interfaces
(SpaceEditing, IUI 2024) [PDF][Youtube]	(GuideDNN, IUI 2023) [Project][PDF] [Video][Code]	(Selfie, IUI 2018-ws) [Project][PDF] [Youtube]
Others (Physics Simulations, Data-Driven Simulations, Robotics)
(BPActuators, RoboSoft 2021) [IEEE][Arxiv][Youtube][News]	(PanelAD, ACM SIGGRAPH, TOG 18) [Project][Youtube] [ACM]	(Light Rigid, Visual Computer 14) [Project][Springer] [Youtube]

Profile

• Researcher(Associate Professor)@Waseda University, 2025.07 - current
• Associate Professor@JAIST, 2023.04 - current
• Senior Lecturer@JAIST, 2020.10 - 2023.03
• Assistant Professor@JAIST, 2018.04 - 2020.09
• Project Assistant Professor@University of Tokyo, 2017.04 - 2018.03
• Postdoc Researcher@University of Tokyo, 2016.04 - 2017.03
• JSPS Research Fellow (PD)@University of Tokyo, 2015.04 - 2016.03
• Ph.D. (Computer Graphics)@JAIST, 2012.04 - 2015.03
• JSPS Research Fellow (DC2)@JAIST, 2014.04 - 2015.03
• Visiting Scholar@Kent State University, (2013)
• M.S. (Computer Graphics)@JAIST, 2010.04 - 2012.03
• Visiting Scholar@The University of Sydney, Australia, (2011)
• Research Student(Computer Graphics)@JAIST, 2009.10 - 2010.03
• System Engineer, Project Leader@USTC EBT, 2006.07 - 2009.09
• B.S. (Applied Mathematics)@Anhui University, 2002.09 - 2006.06

Grants/研究助成

1. (代表)科学研究費助成事業・挑戦的研究（萌芽）, 進化型画像生成モデルによる甲骨文字解読への挑戦, 2025-2028LINK
2. (代表)JST BOOST次世代AI人材育成プログラム（若手研究者支援）, 人間創作と画像生成の共進化インタラクションの開拓, 2025-2030LINK
3. (代表)科学研究費助成事業・基盤研究B, 物理法則に基づく制御可能な流体動画生成の研究, 2025-2029LINK
4. (代表)共同研究（株式会社Live2D）, イラスト原画の構造的要素分離に関する研究, 2025.7-2026.6LINK
5. (代表)研究拠点形成支援事業萌芽的研究支援(JAIST), クリエイティブ・フィジカルインテリジェンス研究の開拓，2025
6. (分担)NEDO,ポスト5G情報通信システ厶基盤強化研究開発事業,アニメクリエイター創出・制作支援のためのアニメ×生成AIの利活用に関する調査(PI:四倉達夫), アニメ制作における物理表現の制作手法調査，2024-2026LINK
7. (代表)研究拠点形成支援事業先端研究拠点形成支援(JAIST), フィジカルAIデザイン国際研究拠点，2024
8. (代表)栢森情報科学振興財団研究助成, 制御可能な画像生成AI技術による創作支援の新展開，2023-2025LINK
9. (分担)科学研究費助成事業・挑戦的研究(萌芽), コンピュータグラフィックスにおけるスケッチ駆動の流体シミュレーションに関する研究(PI:佐藤周平)，分担，2023-2026 LINK
10. (代表)研究拠点形成支援事業先端研究拠点形成支援(JAIST), フィジカルAIデザイン国際研究拠点，2023
11. (代表)中山隼雄科学技術文化財団設立30周年記念研究助成, プロジェクションマッピングによる遠隔ゲーム支援技術の研究，2022-2023 LINK
12. (代表)研究拠点形成支援事業萌芽的研究支援(JAIST), メタバースにおける創造活動支援，2022
13. (代表)研究拠点形成支援事業先端研究拠点形成支援(JAIST), クリエイティブAI研究拠点，2021
14. (代表)研究拠点形成支援事業先端研究拠点形成支援(JAIST), クリエイティブAI研究拠点，2020, LINK
15. (代表)科学研究費助成事業・若手研究, 複雑流体の事前計算によるインタラクティブな機能デザイン，2020-2023, LINK
16. (分担)立石科学技術振興財団助成研究A, ラフスケッチ画から高品質な3Dキャラクタを制作するための深層学習フレームワーク(PI: 福里司)， 共同研究, 2020 - LINK
17. (代表)中山隼雄科学技術文化財団助成研究A, プロジェクションマッピングによるゲーム支援技術の研究, 2020 - LINK
18. (代表)研究拠点形成支援事業萌芽的研究支援(JAIST), プロジェクションマッピング技術による創造活動支援，2019
19. 中山隼雄科学技術文化財団国際交流助成, Computer Animation and Social Agents (CASA 2019),2019 LINK
20. (代表)船井情報科学振興財団船井研究奨励賞金, 複雑流体影響下における物体のダイナミックス表現に関する研究，2019 LINK
21. (代表)研究拠点形成支援事業萌芽的研究支援(JAIST),人間と機械の協働による創造活動支援， 2018
22. 小笠原科学技術振興財団国際研究集会出張助成, 事前計算パネル法による空気力学モデル，2018 LINK
23. (代表)科学研究費助成事業・研究活動スタート支援, スケッチによる複雑流体のデザイン支援，2017-2019, LINK
24. (代表)博士課程教育リーディングプログラム教員予算(東京大学), GCL学生育成，2017. LINK
25. (代表)深センイノベーショ ンコンペ国際コンペ研究助成金, 人間と機械のインタラクションによる人間拡張技術，2017-.LINK
26. (代表)エプソン国際奨学財団エプソン研究助成金, 乱流影響を考慮した機能的かつ創造的な設計の支援，2017. LINK
27. (代表)科学研究費助成事業・特別研究員奨励費, 乱流影響を考慮した様々な物体のダイナミックス表現，2014-2016. LINK
28. 北陸先端科学技術大学院大学支援財団学生研究奨励金 (UK), Computer Graphics International 2012， JAIST, 2012
29. 組織的な若手研究者海外派遣プログラム, シドニー大学への研究訪問，JSPS, 2011

Media/メディア

1. AI時代の創作の世界 人の感性を支援するデジタル技術, JSTサイエンスポータル（Science Portal）, 2024.10. [LINK]
2. 初心者のラフな線でも高精度なアニメ絵に　お絵かき支援する生成ＡＩ, 朝日新聞デジタル, 2024.04. [LINK]
3. 【JAIST】学生のZHANGさんがCGIP2024においてBest Presentation Awardを受賞, JAIST, 2024.02. [LINK]
4. 早稲田大の研究チーム、アニメーション生成AI技術を開発　初心者でもプロレベルに, 日刊サイゾー, 2023.09. [LINK]
5. テキストから3D顔モデル、テクスチャ、アニメーションなどを生成する様々なAIモデルが登場, CGWORLD.jp, 2023.08. [LINK]
6. 初心者のアニメイラストがプロ級に 新たな生成AI "AniFaceDrawing", MRO北陸放送, 2023.08. [LINK]
7. 生成式人工智能框架，帮你用手绘草图“一键生成”动漫风头像, 果壳硬科技, 2023.08. [LINK]
8. Scientists Develop AI-Powered High-Quality Anime Portraits for Beginners, Brighter Side News, 2023.08. [LINK]
9. New AI Program Purports to Let Even Beginners Make High-Quality Anime Character Portraits, Anime News Network, 2023.08. [LINK]
10. AniFaceDrawing: AI-powered Project Aims to Help Anyone Create Anime Character Portraits, Fagen Wasanni Technologies, 2023.08. [LINK]
11. AniFaceDrawing：为初学者提供基于生成式AI的高质量日本动漫肖像画, 煤油灯科技, 2023.08. [LINK]
12. AniFaceDrawing: Delivering Generative AI-Powered High-Quality Anime Portraits for Beginners, ACM technews, 2023.08. [LINK]
13. This new AI generates anime portraits from hand sketches and it's pretty awesome, ZME Science, 2023.08. [LINK]
14. 初心者でもOK　高品質なアニメ画を作れる生成AI技術を開発, 大学ジャーナルオンライン, 2023.08. [LINK]
15. ヘタなラクガキから綺麗なアニメ風キャラを生成してくれるAI！, ナゾロジー, 2023.08. [LINK]
16. JAISTなど、誰でもプロ並みのアニメ画を作成できる生成AI技術を開発, TECH+（テックプラス）, 2023.08. [LINK] [Infoseekニュース]
17. 生成ＡＩで高品質肖像画　先端大が技術考案, 北國新聞, 2023.08. [LINK]
18. 初心者でも高品質なアニメ画が描ける生成AI。早稲田大とJAISTが開発, PC Watch, 2023.08. [LINK] [Yahoo] [ｄメニューニュース]
19. 【プレスリリース】AniFaceDrawing: Delivering generative AI-powered high-quality anime portraits for beginners, 2023.08. [TechXplore] [BIOENGINEER] [EurekAlert!] [alphagalileo] [JAIST] [Waseda] [ScienceDaily] [News8Plus]
20. 【プレスリリース】初心者でも高品質なアニメ画を作れる生成AI技術を開発, 2023.08. [JAIST] [早稲田][日本の研究]
21. 【JAIST】学生の楠木さんらの論文が国際会議ICVR2023においてExcellent Oral Presentation Awardを受賞, JAIST, 2023.06. [LINK]
22. 日本研究团队推出 AniFaceDrawing，生成高质量动漫图片, Sina, 2023.06. [LINK]
23. New System Helps Remove Biases Found in AI Training Datasets, AZoRobotics, 2023.04. [LINK]
24. JAISTなど、画像の深層学習における共起バイアスを取り除くシステムを開発, ニコニコニュース, 2023.04. [LINK]
25. DNNの信頼性を高めてAIの社会実装・応用へと展開する, ビジネス＆パブリック アフェアーズ, 2023.04. [LINK]
26. 北陸先端科学技術大学院大・東大・JST、深層学習をより簡単により正確にする新しいインターフェイスを開発, 日本経済新聞, 2023.04. [LINK]
27. 【プレスリリース】Click away the bias: New system to make AI training easier and more accurate, 2023.03. [EurekAlert!] [techxplore][News8Plus] [newswise] [alphagalileo]
28. 【プレスリリース】深層学習をより簡単に、より正確にする新しいインターフェイスを開発 －AIのバイアスによる影響をワンクリックで軽減－, 2023.03. [JAIST] [東京大学][JST] [日本の研究]
29. 【JAIST】研究補助員のHEさんが情報処理学会コンピュータグラフィックスとビジュアル情報学研究会において優秀研究発表賞および学生発表賞を受賞, 2022.11. [LINK]
30. 【プレスリリース】人間拡張技術にかかわる研究者を発掘し、インタビュー形式でご紹介する『大学・研究者特集』を開始, アウロラ・アライアンス, 2022.10. [LINK]
31. 学生インタビューvol. 1「触覚グローブの研究開発」, Human Augmentation Labo, 2022.09. [LINK]
32. 【JAIST】インタラクション2022においてインタラクティブ発表賞（PC推薦）を受賞, 2022.03. [LINK]
33. 更轻更紧凑的“第三只手”！长度为真人手臂2.5倍,可帮助完成日常多种任务, 机器人大讲堂, 2021.10. [LINK]
34. 日研究人员发明更轻更长新型机械臂, 中国科学报, 2021.09. [LINK]
35. 生活を補助する第3の腕を開発中 スマウォのように暮らしの定番化を目指す, Yahooニュース, 2021.09. [LINK]
36. A compact robotic limb to support humans during everyday activities, Tech Xplore, 2021.09. [LINK]
37. AugLimb is the extra arm you didn’t know you needed, Arduino.cc, 2021.09. [LINK]
38. Video Friday：Your weekly selection of awesome robot videos, IEEE Spectrum, 2021.09. [LINK]
39. Best of Last Week – an augmented limb, Science X, 2021.09. [LINK]
40. “Extra” robotic arm promises to help with everyday tasks, The Clare People, 2021.09. [LINK]
41. AugLimb's Creator Thinks It Will Become as Popular as Smartwatches, Hackster.io, 2021.09. [LINK]
42. ドミノ倒し、どう並べるべき？リアルタイム“配置図”生成、プロジェクションマッピングで投影, ITmedia NEWS, 2021.08. [LINK]
43. 【JAIST】学生のWANGさんが国際会議NICOGRAPH International 2021においてBest Poster Presentation Awardを受賞, 2021.07. [LINK]
44. 【JAIST】学生のHUANGさんが国際会議NICOGRAPH International 2021においてBest Short Paper Awardを受賞, 2021.07. [LINK]
45. 【JAIST】修了生のLUOさんが国際会議NICOGRAPH International 2021においてBest Full Paper Nominee Awardを受賞, 2021.07. [LINK]
46. XLIMB@James Dyson Award, jamesdysonaward.org, 2021.07. [LINK]
47. AI现在能教你画画了, zhihu.com, 2021.05. [LINK]
48. 【JAIST】学生のDINGさんらのグループが国際会議Augmented Human 2021においてBest Short Paper Awardを受賞, 2021.05. [LINK]
49. プラ・風船で曲がる簡易アクチュエーター　北陸先端大が開発, 日刊工業新聞, 2021.05. [LINK]
50. 【JAIST】学生のHUANGさんと宮内さんがインテリジェンスデザイン国際シンポジウムにおいてBest Poster Awardを受賞, 2021.03. [LINK]
51. 収納できて気軽に使える“第3の腕”　小型ウェアラブルロボットアーム「xLimb」、北陸先端大が開発, ITmedia NEWS, 2021.03. [LINK]
52. プログラミングはこんな面白い使い方ができる！, KoKaNet, 2021.02. [LINK]
53. 【JAIST】協生AI×デザインリサーチコア主催「全集中！JAISTモノ作りワークショップ」, 2021.01. [LINK]
54. 谢浩然博士为我院师生作线上学术报告, Northwest A&F University, 2020.10. [LINK]
55. 【JAIST】謝助教のグループがAugmented Humanにおいて2nd Best Paper Award賞を受賞, 2020.06. [LINK]
56. 【JAIST】学生グループがNICOGRAPH Inl 2020にBest Paper Award賞とBest Online Presentation Award (Paper)賞を受賞, 2020.06. [LINK]
57. 【JAIST】学生がNICOGRAPH Inl 2020にBest Online Presentation Award (Paper)賞を受賞, 2020.06. [LINK]
58. 【JAIST】学生がNICOGRAPH Inl 2020にBest Online Presentation Award (Poster)賞を受賞, 2020.06. [LINK]
59. 【JAIST】謝助教の論文がWiley社刊行CAVW誌でTOP DOWNLOADED PAPERの1つに選出, 2020.05. [LINK]
60. 【JAIST】電子情報通信学会HCGシンポジウム2019において学生優秀インタラクティブ発表賞を受賞, 2019.12. [LINK]
61. 【JAIST】謝助教がCASA 2019においてBest Paper Nomineeに選出, 2019.07. [LINK]
62. 【JAIST】謝助教が公益財団法人船井情報科学振興財団　船井研究奨励賞を受賞, 2019.04. [LINK]
63. 【トレたま】座れるしっぽ, テレビ東京・ワールドビジネスサテライト, 2019.03. [LINK]
64. 座れるしっぽ、RESTAIL（レステイル）のご紹介, トレンドミックスジュース, 2019.03. [LINK]
65. 人類も猫になれる？感情を表現できる尻尾型デバイス誕生, ニコニコニュース, 2019.03. [LINK]
66. 腰掛けられる“しっぽ”、いずれは感情表現も可能に, ニュースイッチ(livedoor), 2019.03. [LINK]
67. 北陸先端大、“腰掛けられるしっぽ”開発　感情呼応で動く機能も研究, 日刊工業新聞, 2019.03. [LINK]
68. コカフェの時間, MRO北陸放送, 2018.09.
69. 古代已经有这么厉害的科技了？这四样东西让科学家们很困惑, 知乎, 2018.06. [LINK]

Contact

Tel:	+81-0761-51-1721
Address:	1-1 Asahidai, Nomi, Ishikawa, 923-1211, Japan
Mail:	xie@jaist.ac.jp

Copyright © Haoran Xie