EmoInstruct-TTS: Dual-Path Instruction-Guided Emotional Speech Synthesis

Abstract: Instruction-based controllable speech synthesis offers a flexible interface for specifying speaking styles and emotions through natural language. However, existing approaches often rely on coarse emotion labels and lack explicit mechanisms to model fine-grained emotion intensity and variability. In this paper, we propose EmoInstruct-TTS, a dual-path instruction-guided framework for fine-grained emotional speech synthesis. At the representation level, we introduce Emotion2embed, a semantic--acoustic emotion embedding trained under explicit supervision over 48 emotional states, including 27 Fine-Grained Emotion Categories and 21 emotion--intensity combinations. Under controlled conditions, Emotion2embed exhibits directionally ordered variations across discrete intensity levels, enabling structured modeling of graded emotional strength. To infer emotion embeddings from free-form instructions, we propose an Instruction-Conditioned Emotion Flow Model (ICE-Flow), which learns to generate instruction-conditioned embeddings using acoustically grounded emotion representations as supervision targets. The inferred emotion embeddings are integrated into an LLM-based synthesis pipeline to provide explicit and controllable emotional guidance, while semantic planning is handled by the language model. Experimental results show that EmoInstruct-TTS improves emotional controllability and speech naturalness over strong baselines, particularly in modeling fine-grained emotion intensity variations.

The dual-path instruction-guided synthesis pipeline of EmoInstruct-TTS

Contents

21 Emotion–Intensity Combinations for Male

Emotion Text EmoInstruct-TTS CosyVoice 2.0 CosyVoice 3.0
Slightly Normal Very Slightly Normal Very Slightly Normal Very
Happy 嘿嘿，知道好处了吧，以后也要放心让我出去玩哟！
好哎，就知道我哥最好了，让我查查附近有什么好吃的！
哎呀，舒展一下真畅快，我现在状态非常好哦！
Angry 居然被小孩子看不起了，可恶，你们给我等着！
你真是个骗子，在这方面，跟你那疯子哥哥没什么两样！
你也参加过吗？这个俱乐部太不讲武德了！
Anxious 太慢了，效率太低了，这是不可能在二十四小时内完成的，也许要花上几年，几个月。
鉴于我们时间紧张，请允许我略去无用的细节，只用最简单的比喻来解释。
谁看到我的望远镜了吗？把它递给我一下，好吗。
Sad 但是因为忙，我和她见面的机会也越来越少了。
我不明白，我无法理解。
所以我帮不上大家的忙了吗？
Surprised 脉搏很微弱，怎么会？明明应该还在急救时限内的！
空降什么的？好像只有电影里才会用到吧！
不敢相信？这么简单的题就把我直接送出去了！
Fondness 和我争夺制空权？嗯，很有勇气！
这时候的风最舒服了，让我们起飞吧！
坚韧、勇敢、不轻言放弃，做的真棒呀！
Fear 你听到了吗？我……我怎么感觉好像听到有人在哀嚎。
快看，那边飘动的影子，该……该不会是刺客吧！
你……你这是要干嘛？鬼鬼祟祟的，吓人。

21 Emotion–Intensity Combinations for Female

Emotion Text EmoInstruct-TTS CosyVoice 2.0 CosyVoice 3.0
Slightly Normal Very Slightly Normal Very Slightly Normal Very
Happy 嘿嘿，知道好处了吧，以后也要放心让我出去玩哟！
好哎，就知道我哥最好了，让我查查附近有什么好吃的！
哎呀，舒展一下真畅快，我现在状态非常好哦！
Angry 居然被小孩子看不起了，可恶，你们给我等着！
你真是个骗子，在这方面，跟你那疯子哥哥没什么两样！
你也参加过吗？这个俱乐部太不讲武德了！
Anxious 太慢了，效率太低了，这是不可能在二十四小时内完成的，也许要花上几年，几个月。
鉴于我们时间紧张，请允许我略去无用的细节，只用最简单的比喻来解释。
谁看到我的望远镜了吗？把它递给我一下，好吗。
Sad 但是因为忙，我和她见面的机会也越来越少了。
我不明白，我无法理解。
所以我帮不上大家的忙了吗？
Surprised 脉搏很微弱，怎么会？明明应该还在急救时限内的！
空降什么的？好像只有电影里才会用到吧！
不敢相信？这么简单的题就把我直接送出去了！
Fondness 和我争夺制空权？嗯，很有勇气！
这时候的风最舒服了，让我们起飞吧！
坚韧、勇敢、不轻言放弃，做的真棒呀！
Fear 你听到了吗？我……我怎么感觉好像听到有人在哀嚎。
快看，那边飘动的影子，该……该不会是刺客吧！
你……你这是要干嘛？鬼鬼祟祟的，吓人。

27 Fine-Grained Emotion Categories for Male

Emotion Text EmoInstruct-TTS CosyVoice 2.0 CosyVoice 3.0
Arrogant 嗯，长官，赶快联络你们的人吧，我们老大的耐心可是很有限的。
行了，流程我不想再听一遍，直接告诉我你们能不能解决。
这种情况你自己处理不了，就尽快叫能做主的人来吧，我没时间等。
Sincere 我不是临时起意才说这些，而是反复想过之后，觉得有必要把真实想法告诉你。
如果有哪里处理得不够妥当，那是我的问题，我愿意为此承担责任。
我说的每一句话都没有夸张，只是希望事情能在清楚和尊重的前提下继续。
Grateful 谢谢你，我工作的时候呢，不习惯吃东西的。
要没有你的支持，爸爸的工作能干的这么好吗？这是爸爸说实话，真的。
老师，如果没有您的话，我也不可能会有这样的企业。
Excited 哎哟，我的妈呀，真是暴珍天物啊。那个松饼已经涂满了蜂密蛋糕，插上了蜡烛，红烧肉，掺满了卤汁，一天一口都没吃。
对我来说，这一刻比你想象得要重要得多，所以我才会这么情绪化。
康熙的意思，你赶紧过来把他挪开，没想到看爹的比他脾气还大，干嘛呢？
Confused 得罪你的是我，跟韩志一点关系都没有，你干嘛？老是针对他。
怎么这么臭？是我跟您说，我这是后半夜就熬出来了。
我就不明白他这手举这么高，是打算干嘛呀？
Conquettish 我自己也挺尴尬的，人家魏总执意邀请，我也不好拒绝嘛。
人家真的不是故意惹你生气的啦，只是太在乎你了，所以才会有点小情绪，你就原谅我一次嘛，好不好。
我明明已经很乖很听话了，可你不看我一眼，我心里就酸酸的，好像被全世界冷落了一样。
Pained 不对不对，怎么连呼吸的时候胸口都在疼，这是撞到哪儿了？
刚才那一下力气也太大了吧，感觉整个人都懵了一下。
哎呀，我怎么觉得我的头还有点晕呢？
Disgusted 你们为什么会非提他不可，难道我们之间就没有什么可以提的吗？
我不喜欢他，看你的眼神，不喜欢他挽着你的手，更不喜欢你，替他说话。
一个做过牢的诈欺犯，一个不断骗人的骗子，还故意挑选两个男人之间的对抗。
Nostalgic 小海好久不见，我想你想的都做梦了。
那里的田埂是不是还留着熟悉的欢笑？
我依稀看见小孙孙牵着您的手走过倒浪的背影。
Relieved 刚意识到这件事真的不需要我再继续扛着的时候，我整个人都松了一下。
之前一直没察觉，其实身体早就累了，只是心里那根弦一直绷着，不敢放。
不是失落，是那种不用再反复盘算，不用再担心下一步的空。
Caring 别着急，有他在，让他别放弃努力了多年已经快要唾手可得的梦想。
无论怎么样，一直都是他牵着他的手，对他说，别担心。
哎，你别这样啊，石头你真的不能这么对你自己的爸爸妈妈，你知道有个家多好呀。
Curious 我们为什么难以拒绝一些自己不想做的事儿？
翁叔过节好，你那儿是不是有条大白蛇去盗仙草了？
孩子跑一边踩边哭，哎，别打我，别打我妈妈，后边就追啊，双喜儿呢，抱着肩膀，倚着门看着，为什么这孩子没那么淘气？
Awe 诸葛先生的机智公瑾佩服不已，一招校歌合唱，就将我的制服部队化解于无形。
我可以冒昧的，请问张总和夫人当初是因为什么样的原因，让你们终于鼓起勇气，向老板争取这段感情。
我们最高贵的罗马共和国统帅罗马之父和捍卫者，您大驾光临，我感到无上荣幸。
Pleading 我已经做到你要我做的，你答应我的，也请你不要忘记。
那就请大仙放那白蛇一条生路，让他回家救人要紧。
我真心希望你能再给我一次机会，认真听我把话说完。

27 Fine-Grained Emotion Categories for Female

Emotion Text EmoInstruct-TTS CosyVoice 2.0 CosyVoice 3.0
Calm 先别急着下结论，把目前掌握的情况完整梳理一遍再说。
我需要看到的是事实本身，而不是推测或者情绪判断。
这件事可以处理，但前提是每一步都要清楚。
Pity 这条大蛇还真有灵性，我不由动了恻隐之心。
也许这就是天意吧，真是委屈你了。
如此严寒，实在难以想象，有人能在这种环境下生存。
Satisfied 事情终于落定了，心里一下子安静下来。
说不上多激动，就是一种刚刚好的感觉。
刚才还在反复确认细节，生怕哪里出问题，现在再看一眼，好像真的没什么需要再改的了。
Expectant 如果有办法把这风景记录下来，带回去给孩子们看就好了。
如果运气站在我们这边的话，也许明天你们就能回上层去了。
我就知道你的选择一定能让我满意。爸妈说到这话，一定会喜出望外的。
Disappointed 没有发现任何被害人的身份信息，可能要从消失人口的数据库里慢慢排查。
以前我觉得你这人还行，现在你顶多就算个冷血动物。
我费了这么多年的心血，辛辛苦苦培养起来的品牌，我们中国人自己的品牌。
Lyrical 独自彷徨，在悠长悠长又寂寥的雨巷。
度量了古铜色的臂膀，咸色的汗水一滴滴。
在林立的脚手架与脚手架之间，早已搭好了柔韧的安全网。
Bored 现在这样坐着，连时间流动的感觉都变得很慢。
周围并不安静，可我还是感到一种空荡。
这种感觉不像疲惫，更像是对什么都提不起反应。
Envious 珠宝公司老板跟大明星为了他私下对决，哼，好令人羡慕哦。
因为自己的平庸，所以会去羡慕那些走到哪里都带着光的人。
哎呀，能飞上天空可真好啊，我要是有翅膀，肯定飞得比他们好。
Ashamed 我怕这超载的消息一旦传出去，那好不容易安抚下来的那个死难者家属，又得凭地起风波了。
哎哟，不好意思，不好意思啊，我刚刚有什么得罪的地方，你就别跟我计较了啊。
一回头瞧见乾隆，乾隆这脸一红，嗨，心说，我不是这意思，可这会儿解释不清了。
Serious 我知道你们之中有人认为是我拿走戒指，要搜就搜，我才不怕。
不听我的话，他跑了，微臣我追到这儿，请老佛爷把他赏给微臣。
五月五端阳节，逼得千年蛇妖现原形，吓死自己的丈夫。
Regretful 每次当我下定决心要恨你的时候，你又会做一些事情，让我不知道该怎么办。
暴雨就要落下，我们也无法给您分发任何实验仪器。
哪想到知道您走的时候，我还在长沙忙着开会。
Normal 而且那个叫赵副矿长提出所有人的食宿安排，由港口宾馆负责。
只要把他们情绪安抚下来，我想他们该从哪儿来就回哪儿去了。
如果这林中恒真的是凶手的话，那么以他的能力以及那两路兄弟以往的战绩，林中恒一定能逃得掉的。
Proud 嗯，大爷有钱了，你就给我摆就得了，就我们俩人。
我姓房的闯荡江湖这么些年，什么人? 我一眨眼就看看八九不离十。
我老爸呢是这儿县议员又是高票当选的，所以啊他的意见就代表这里多数乡民的意见。