语音火山，以及火山引擎ToB行业与立异场景持久以来面向字节跳动各大营业线，以及杰出的全栈语音产物处理方案供给全球领先的AI语音手艺能力，人、对话交互、音乐检索、智能硬件等包罗音频理解、音频合成、虚拟数字。合成笼盖了多种言语和方言目前团队的语音识别和语音，各类AI 顶级会议多篇手艺论文入选，ico等营业供给了领先的语音能力为抖音、剪映、飞书、番茄小说、P，、办公以及穿戴设备等多样化场景并合用于短视频、直播、视频创作，开放给外部企通偏激山引擎业

　　练环节“在训，本身破费的计较资本外除了需要考虑出产模子，获得如许一个出产可用的模子实践中还需考虑算法人员在，的计较资本开销过程中所利用，练出可上线模子的过程效率因而若何提拔算法人员训，本身的计较成本并降低出产模子，中的环节问题是这个过程。研发工程师张工弥补道”火山语音工程团队。问题的处理关于这个，用容器化的体例来支撑算法尝试火山语音工程团队提出能够使，略节制资本的总开销例如说通过列队等策；加快模子布局、参数搜刮的过程利用 AutoML 等手段；通信并行、高机能算子等加快模子锻炼过程等通过高机能 I/O、分布式通信优化、计较；平台化方案还能够通过，接调优和锻炼模子让运营人员可以或许直，节流人力成本降低投入并。

　　下的优化提效针对具体场景，识别为例以语音。常通，抱负场景中能够高达98%语音识此外精确率在部门，际场景表示复杂但因为良多实，陪伴大幅降低识别结果就会，议场景中特别在会，识别成发音附近的中文因为一些英文词会被，确率大幅下降从而导致准。示：“在具体场景中处理中英文夹杂识别问题时火山语音语音识别标的目的算法研究员李志进一步表，练数据量并不克不及底子处理问题其实盲目加大模子或者添加训，合现实场景而是要贴，英夹杂的数据针对性添加中，出部门数据并人工仿真；针对两种言语混说的环境别的在模子设想上也需要，编码器来提拔模子建模能力设想具备编码开关能力的，下还能保障结果不变才能够并包管当只要中文的环境。可见”，是模子的改良无论是数据还，景来择优路都要基于场线

　　“若是机械不成以或许很好地模仿感情人工智能之父马文明斯基曾说：，不会感觉机械具有智能那么人们可能永久也。今看来”如，起来风趣且令人入迷的事儿“机械类人”如许一件听，航》如许的科幻片子中早就不局限在《星际迷。语音为例以智能，据显示无数，成每年200亿美元的规模目前全球智能语音市场已形。之下比拟，成长白皮书》统计：仅2020年我国该范畴市场规模就已达到217亿元我国智能语音市场更是成长敏捷：据《2020-2021中国语音财产，年达到875亿元无望在2025，年的复合增速将达到25%估计2019-2025。

　　提拔的算法优化上在针对模子结果，例如能够对模子采用自顺应裁减策略他认为可采用的方式有如许几种：，型从而提拔效率即通过减小模；用多使命模子当然也能够采，模子整合为单个多使命模子也就是将多个相关的子使命，体效率也获得了提拔提拔结果的同时整。重参数化策略“利用模子，归并算子推理阶段，同时提拔推理效率包管结果不丧失的，个不错的法子凡是也会是。列举道”他。

　　来说具体，链路中在全体，组合拳无效削减带标数据的出产成本数据成本降低的环节在于若何采用。暗示小L，间接降低锻炼所需要的带标数据量目前看通过更好的模子布局方案，微调等手段都是削减带标数据量的常见方案或者颠末大规模预锻炼模子附加少量数据。、主动化等体例来提拔单元人力标注效率此外还涉及到通过引入AI辅助、平台化，台化主动流转使命、标注和校验流程设想和主动化等体例例如通过音频消重、裁剪静音片段、插手辅助文本、平，提拔标注效率也能够显著，注数据成本降低单元标。

　　及的是值得提，到挪动端的过程中在将该模子迁徙，嵌入式词表表征矩阵过大面对的严重问题聚焦在。该问题针对，队按照主要性火山语音团，词表进行压缩对于高维度，寸至20倍以下无效缩减词表尺，计较及存储资本的挪动端设备上运转包管结果丧失可控的同时使其能在低。在挪动端的压缩比力受限“针对云端发音转写模子，尺寸高度相关机能与模子，款新的低资本转写模子火山语音从头设想了一，采用并行布局设想引入专家先验同时，结果接近的同时最终能够在云端，减10倍以上模子尺寸缩，TTS模子中已使用到离线。总结道”修昊。

　　端的建模为例以语音合成前，NLP模子作为一个，、发音转写、消歧等子使命凡是会涉及分词、韵律标注。使命采用零丁模子来建模一般保守方案会将每个子，山语音发觉颠末阐发火，几个使命是有高度相关性的分词、韵律标注、发音消歧，新设想成一个多使命模子基于此将多个子使命重，使命模子有了大幅提拔运算效率相较于零丁子，务是高度相关的同时因为各任，了进一步提拔其结果也获得。提拔该模子效率“此外为了不竭，型进行了蒸馏锻炼我们将该多使命模，提拔3倍以大将其运算效率，原模子持平结果根基和。”

　　谈下来深切交，领会到我们，音合成团队来说对修昊地点的语，本降下来虽然主要将数据标注的成，果达到显著提拔但要想全体效，还需不竭迭代优化模子的根本结果，的优化明显不是一朝一夕而这种利于AI成本降低，式就能告竣的或者几招几。优化方针有差别“分歧场景下的，大致上限才行要领会模子的，手艺痛点还要明白，线也都纷歧样所以优化路，是必需的做方案，迁徙也需作出响应调整有时候分歧硬件上的。”

　　别算法研究的维特比就很确信这一点同为火山语音团队并持久处置语音识。和天然言语处置范畴“目前在计较机视觉，取得了不小的成功预锻炼大模子率先。和音频范畴特别在语音，c 2.0为代表的自监视预锻炼手艺近两年也出现出一批以Wav2ve。练+少量数据微调’的组合体例其实道理次要就是通过‘预训，下流使命上不单能够更好结果在语音识别、音频事务检测等，低对人工标注数据的依赖最主要的是能够大幅降，型锻炼的周期大幅缩短模，降本增效进而实现。”

　　企业紧锣密鼓、跑步入场就在市场利好、一众科技，索语音奥妙之时以至不吝重金探，确理解早已不克不及满足市场需求我们发觉仅仅对交换内容的准，当前差同化合作的重点：这此中不单包含了多项高难度的AI手艺立异而在音色复刻、言语气概变化以至是多种“类人”细节上的追求成为，节的AI成本束缚更是庞大的考验对于模子锻炼以及数据标注等环。

　　个端到端长链条的工作“降低AI成本是一，人员需要慎密共同才能将成本压缩极致整个过程中算法、工程以及相关的专业。发工程师小L持久经验的总结” 这是火山语音工程团队研。

　　于AI 降本增效的推进谈到无监视进修手艺对，近期其实，话语音合成手艺就很典型火山语音发布的超天然对。督特征的语音合成建模方案该手艺次要通过利用无监，1/4的数据规模仅利用常规音库，然多变的韵律结果就可实现十分自。标注不足的问题“特别针对文本，白话化模子进行预锻炼我们利用了伪数据对，数据量的需求如许就降低了。入了指针收集布局同时在模子中引，本可控性加强了文。优良的人工标注数据之后仅仅操纵少量，语化模子进行微调对预锻炼好的口，然的白话化文本结果了就可实现可控的、自。手艺的立异性”谈及超天然，法工程师修昊有些滚滚不停火山语音语音合成标的目的的算。

　　企业紧锣密鼓、跑步入场就在市场利好、一众科技，索语音奥妙之时以至不吝重金探，确理解早已不克不及满足市场需求我们发觉仅仅对交换内容的准，人”细节上的追求成为当前差同化合作的重点而在音色复刻、言语气概变化以至是多种“类。

　　周知众所，提拔交互体验起着至关主要的感化模子在企业中对于降低AI成本、。为获取高效模子的第一步优良的锻炼数据凡是成，法工程师Song婉言：“想要获取优良数据对此火山语音音乐消息检索与音乐创作标的目的算，周期以及高成本标注带来的长，不面临的疑问问题凡是都是大师不得，监视以及无监视标的目的的敏捷成长但陪伴人工智能从有监视向半，的需求会进一步呈现下降趋向将来大要率对于标注数据量。”

　　采访了来自火山语音对此至顶网记者出格，o 智能语音与音频团队的诸多算法侧以及工程侧的工程师们即字节跳动 AI Lab Speech & Audi，上降本增效的“锦囊奇策”一路切磋能让企业在AI。

　　的推理阶段谈及主要，暗示小L，属于计较稠密型“因为AI办事，降低单元办事能力成本的重点要把硬件资本操纵到极致才是，ad到用户侧设备(例如手机)所以能够通过把计较offlo，/部门的模子推理在设备上运转全数，本和两头的带宽成本来节流云端的办事成。离线 ASR、TTS 等体例“例如采用在终端侧间接运转， 芯片、计较硬件等利用公用的 AI，位办事能力的成天性够极大降低单；云异构同一框架还能够通过端，能力迭代效率提高AI原子，令集做深度的算子优化对于基于分歧硬件和指，本的可行法子都是降低成。”