本文授权转载来自微信公众号：【体育与转播】
选自2024年1月4日发布的文章【第195期 | 巴黎奥运会、NBA相继引入短视频自动剪辑系统】
作者：周玉龙
2024年是个体育赛事大年，多项国际顶级赛事在全球各地相继举办，既有四年一次的巴黎2024奥运会、德国2024欧洲杯，也有每年一度NFL超级碗（价值最高）和环法自行车赛（规模最大）。
当各国版权购买方、媒体机构及广告商充分调动资源优势准备深度开发这些顶级IP时，需要注意赛事观众尤其是年轻一代在观看习惯、收看平台及消费习惯等方面都发生了一些新的变化。
年轻一代产生注意力碎片化的转变是由多方因素促成的，而且呈现出加速发展的态势。
这一转变凸显了观众通过媒体观看比赛的习惯已经发生变化，尤其是年轻一代观众，他们越来越喜欢社交媒体平台和流媒体服务来观看体育赛事。
根据计算机辅助网络调查（CAWI）的数据显示，越来越多的美国年轻球迷喜欢观看体育赛事精彩片段，而不是整场直播比赛。
其中在传统大屏电视方面，87%的体育迷喜欢观看赛事集锦，78%的体育迷喜欢观看赛事直播。
在网络媒体方面，72%的观众喜欢用电脑端或手机端观看赛事集锦，53%的球迷更喜欢轻量化、非直播的赛事高光内容。
过去两三年，随着人工智能、深度学习和对象追踪技术的不断进步，新技术在体育转播和自动生成视频的应用越发成熟。
1.NBA与WSC的合作案例
NBA与WSC体育科技公司在2015年12月签署了合作协议，共同创建NBA赛事的球迷定制版赛事集锦和精彩片段。
WSC体育科技公司通过使用自动视频生成器和Clipro平台一共创建生成了20,000多个NBA精彩片段，这只是WSC第一次将AIGC技术和对象追踪技术应用于NBA赛事的成果。
由于2014-15赛季，全球球迷通过NBA.com和NBA手机端观看NBA视频集锦达到了前所未有的42亿次，NBA联盟开始重新审视NBA视频集锦蕴藏的商业价值。
目前，NBA已经发展成为一个涵盖全球的体育和传媒集团，公司业务主要围绕三个职业体育联盟建立：
- 美国国家职业篮球协会NBA
- 美国国家女子篮球协会WNBA
- NBA发展联盟
该联盟已在215个国家和地区确立了国际传媒影响力，NBA的比赛和节目以49种语言向全世界播出。
NBA数字媒体的业务主要是网络端NBA.com、移动端NBA Mobile及NBA TV。
WSC体育科技公司的业务开展模式是为体育媒体版权所有者提供创新的工作流程自动化解决方案。
简而言之，WSC使用直播公用信号的拍摄画面自动分级创建短视频，并根据需求分发，可以按照用户的各种需求量身定制，提供专属的和个性化短视频素材。
该公司通过使用独自开发的体育视频技术可自动实时分析体育赛事转播的画面内容，自动识别比赛中的每个时间节点的高光时刻，并生成基于每个球员、每支球队和每个时刻的定制版的赛事精彩片段。
目前WSC体育科技公司的解决方案已经被全球体育各大传媒机构所使用，用以更好地利用体育内容来增加球迷的参与度，增加赛事营销和市场开发的机会。
2024年巴黎奥运会，WSC也将参与其中，为OBS提供视频标记、分类、打点、记录等服务，WSC的产品和服务是基于云计算、体育数据集成、图像处理、音频分析和自动编辑算法的独特技术。
需要指出的是由于自动视频生成技术并不需要在现场布置特殊摄像机，或者在篮球内部提前预置追踪设备，所有自动剪辑工作都是基于直播信号生成。
2.识别并追踪篮球
首先，在自动生成视频过程中，关键是快速识别篮球并有效追踪，这是两个完全不同的逻辑关系。
常规操作是将篮球的尺寸、形状和颜色等参数输入到计算机视觉程序的函数中来识别。
然而在NBA比赛转播中，常常会出现篮球在不同帧画面中呈现不同的形态，因此会影响通过基本参数进行视觉识别的准确性。
从NBA转播信号的不同帧画面中可以看出，由于不同场馆的硬件设施条件差别很大，场馆的照明条件、地板上的标识、背景颜色都会影响程序对于篮球的识别。
另外运动员在运球时，传球时及持球时，也会对篮球识别造成遮挡或干扰，这是机器学习需要解决的问题。
常用解决方案是通过使用迁移学习来训练YOLO对象检测模型来识别两个新对象：篮球和篮框。
先从不同比赛直播信号中收集一定数量的帧画面，使用labelImg标记篮球和篮筐。
在每一帧中，使用给定的程序框架标记篮球，这个步骤会涉及到神经网络（Neural network）和迁移学习（Transfer learning）。
迁移学习采用预先训练的神经网络，冻结其中的大部分，并在用户希望其识别的特定对象上仅训练几个层。
迁移学习与从头开始训练神经网络相比，可以节省大量的训练时间，并且提高识别的准确性。迁移学习允许用户使用相对有限的图像数量完成训练模型。
在篮球视频自动剪辑的程序里，常用的一个插件是AIGuy，网上可以轻松找到AIGuy的对象检测教程，是对机器学习很有用的教程。
模型建立后，就可以在给定的框架中识别篮球赛事转播画面中的篮球和篮框。
3.识别进球得分
尽管神经网络的功能在很多方面都很强大，但需要构建和解释的框架来过滤误报的情况，可以给篮筐设置一个高置信度阈值，用来过滤掉一些错误的识别。
另外在标记一个进球得分之前，需要看到至少三个连续帧画面中的球入篮框。
在任何投篮后设置两秒的冷静期，以确保如果篮筐周围有争抢或干扰的情况也不会重复计算任何进球。
将视频帧的篮球周围用红色边框界定，进球时将篮筐周围用绿色边框界定，从而训练模型检测到的自定义对象。
4.识别球员
识别比赛双方的主队和客队是计算机视觉处理的一个经典问题，使用Python语言的OpenCV库可以有效解决。
首先每一帧的场上球员都设置一个人员边框，抓取边框中的所有像素，使用遮罩仅隔离边框内暗像素。
然后，再计算边框内暗像素与总像素的比率，从而确定球员属于亮队还是暗队。比率越高，该球员属于较暗球队的可能性就越大。该过程如下图所示。
通过上图可以看出，左边球员的图片经过遮罩处理，呈现很多白色像素，而右边球员经过遮罩处理，只有球员头发区域呈现白色像素。
从本质上，需要计算的是边框内蒙板白色像素与总像素的比率。原始图像越暗的区域，遮罩隔离的白色像素就越多，计算的比率就越高。
通过这些比率能够快速识别球员所在球队，也有一些特殊情况需要注意，例如，主队（浅色队服）的一名球员正好位于黑色背景前，上述通过比率的方式就会错误标记该球员所在球队。
因此，解决这一问题需要在系统内建立一个球员追踪数据库，将球员在不同区域的识别结果进行汇总分析，从而避免个别场景下识别错误的情况。
5.对象识别和对象追踪的差异
对象检测和对象跟踪二者之间存在重要区别。通过对象检测的方式，每一帧的处理与其前后帧并不相关。
对象检测的方式只查看识别对象的框架，然后通过比对的方式识别对象。而对象追踪技术的思路是从这些帧画面中检测到对象，并发现对象在不同帧之间的联系，从而跟踪每名球员的数据信息。
每名球员都需要单独设置一个ID，在整个自动剪辑过程中通过ID跟踪球员，并为每个球员ID附加一些专属的功能。
例如，通过记录球员在整场比赛的像素比平均值，尽管在一些特定的框架中，数据模型仍然可能会错误标记球员所在球队，但总体来说，通过追踪球员数据可以准确将球员分配到各自球队。
把所有数据汇总在一起，可以形成一个深度学习篮球比赛的数据模型。通过分析更多数量的原始素材，制作进球得分的精彩片段也会不断成熟。
6.需要改进的两个方面
在数据模型开发过程中，目前机器学习仍需改进的两个问题如下：
第一、当一名防守球员站在其他球员前面时，或者两名球员高度重叠的时候，很难保持同一个跟踪器。
解决这一难题的常见方式是尝试在球员ID中增加球员号码的信息，以便提高跟踪的效果。
第二、由于篮筐和篮网处的剧烈对抗，篮球滑过篮网的情况，数据模型经常错误识别进球得分。（在帧画面中显示为篮球通过篮网）。
解决这一问题只能使用更多比赛画面分析纠正，通过实际图像训练数据模型识别真正的得分，解决这个问题还需要找到更有效的方式。
尽管存在诸多问题，通过机器学习进行自动剪辑体育赛事集锦已经取得巨大进步，利用远程服务器上的GPU运算处理能力，很多自动剪辑程序可以在普通电脑上运行。
7.小结
使用AIGC、机器学习、对象追踪技术制作篮球赛事集锦的过程涉及各种技术和方法来实现，整体工作分为分析、编辑和呈现比赛高光时刻。
通过对WSC和常见自动剪辑解决方案的分析，以下八个方面是篮球赛事自动剪辑工作的重点内容。
第一、广泛收集原始视频素材
在收集篮球比赛的视频素材的过程中，尽可能发现问题，如地板背景、场馆照明、裁判影响等。根据赛事的特点修正数据模型，提高准确识别的容错度。
第二、充分利用现有视频分析工具
目前基于篮球比赛的人工智能视频分析工具已经比较成熟，可以实现自动检测篮球比赛中的高光时刻，而且还可以进行分类统计，如进球得分、助攻、篮板和激情瞬间。计算机视觉算法可以分类在视频素材中识别这些高光时刻。
第三、通过算法实现球员和篮球的追踪
通过对象追踪算法，跟踪球员和篮球在比赛中的运动轨迹，在关键比赛时刻，准确识别特定球员，确保自动剪辑的精彩瞬间起始点（入点）和终结点（出点）停留在合适的时刻。
第四、精彩时刻的检测标准
利用人工智能算法根据预定义的检测标准识别出整场比赛中值得关注的高光时刻。提前输入的预定义参数包括改变比赛局势的进球、盖帽或抢断、壮观的扣篮、离地高度、篮下防守人员数量、最后时刻的进球等。
精彩瞬间的分类、分级、分时是训练机器学习模型的重要内容，使自动剪辑的内容与观众的期待相符合。
第五、字幕和说明信息
结合自然语言处理（NLP）算法，收集并分析评论员、球员采访和其他与比赛相关的数据信息，可以将这些数据信息以字幕、简介或旁白的方式添加到赛事集锦中，增加赛事集锦的故事性和叙述性。
第六、单独制作赛事集锦短视频的音频信号
利用人工智能算法增强短视频的音频体验，具体操作涉及降噪处理，调整观众现场声音量，增强瞬时评论员的解说音，增强球员反应音频，加强篮球进筐时的声音等关键音频元素。
第七、提供定制化的赛事集锦选项
赛事集锦短视频的制作需要考虑到用户的多样化需求，因此为用户提供可定制、个性化的组合选项是一项基础服务。
目前国内对于高光时刻的用户包括媒体机构、电视台、短视频二创团队、播出平台、版权所有方及赛事联盟组织方等。
在欧美职业联盟，球队、教练、球员甚至裁判都是分类短视频的用户。
例如，球员会将一场比赛或一个赛季自己的高光时刻购买下来，当作简历去球队应聘。
球队教练也会购买球队一个赛季的分类视频进行技术分析和战术复盘，所以定制化的分类赛事集锦视频与传统意义的十佳球存在功能上的差异。
第八、机器学习需要持续改进
在制作方面，篮球赛事的自动剪辑项目需要多次反复的反馈循环，开发人员需要与转播制作团队反复沟通，了解公用信号的制作过程，持续改进人工智能算法。
在播出方面，开发人员需要收集用户对于自动剪辑片段的反馈意见，了解这些片段是否符合用户的预期。通过调整预定义参数改进数据模型的准确性。
观众在观看传统电视直播过程中，最大的痛点是比赛时间过长，观众的注意力很难长期专注于比赛直播。
有观点指出当代社会无论是网络端还是移动端，最稀缺的资源就是注意力，绝大部分手机应用的核心竞争力就是争夺目标用户的注意力，并衍生出了注意力经济。
一场比赛的精彩视频合集解决了直播赛事由于犯规、休息等因素过于冗长的问题，目前短视频的一个短板是故事性欠缺，观众缺失前后背景信息。
线性直播比赛画面与碎片化精彩瞬间合集最大的差异就是故事性。随着音频处理、字幕信息和机器学习技术的不断成熟，自动剪辑的视频内容也可以制作成爆点、爽点连续不断，又同时兼具一定故事性和讲述性的赛事短剧合集，为球迷带来不同以往、身临其境、动态演变的观赏体验。
-END-
相关推荐
知识产权声明
图片来源：体育与转播
排版｜莫非工作室
排版审核｜韩庆玲
