媒体大数据内容聚合、分发和管理技术及应用

项目简介：

    数字内容产业作为智力密集型、高成长性、高附加值的新兴产业，已列入十二五规划和国家中长期发展规划，发展迅猛。在传媒行业，海量数字媒体内容的产生，让产业链对异构媒体大数据内容的聚合、分发和管理等核心技术提出了更高要求。该领域核心技术被国际巨头所垄断，行业标准缺失，掣肘了产业的进一步发展。为此，项目组对数字媒体内容的核心支撑技术开展了多年联合攻关，设计并完成了一个高计算能力、可管、可控的基于大数据的数字内容聚合、管理和分发平台，其结构科学、功能完备、可扩展，主要进行了以下技术创新：
    1)实现了海量网络资源信息的动态采集、跨媒体数据资源统一描述、基于并行计算的异构数字内容管理和智能编目等关键技术，解决了海量数字媒体环境下异构媒体内容的聚合问题。
    2)设计了高可用的数字媒体分发系统的架构，基于数字水印技术快速实现媒体资源的版权保护，并提出了面向用户的数字媒体内容质量服务体系和个性化分发方法，解决了海量数据环境下媒体内容分发中的核心问题。
    3)课题组提出了一套能有效检索多媒体数字资源的算法及多级检索集群体系，实现了包括视频/图像汉字提取及表征、视觉单词提取与优化扩展检索、高维索引与搜索集群等关键技术，实现了媒体内容的高效检索。
    4)在存储服务器硬件、对象存储技术、分布式文件系统、非结构化数据处理、数据同步技术、测试方法和性能优化技术上进行突破，开发大数据一体机和分布式存储系统，解决了媒体大数据的存储、不同类型数据共存和处理、数据一致性维护和性能等技术难题，实现媒体大数据的高效存储。
    5)成功研制并在全国媒体行业推广使用了《中文新闻信息置标语言》和《中文新闻信息分类与代码》两项国家标准，为中文新闻信息资源的有效管理、开发、利用与共享奠定了良好基础，填补了我国新闻信息科技领域的一项空白。
    以上五项科技创新针对聚合、组织、存储、编目、检索和分发等整个数字媒体内容的生命周期，解决了其中的核心技术问题，具有“国际领先水平”。“该项目成果具有集成创新和自主知识产权，推动我国数字内容的集成分发、促进我国的文化产业的发展具有重要意义”，获2009年北京市科学技术奖二等奖；制定的两项中文新闻国家标准，获2011年王选新闻科学技术奖一等奖；关键技术应用于新华社统一储存平台及海量数据管理系统，获2011年王选新闻科学技术奖二等奖。

    主要完成人及技术贡献：
    该项目主要完成人为吕锐、王永滨、曹学会、张鹏洲、邵宗有、黄祥林、邓伟、朱立谷、林波、刘瑞宝、宋怀明、王付生、康威、石山岭、林松涛。