首页>要闻 要闻
发展大数据面临问题:数据孤岛 技术差距 人才短缺
近日,在有关部门的调解之下,菜鸟和顺丰的“数据断交”事件总算告一段落,双方经过紧急会谈后,再次恢复了数据传输合作,算是和平解决。这次事件暴露出了大数据发展中的数据共享难题,但只是大数据种种问题的冰山一角。当前,我国大数据产业正处于起步阶段,信息孤岛、技术不足、人才缺失等都成为产业发展中亟待解决的大问题。
数据孤岛问题突出
“巧妇难为无米之炊?!贝笫莸幕≡谟谑?,数据的生命在于共享,拿不到底层的数据,数据分析也就无从谈起。如今,数据孤岛林立、融合困难,已经成为政府与企业面前的首要难题。
“第一个问题就是没数据,理论上我们中国有很多数据,但实际做数据分析会发现非常困难?!敝泄蒲г涸菏?、北京大数据研究院院长鄂维南表示,数据孤岛是一个严重的问题,不同部门的数据储存在不同地方,格式也不一样。大数据最高的层次就是用数据来形成智慧,使得社会各方面可以运转起来。做数据分析先要整合数据,这本身就是研究的困难。
由于政府部门之间、企业之间、政府和企业间信息不对称、制度法律不具体、缺乏公共平台和共享渠道等多重因素,导致大量政府数据存在“不愿公开、不敢公开、不能公开、不会公开”的问题,而已开放的数据也因格式标准缺失无法进行关联融合,形成孤岛。
缺乏动力和担心安全是阻碍数据共享的另一个主要原因。贵阳大数据交易所执行总裁王叁寿透露,不少企业以保护商业机密或节省数据整理成本等为理由,不愿意交易自身数据。部分政府部门也缺乏数据公开的动力:有的是因懒政而让数据沉睡,有的则是已经利用数据开展商业化应用,因此不愿共享。
“数据孤岛的痛不是技术问题,是利益问题,背后隐藏的利益导致了数据孤岛的产生?!倍跷咸寡?。
对于如何打通数据孤岛,工信部赛迪研究院软件所所长潘文建议,要建立完善大数据发展协调机制,加快政府数据开放共享,稳步推动公共数据资源开放。同时,统筹规划大数据基础设施建设,推动制定公共信息资源?;ず涂诺闹贫刃晕募?,并加强大数据标准化顶层设计,逐步完善标准体系。
在数据共享的路上,2015年成立的贵阳大数据交易所已经做出了成功的尝试。王叁寿表示,若想打通城市现存的信息壁垒,就要让城市多方资源联动起来,搭建城市数据共享的平台,从而激活大数据价值,充分发挥数据资源整合的优质效应,用信息化手段辅助科学决策。
底层技术差距很大
即便解决了数据共享问题,数据可供随时取用,数据的采集和分析仍是主要挑战。微软大中华区董事长兼CEO柯睿杰认为,数据智能并非那么触手可及。大数据来源众多、数量巨大、形式各异,要从中获得一目了然的信息,就需要真正高效、可靠的数据管理和分析平台。
如何处理巨量数据是中国大数据产业面临的首要技术问题。鄂维南表示,“中国的数据体量特别大,比如,中国的视频比任何国家都要多,这些数据储存困难,需要用的时候往往就没了”。再以基因测序领域为例,中国每年新增的基因组测序原始数据超过20PB(1PB相当于100万GB),面临着数据量大、数据处理流程长等技术挑战。
另一方面,数据分析本身也是一个难题。大数据中,绝大部分属于非结构化的数据,它们大量存在于社交网络、互联网和电子商务等领域,这些数据的不确定性表现在高维、多变和强随机性等方面。股票交易数据流就是不确定性大数据的一个典型例子。这些都需要通过包括数学、经济学、社会学、计算机科学和管理科学在内的多学科交叉来研究和讨论。
目前,我国大数据技术创新能力还有待提升?!洞笫莶捣⒄构婊?2016-2020年)》指出,我国在新型计算平台、分布式计算架构、大数据处理、分析和呈现方面与国外仍存在较大差距,对开源技术和相关生态系统影响力弱。同时,大数据应用水平不高。我国发展大数据具有强劲的应用市场优势,但是目前还存在应用领域不广泛、应用程度不深、认识不到位等问题。
“虽然我们在应用上不落后国外,但是在底层技术上和国外差距特别大,技术都来源于谷歌等国外大公司?!惫裨悍⒄寡芯恐行男畔⒅行难芯看ΥΤだ罟闱担芏嗍焙蛭颐堑纳桃的J阶咴诹思际跚懊?,并没有通过技术手段来推动创新。
对此,潘文表示,国家层面要支持大数据共性关键技术研究,加强海量数据存储、数据清洗、数据分析发掘、数据可视化等领域关键技术攻关,并支持自然语言理解、机器学习、深度学习等人工智能技术创新。
专业人才短缺严重
近年来,我国大数据产业发展进入爆发期,由于成熟的人才培训体系尚未建立,直接导致人才短缺的问题日益突出。“我们面临的最严重的问题就是应用场景和人才的问题,应用场景的问题是需要时间,人才问题是我这么多年来碰到的最严峻的问题?!倍跷纤?。
人才不足限制了大数据产业创新发展的成效。清华大学计算机系教授武永卫透露的数据显示,未来3至5年,中国需要180万数据人才,截至目前,中国大数据从业人员只有约30万人。LinkedIn(领英)发布的《2016年中国互联网最热职位人才报告》则显示,数据分析是当下中国互联网行业需求最旺盛的6类人才职位之一。
同时,大数据行业选才的标准也不断变化。初期,大数据人才的需求主要集中在ETL研发、系统架构开发、数据仓库研究等偏硬件领域,以IT、计算机背景的人才居多。随着大数据往各垂直领域的延伸发展,对统计学、数学专业的人才,主要从事数据分析、数据挖掘、人工智能等偏软件领域的需求加大。
在高端人才稀缺的现实情况下,企业多选择从海外和传统行业挖掘跨界人才,但仍然无法满足国内市场的大量需求。针对大数据人才供应不足的现象,各种培训机构和各大高校也开始强化大数据人才的培养。但培养大数据人才需要时间,在短期内对于大数据领域的高端人才仍然会呈现出供不应求的现象。
值得注意的是,今年3月份,教育部公布了第二批获准开设“数据科学与大数据技术”的高校名单,加上第一批获批的北京大学、对外经济贸易大学、中南大学,一共35所高?;衽韪米ㄒ?。今年开始,部分院校将招收第一届大数据专业本科生。
对于大数据人才建设,潘文表示,要建立适应大数据发展需求的人才培养和评价机制,并建立健全多层次、多类型的大数据人才培养体系。同时,还要完善配套措施,培养大数据领域创新型领军人才,吸引海外大数据高层次人才来华就业、创业。
编辑:薛晓钰
关键词:大数据


加拿大东部一炼油厂发生爆炸事故
我国成功发射遥感三十二号01组卫星
《福寿圆满》贺年专用邮票发行
特朗普说美国常驻联合国代表黑莉将于年底离职
“猎鹰9”火箭成功发射阿根廷卫星
飓风“迈克尔”即将登陆美国佛州
“联盟号”MS-10飞船即将发射升空
日本植树访华团第33次访华 悼念南京大屠杀遇难者
法蒂玛·马合木提
王召明
王霞
辜胜阻
聂震宁
钱学明
孟青录
郭晋云
许进
李健
覺醒法師
吕凤鼎
贺铿
金曼
黄维义
关牧村
陈华
陈景秋
秦百兰
张自立
郭松海
李兰
房兴耀
池慧
柳斌杰
曹义孙
毛新宇
詹国枢
朱永新
张晓梅
焦加良
张连起
龙墨
王名
何水法
李延生
巩汉林
李胜素
施杰
王亚非
艾克拜尔·米吉提
姚爱兴
贾宝兰
谢卫
汤素兰
黄信阳
张其成
潘鲁生
冯丹藜
艾克拜尔·米吉提
袁熙坤
毛新宇
学诚法师
宗立成
梁凤仪
施 杰
张晓梅


