【雅昌讲堂】崔凯龙:大数据与互联网之大数据的获取及应用
2016-12-11 22:35:38 谭娟
【视频链接】:
【雅昌讲堂】 崔凯龙:大数据与互联网之大数据与其它行业结合的前景
主讲人介绍:
崔凯龙
崔凯龙:深圳国泰安金融大数据事业部群高级专家顾问,博士,美国纽约大学访问学者。
崔凯龙:尊敬的各位领导、各位老师、各位同学大家上午好!我接到这个邀请的时候听到说到四川美术学院,让我讲一场关于大数据跟艺术结合的这么一个话题,当时都非常诚惶诚恐,我是一个非常典型的从本科硕士到博士,工科到骨子里面的这么一个人,为什么我们的主办方胆子这么大请我来讲,刚才宋老师讲完之后我有点儿感想,咱们从艺术这个角度想把我们的艺术跟我们的行业做一个结合,我们的艺术跟我们的科学做一个结合,从我这个角度是什么呢?我把我的技术,科学、互联网发展的一个最新的情况跟大家汇报一下,跟大家沟通一下,同时从我这个角度也找一个跟艺术可以做这种合作的一个发展方向,所以我今天的话可能就作为一个只知道摄影里边的,只知道大景深什么小快门、类似非常简单粗浅的艺术知识的人,我跟大家分享一下在大数据这个行业里面我们目前的发展状况。
首先简单做一个自我介绍,我是武汉大学读工科的环境工程,我跟刚才宋老师讲到的一些譬如说垃圾填埋场或者是环保的一些觉醒等等这些问题我们都可以做一个深入的探讨,我主要在纽约大学是进入到大数据这个行业,然后开始共同的去了解一下大数据在目前的我们行业里面有什么样的运用,我自己也比如说也做过心理学,做过一个作者,最后也拍过照片,也是个人爱好,我跟大家欣赏一下我的摄影作品请大家做一个点评。做一个简单的自我介绍,目前我是供职于深圳国泰安教育金融这么一个事业部,在里面主要做大数据、专业推广,大家如果对于大数据有什么想了解可以再进行交流,今天的话我跟大家分享的东西包括四个方面:第一个我想跟大家交流一下什么是大数据,什么是物联网;第二个部分想跟大家交流一下既然我们在聊视觉传达,我想简单跟大家简单分享视觉分析和图像分析它的一些基本的背景和基本的科学的逻辑;第三个就是我个人做了一个尝试,最近我也采访了一些包括我们川美的一些老师、同学,包括在深圳做设计的一些公司里面的产品经理等等我做了一些简单的想法,就是说梳理大数据跟艺术有哪些层面可以做一个结合。最后是我的一点思考,刚才宋老师的讲座确实给了我非常多的启发,他也提到了是这种技术伦理方面的一个话题,我最后简单讲一点点我的一个思考,首先大数据跟物联网,我们现在这个社会上经常会有人在提大数据,比如说阿里巴巴的大数据,旅游的旅游景区也在做大数据,大数据到底是什么,我们给大家做一个分享。
武汉大学
首先大数据,大数据这三个字分开来看,第一个字叫大, 然后才是数据,首先什么是大?量级要高,我们现在比如说从一个电影1024TV这个不叫大数据,至少要PV,ZV级别1024TV的数据量,非常庞大一个数据库,大数据。大数据的第二点特征是什么?如果说我有一个数据组,从公元零年到公元2016年,我们每一天每一个小时我都采集了一个温度数据,假设我们有这个数据那个叫不叫大数据,那个不叫,为什么?因为单纯的一个温度的数据它没有任何的价值意义,当什么时候它有价值了呢?我再结合一下中国历史的发展,中国的历史发展,结合一个中国文化的变迁,我增加了两个维度,一个中国朝代的更迭,一个中国文化的发展,我甚至可以考虑一下这个温度跟这个朝代的更迭有没有关系,这个温度是不是跟一些自然灾害的发生有一些相关相应的变化,相应的相关关系,这个相关关系是不是带来了朝代的更迭,所以大数据第二个非常重要的课程是什么?维度要高,非常多方面的信息,如果只有一个图片信息,我们有周围跟这个图片发生关系的社会环境和其他地理变化的话,这个图片单纯一个数据组是没有任何价值和意义的。第三个是什么?就是我的数据现场可以给大家看一下,数据的话以前我们单纯以为的数据是结构化的数据,比如说数字,我们年度报表、科研数据一二三四,现在是什么,声音能不能传达一些数据信息,声音变成波动以后就可以分析出来它的一个应用的情况和它的一个数值变化,视频能不能传递信息,这是我们目前做视觉传达非常重要的环节,图片都能传达信息、文本能传达信息,文本譬如说现在大家都用微信、微博,微博里面一些明星他的文章的转发量或者是某一些话题,他的话题的一个热度或者是情绪的变化,这些信息都可以成为我们来分析这个社会情绪或者说这个社会问题变化的一个非常重要的数据来源。
最后所有这些我认为的大数据源第三个非常重要的环节是什么?是我们单纯的数据的格式已经发生了变化,不仅仅是数据,我们涉及到文本、音频,包括婚姻等等,这些所有的东西都可以成为我们分析大数据的一个重要来源,我们现在,我们刚刚讲到到PV、ZV级别这么一个量级制度,大家考虑一下,比如说阿里巴巴掌握了中国所有客户的购买数据之后,它面临第一个问题是什么?要把这个数据储存下来,找个地方放,所以我们在隔壁的,在贵州这里有一个中国的大数据中心,他们单纯的为了做数据的储存跟数据的交易,在以后未来的发展过程当中,希望这些数据能够产生价值。这个部分非常重要的就是整个数据储存,跟数据源是一个层面的意义,我们怎么样去获取这些数据,一会儿讲到获取数据的方法,包括数据挖掘,数据挖掘什么意思,我们掌握了这些数据,我们有了这些数据,刚才说了我认为只把它存放在这里是没有任何意义的,我希望它能产生一定的社会价值,能够产生经济效益,这个是数据挖掘的一个本质,从我们数据的矿产里边挖掘到我们想要的信息,最后一个非常重要的可视化。所以从我这个角度来说我想到我们的数据,我们的视觉传媒可能在数据源这个角度包括数据采集这个角度跟数据可视化这个环节我们可以跟大数据做一个接触。
阿里巴巴数据库
大数据我刚才说了,它不仅仅是数据源,我的理解包括我们现在这个社会的理解,大数据可能是这个数据源以及这么庞大的一个数据库带来之后一个整个链条的行业的变化,所以它是一个不完整的工具体系,它是完整的工具体系,可以服务非常非常多的专业,不仅仅说是大数据这个行业,大数据跟我们的艺术一样的,如果我们考虑一下它也要去结合专业,结合艺术、结合语言,结合店商让它产生一个问题。
那好,我现在再说一下我们怎么去获取这些数据,目前来说从我这个角度我梳理一下四个部分:第一个部分网络爬虫,网络爬虫就是比如说有一个苏富比、佳士得拍卖网站,它们上边有拍品,上面有拍品的价格,拍品的种类等等,这些信息我们可以通过一个程序员写一个程序,下面所有的拍品是什么名字、什么价格多少人浏览过,它的一个买手关注度、想象度等等这些信息我都可以爬虫去,公开的信息把这些信息从网络上边下载到我的Excel里面去,这个是第一个手段。第二个手段它是什么?智能互联,移动穿戴,大家现在我们有一些人会戴一些手环,或者是家里边用一些智能的设备,这些智能的设备很多时候通过我们智能手机互联,这个互联的时候每天走了多少步,睡眠状况是什么样的,可以通过APP智能设备来进行获取,这个是我们的互联网,一会儿我会花点儿时间再说一下互联网、物联网是什么。第三个是什么?APP运动。我刚才说到了腾讯淘宝,在我们交互的时候,我们社交网络上面会获得什么,我们最近发了什么朋友圈,我们有一些朋友,我们社交网络是什么样的,我最近用的词汇是不是变得更悲观或者是变得更乐观,它可以知道我们的一个情绪变化,一个社交情况,所以这些APP应用,包括譬如说在淘宝上你买了什么样的东西,购买行为是什么样的。你是买了正品,你是买了次品或者是买了绘画频率,你买的频率是什么样,你买的种类是什么样的,这块这些APP的运用已经获取到这些信息,一旦你的所有信息非常全面之后会给你做一个什么,专业词汇叫用户画像,就跟我们画一幅画一样,这个画像就是一根数据、家庭、住址、性别、姓名、职业、背景,大家不要觉得我在下面真的是我们现在一个腾讯的阿里巴巴他们的很多数据在商业上已经有一些使用了,还有一部分是传统的,社会的检测来获取数据。
智能设备
刚才说了储存,展开讲为什么,这个是涉及到计算机领域的知识,这是计算机里边目前来说储存数据非常重要的一个工具体系,那好,数据挖据,我们以前在做分析问题的时候,这个事情产生了是由什么原因造成的,大数据更关心什么,大数据更关心这两个东西的相关性,在美国堪萨斯州有一个沃尔玛,大家都了解了它,它是美国每年非常多的龙卷风,它做了一个什么研究呢?也不是研究就是沃尔玛里边的一个主管发现了一个问题,一旦有飓风来临的时候他们沃尔玛里边的蛋挞销售就上升,他们也不知道为什么,但是他们就做了一件什么事情就是每次飓风来之前我就大量地囤蛋挞这个货,整个销量就上升了,具体中间有什么样的逻辑关系、因果关系,他们并不关心,这就是大数据目前想要解决的问题,大家看到这张图一个一个领域或另外一个领域看似不相关的两件事如果能够产生正相关或者是负相关的一些东西我们就可以运用它来产生一些价值,这就是我们非常重要的一个环节。还有刚才说的数据可视化,怎么样让我们的想要传达的信息,我们挖掘出来的信息,我们了解到的这些内容,快速地被我们受众获取到呢?就是我们的数据可视化,数据可视化我觉得与我们在座非常非常多的艺术类的专家,包括我们视觉传达的一个大咖们,我们可以认真去思考,我们从我们这个角度分析出来内容怎么样让它能够更快、更便捷、更有效的被我们的受众获取,我只想阐述一下这个内容。
OK,物联网,跟大家讲,刚才讲到物联网,大家知道我们现在手机,包括电脑PC端、手机端都联网有什么问题,为什么提到物联网,物联网其实就是我们移动互联网的下一个发展的方向,为什么?你刚才提到物联网,简单说一下,外接的这些手环,外接的这些家用电器,包括刚才宋老师提到的制作一个汽车,这些汽车如果说有一些统一的数据平台就像手机这样的中介,手机这样一个传感器统一汇总的时候大家想象一下你的手环跟他的手环是不是在某种程度上实现了互联,通过手机智能电话、智能手机互联,这个就是物联网,物品与物品的联网,这个时候简单阐述一下,智能手机在我们的生活里边带来变化,第一个刚才提到的微博、微信,可以通过刚才说到的文字变化了解到你的社交情况,了解到你对周围,里边这个人是家人还是朋友,是很亲密的朋友,是男女朋友还是普通朋友,还是伙伴关系,可以通过你的记住你的关键词获取第二个部分,你拍的照片,你拍的照片水平高还是水平低,或者喜欢旅游、喜欢吃的,大家可能没有接触到互联网或者是这个行业,我们的手机都是有icloud,是云端,我们所有手机是同步在这些大型互联网公司他们的数据中心的,这是第二部分,包括里面装了什么样的运用,喜欢健身,很喜欢摄影,很喜欢平常的社交活动,会通过你的电影分析你个人的性格。第三是互联网的设备,智能家具、空调、电饭煲,所有的东西有了之后会知道你家里什么时候做了什么饭,什么时候煮了什么样的粥,分析中国整个饮食状况是可以的。最后一个宋老师也提到智慧城市,我们就是在技术层面和艺术层面非常多的结合点,智能家居社会城市,以后我们怎么样去调控交通,怎么样去管理这个城市,怎么样更科学、更艺术管理这个城市,本来是一个非常工科的一个人,我去做这个环境工程,后来我为什么要去做大数据呢?,我发现工人从技术上面,中国跟国外的区别已经不是很大了,区别在哪里呢?区别在于宣传、教育上面,我们很多可能国人对于环保的意识还没有到一定程度,这个时候需要大量的技术来告诉大家真实的数据是什么样的,需要我们在座各位艺术大咖告诉我们的民众,通过艺术手段告诉我们的民众世界、环境发生了什么。
icloud(云端)
OK,移动物联网这是一个简单的发展趋势。最后是会实现门对门的互联,门对门的互联,其实在技术层面上是没有问题的,主要是在目前来说没有推广安全上的考虑,给大家一个例子告诉大家物联网往前发展的时候这种趋势也是不可逆转的,而且是带来各种各样我们预想不到的问题。这块我们赶快讲留下一个空间去思考,目前还有移动物联网是一个投资的风投,整体世界经济的体量,包括金融情况在下行,移动物联网依然是一个风口,大家可以在座的老师或者是同事跟我们的学生可以考虑一下,我们怎么将我们的艺术跟移动物联网做一个结合,它发明一个产品,这个产品能够非常独特,非常特别,然后又能够收集到艺术的一些数据,这个东西很有可能是创业成功的一个基石。我只是跟大家沟通一下这个方面,后面我有一个简单的小案例,我不晓得我那个想法成不成熟,可以跟大家沟通一下,通过图片分析,这个是我拍的一幅作品,大家觉得还行吗?然后我这张照片并不是想跟大家聊这个拍照的技巧。我想跟大家聊一件事情,大家看到这张照片的时候我们在做艺术包括我们在做创作的时候没有关系,但是如果把照片数字化之后大家看到其实就是无数的像素组成。
在计算机语言里面每一个像素计算机语言里面每一个像素是由红绿蓝三原色组成的,是0-255区间,这张照片我们看是这张照片,但是在我这个数据工程师里边的眼睛里面看到是什么?是一堆三维的数字,每一个像素里边是0-255的一个区间,红绿蓝三元色,我为什么讲这个图片呢?大家想一下我要做这件事情,把这张图片里面通过计算机语言这把艘船找到,三个255是白色,三个0是黑色,大家想想我怎么把这个处理,我的做法是这样,01:12:43写一个程序,大概划定一个,因为是像素大概划定400个像素,比如10×40的,我把这个像素里边所有的颜色的数字求一个平均值,大家想像一个这个平均值偏黑,是不是所有的框框里面的平均值应该是最低的,所以我是通过这种方式把这艘船找到的,当然这个是,颜色变化是非常分明的,具体的社会里边用人脸识别也是用了同样的技术,只不过说人脸识别的时候我们的脸的颜色跟我们的身体,包括背后的环境都是有很大的区别的,为什么?我们很少见到穿肉色衣服,戴肉色帽子在大街上走的人,所以我们通过这种技术进行一个分类,当然非常复杂,这块的话非常简单的事情,我对它读取了一下大概是2300多行,3000多列这样一个数据库,非常简单,就是每个像素里边出现一个结果,用这些东西可以电子化、数据化来分析这些图片,做一些数据的识别,机器的一些识别,大家看到做了一个非常简单的分析图,从这边的0-255是这么一个强度的变化,这里有一个小的波峰,我非常肯定这个波峰所在的位置就是我的船所在的位置,这种技术是非常简化地告诉大家目前的图像分析在做些什么,这些技术能为我们数据传达做一些什么,大家可以去做一些尝试和思考。
(责任编辑:谭娟)
注:本站上发表的所有内容,均为原作者的观点,不代表雅昌艺术网的立场,也不代表雅昌艺术网的价值判断。
全部评论 (0)