科学家组建大数据平台解决科研资源共享难题

摘要:很难找到一个特定的数据集来解决对应的机器学习问题,这是非常痛苦的。下面的网址列表不仅包含用于实验的大型数据集,还包含描述、使用示例等,在某些情况下还包含用于解决与该数据集相关的机器学习问题的算法代码。

伦敦6月14日电英国敦提大学日前发布消息说,该校科学家领衔的团队构建了一个科研用大型图像数据库,利用这个平台全球科学家可方便地共享各类与科研相关的图像数据,从而提升科研效率。

网址:http://www.kaggle.com/datasets

来自敦提大学、剑桥大学、布里斯托尔大学以及欧洲生物信息学研究所的科学家合作开展了这个名为“图像数据资源”的项目。这个大型数据库广泛收集并整理的图像数据主要与全球科学家发布在国际顶尖科研期刊上的实验成果相关,且将免费开放给科研人员使用。

威尼斯娱乐网站,这是我最喜欢的数据集网站之一。每个数据集都有对应的一个小型社区,你可以在其中讨论数据、查找公共代码或在内核中创建自己的项目。该网站包含大量形状、大小、格式各异的真实数据集。你还可以看到与每个数据集相关的“内核”,其中许多不同的数据科学家提供了笔记来分析数据集。有时在某些特定的数据集中,你可以从笔记中找到相应的算法,解决预测问题。

据团队介绍,科学家在科研过程中非常需要对比分析不同科研团队开展实验获取的数据,但长期以来获取这类资源非常困难,尤其是图像资源往往数据量比较大、存在不同格式,分享起来非常不方便。

网址:https://registry.opendata.aws

这个新的数据库能够自动处理并将有相关性的研究数据综合起来,随时供全球学者调用,这能帮助不同科研团队节约大量时间和实验成本。目前数据库的资源主要以生物学方面的实验图像数据为主。

该数据源包含多个不同领域的数据集,如:公共交通、生态资源、卫星图像等。它也有一个搜索框来帮助你找到你正在寻找的数据集,另外它还有数据集描述和使用示例,这是非常简单、实用的!

领导该项目的敦提大学教授贾森:斯瓦德洛说,科学家借助这个数据库能整合、挖掘并分析相关的实验图像数据,这不但能帮助他们加快科研进程,也让他们更容易发现不同研究课题间的规律和共性。

网址:https://archive.ics.uci.edu/ml/datasets.html

特别声明:本文转载仅仅是出于传播信息的需要,并不意味着代表本网站观点或证实其内容的真实性;如其他媒体、网站或个人从本网站转载使用,须保留本网站注明的“来源”,并自负版权等法律责任;作者如果不希望被转载或者联系转载稿费等事宜,请与我们接洽。

威尼斯娱乐网站 1

这是加州大学信息与计算机科学学院的一个数据库,包含了100多个数据集。它根据机器学习问题的类型对数据集进行分类。你可以找到单变量、多变量、分类、回归或者是推荐系统的数据集。UCI的某些数据集已经更新完毕并准备使用。

网址:https://toolbox.google.com/datasetsearch

威尼斯娱乐网站 2

在2018年末,谷歌做了他们最擅长的事情,推出了另一项伟大的服务。它是一个可以按名称搜索数据集的工具箱。谷歌的目标是统一成千上万个不同的数据集存储库,使这些数据能够被发现。

网址:https://msropendata.com

2018年7月,微软与外部研究社区共同宣布推出“微软研究开放数据”。

它在公共云中包含一个数据存储库,用于促进全球研究社区之间的协作。另外它还提供了一组在已发表的研究中使用的、经过整理的数据集。

网址:https://github.com/awesomedata/awesome-public-datasets

这是一个按照主题分类的,由社区公开维护的一系列数据集清单,比如生物学、经济学、教育学等。这里列出的大多数数据集都是免费的,但是在使用任何数据集之前,你应该检查相应的许可要求。

政府的相关数据集也很容易找到。许多国家为了提高知名度,向公众分享了各种数据集。例如:

欧盟开放数据门户:欧洲政府数据集。

新西兰政府数据集。

印度政府数据集。

网址:https://www.visualdata.io

如果你从事图像处理、计算机视觉或者是深度学习,那么这应该是你的实验获取数据的重要来源之一。

该数据集包含一些可以用来构建计算机视觉模型的大型数据集。你可以通过特定的CV主题查找特定的数据集,如语义分割、图像标题、图像生成,甚至可以通过解决方案(自动驾驶汽车数据集)查找特定的数据集。

综上所述,从我所观察到的情况来看,越来越多的用于研究机器学习的各种数据集变得更容易获取,维护这些新数据集的社区,也将不断地发展,使计算机科学社区能够继续快速创新,为生活带来更多创造性的解决方案。

本文作者:

阅读原文

本文为云栖社区原创内容,未经允许不得转载。

发表评论

电子邮件地址不会被公开。 必填项已用*标注