互联网
数据挖掘
数据分析
数据来源
大数据

有哪些好的数据来源或者大数据平台?

市场调研中经常需要各种数据证明观点,或者从大数据中发现规律,那么有哪些可以使用的数据来源(如国家统计局)或者大数据平台(如淘宝指数、百度指数)? ——…
关注者
23,332
被浏览
4,775,811

396 个回答

先讲一个关于大数据的故事:小王跟老板提涨薪,老板提出了这样一个要求:

于是小王利用下班时间,查找百度指数等平台的数据,提交了这样一份数据分析结果,并对老板说:这就是我要涨工资的原因

老板看着数据露出神秘的微笑:

老板:公司下一步会涉猎到大数据分析这方面,这点工作你以后顺手就做了吧。

一个月后,小王发现自己的工资涨了0.2K……

(本故事纯属娱乐,如有雷同,真够倒霉)

讲这个故事,主要是想说明在市场调研中使用数据来佐证观点,是一种比较让人信服的方式,数据对于表达观点及结论很有裨益。很多企业对于大数据都很重视,因为数据不仅具有指导作用,可能还会影响到公司接下来的发展和动作。

一、数据来源(主要还是调查问卷)

数据来源一般有线下调研和线上搜集两大类。因为市场调研会涉及到市场的一手数据,最为有效的方法是调查问卷,传统数据搜集一般使用纸质调查问卷,而在移动互联网时代,我们可以使用调查问卷网站。

现在很多线上调查网站都能够将繁琐的传统纸质问卷,转化为简单快捷的在线问卷调查,还有轻松导入问卷、多渠道分发问卷、完美适配移动端等特点,并且提供原始数据下载、自动生成图表等后期功能,总体来说十分方便。

(调查网站问卷星官网截图)

二、数据平台

做市场调研,一般对于行业趋势、热点、权重等问题最为关注。关键词的热度及指数的反映便是对市场最好的反馈,我不是专业做这方面的,不过个人比较感兴趣,平时也做过一些分析,针对指数和趋势,这里推荐大家几个平台(这种大平台是不会找我给广告费的,你们多给我点赞说不定还有可能):

1. 微指数( data.weibo.com/index

微指数是新浪微博的数据分析工具,是基于微博的热点内容搜索生成的关键词指数及实时数据。这款工具通过关键词的热议度,以及行业、类别的平均影响力,来反映微博舆情的发展走势。

微指数分为影响力指数和热词指数两个模块,另外还可以查看各类账号或者热议人群的地域分布,数据分析十分全面。

(微指数截图)

2. 百度指数( index.baidu.com/

大家都知道有什么不懂就去问度娘,这为百度提供了海量的数据。百度指数是以百度网民行为数据为基础的数据分享平台,是目前国内互联网最重要的统计分析平台之一,很多企业甚至会把百度指数的大数据当做营销决策的依据。

通过百度指数,不仅能知道某个关键词在百度的搜索规模,某时间段内相关的新闻舆论变化及态势,还能了解关注这些词的人群分布在哪里、搜索了哪些相关的词。

百度指数的功能模块分为两大类,一类是基于单个词的趋势研究、需求图谱、舆情管家、人群画像;另一类是基于行业的整体趋势、地域分布、人群属性、搜索时间特征。百度指数所提供的大数据,有很强的借鉴意义。

(百度指数截图)

3. 微信指数

微信指数比较特殊,目前没有PC版。需要打开微信在搜索框输入“微信指数”四个字,点击“微信指数”才能进入主页面,然后点击搜索框输入关键词,就能获得相应关键词的数据。微信指数只支持1周、1个月、3个月内的阶段数据,可以看到某个词在某段时间内的热度趋势和最新指数动态。

微信指数可以提供舆情监测,能实时了解互联网用户当前最为关注的社会问题、热点事件、舆论焦点等等,从而方便企业及时形成有效的舆情应对方案。通过关键词的热度,不仅可以获取用户的变化及兴趣点,成为企业决策的依据,还能对投放效果进行有效的监测、跟踪和反馈。

(微信指数截图)

以上三个指数平台基本可以衡量互联网PC端、移动端及总体热度情况,当然还有像Google趋势分析( www.google.com/trends/explore)等国外产品来衡量全球互联网指数,不过这些需要大家“翻墙”才能使用。

4. 行业数据分析平台

做市场调研,在对于行业趋势、热点、权重等问题有所掌握之后,针对具体的行业及领域还需要进行更深入的分析和研究,针对行业数据趋势研究,我推荐以下的平台:

国家统计局: stats.gov.cn/tjgz/wzlj/

NCMI 国家人口与健康科学数据共享平台: ncmi.cn/

目前国家已经在宏观基础数据开放和共享方面,提供了很多的开放共享渠道,像上面的这两个数据平台,权限控制也很到位,可以让需要数据的人因数据获得价值、创造价值。此外,针对此类的国家级宏观数据,还可以参考其他国家的开放数据库,如美国政府开放数据平台: data.gov/

5. 咨询公司研究报告数据

针对行业研究及调研,还可以参考专业的咨询公司的研究报告数据,例如:

德勤: www2.deloitte.com/cn/zh

埃森哲: accenture.com/cn-zh/new

这一类专业的咨询公司,对于行业研究的调研分析、数据总结以及最后的结论阐述,都建立在大量的人力物力调研的基础上,对于数据调研具有指导意义。

6. 细分领域的数据平台

此外,针对于更加细分的领域,也分别有相应的数据库可供参考:

(1)移动应用指数参考

移动观象台: mi.talkingdata.com/inde

(2)公众号热度指数参考

新榜: newrank.cn/

(3)公司融资投资参考

IT桔子: itjuzi.com/

(4)影视数据参考

艺恩数据: entgroup.com.cn/bg.aspx

(5)智库类参考

易观智库: analysys.cn/analysis/8/

企鹅智库: tech.qq.com/biznext/lis

阿里研究院: aliresearch.com/blog/in

(6)财经类参考

通联-量化实验室: uqer.io/data/

TuShare -财经数据接口包: tushare.waditu.com/

(7)其他类

World Bank Open Data : data.worldbank.org/

Kaggle datasets: kaggle.com/datasets

另外,做市场调研分析报告的时候会需要将数据可视化,这里推荐大家一个好用的数据可视化的工具Echarts: echarts.baidu.com/

数据在我们这个时代起着越来越重要的作用,像我没事也会和公司的伙伴一起研究研究智能手环的各项大数据情况,希望这次的回答能给大家带来些许帮助吧。

编辑于 2017-12-06 17:57

不知道题主关注的是哪些领域,其它知友提供了非常棒的回答。考虑到他们的分享以国内数据源为主,我来补充一些国外数据源。

美国管理协会( AMA)旗下杂志《Marketing News》每年会发布一份Gold Top 50(原为Honomichl Top 50)榜单,列举过去一年美国营收排名前50的市场研究公司。上榜的公司就是非常好的数据来源。

2016年发布的Gold Top 50榜单,前10名数据公司及其官网分别为:

  • Nielsen( What People Watch, Listen To and Buy)
  • IMS Health( Creating Connected Solutions for Better Healthcare Performance)
  • Kantar( Research, data and insight consultancy)
  • IRI( IRI - Delivering Growth for CPG, Retail, and Healthcare)
  • Ipsos( Global market and opinion research specialists)
  • Westat( Westat.com |)
  • Gfk( Market research and user experience research experts)
  • comScore( Precisely Everywhere)
  • NPD( NPD Group - Market Research)
  • JD Power( A Global Market Research Company)

    剩余机构及其网站,请查看下列详细列表:


摘取常见的几家机构,介绍下它们的数据类型:

Nielsen:全球性的市场研究公司,它的调研集中在快消、汽车、电信等领域,数据涉及消费者偏好、购买行为等多项内容,有时还会提供具有代表性的案例研究。

Kantar:同样是一家综合性的市场研究公司,研究覆盖快消、健康、品牌、金融等领域,数据涉及产品的用户喜好、品牌认知度等内容。Kantar对公众比较开放,网站上的数据和分析可以免费查看。

comScore:一家在教育、能源、医疗领域均有研究的市场分析公司,但最擅长的领域还是媒体营销。comScore的数据通常涉及网站流量、流媒体视频消费、用户购买行为等,对美国本土市场的研究很深入。过去几年,comScore以每年一期的节奏发布美国应用市场报告,分析当年应用市场的现状和未来趋势。今年移动市场表现出非常明显的衰落迹象,comScore两年前就发现了。

NPD:综合性市场研究公司。NPD每年访问超过1200万顾客,服务范围覆盖服装、电气、汽车、消费电子、体育等多个领域。它能够提供产品销量预测、用户行为等数据。



除了Gold Top 50,再补充一些常用数据源,以科技、互联网为主:

科技IT数据来源

IDC(

IDC: The premier global market intelligence firm.

Gartner(

Technology Research

):

两家公司在IT、电信、消费电子、应用软件领域有很深积累,每年都会发布全球市场智能手机、平板电脑、PC出货量,经常关注科技资讯的知友对它们应该很熟悉。

其实除了科技产业,IDC和Gartner还会定期公开能源、健康、制造等的调研数据。进行相关领域研究时,可以将它们的数据作为一项参考。

上市公司数据来源:

1. 美股:

纳斯达克(

NASDAQ Stock Market

纽交所(

nyse.com/index

SEC(

SEC.gov | Home

2. 港股:

香港联交所(

HKEX

3. A股:

上交所(

上海证券交易所

深交所(

深圳证券交易所

证监会(

csrc.gov.cn/

研究上市公司的人员结构、业务构成,财报是常用手段。以一定时间跨度分析一家公司的财报,比单纯看某个季度更有价值。美股财报可以访问纳斯达克、纽交所或SEC的网站获取,港股财报可以访问香港联交所网站获取,A股财报可以访问上交所、深交所或证监会网站获取。

媒体与营销数据来源:

1. 皮尤

Pew Research Center

独立民调机构,调查范围覆盖政治、社会趋势、宗教,媒体新闻、科技互联网,调查报告和数据可以免费查看。皮尤具有非常现代化的网页设计,体验好过大多数调研机构网站。

2. VidStatsX

YouTube Stats, YouTube Statistics

第三方YouTube统计平台,可以提供不同频道的订阅数、排名、视频观看量等数据。VidStatsX数据的时间跨度很大,时效性也很强,可以观察一些爆款视频的数据变化。

移动应用数据来源

App Annie(

appannie.com/dashboard/

App Annie可以提供一款应用在不同应用商店中的日排名,历史排名以及在不同国家的评级数据。用户也可以查看更详细的下载、收入预估等数据,但这些都需要付费订阅。

编辑于 2016-09-05 19:10

最近把答案中的所有网站收录到我的小站中了,大家有需要的可以收藏这个,方便查询。。

————————————

推荐几本数据分析的好书(电子书)

-

分享下我自己平时收集的..共100多个O_O

网站分析类:

百度指数 - 以百度海量网民行为数据为基础的数据分享平台
Google趋势 - 了解 Google中热度上升的搜索
360指数 - 基于360搜索的大数据分享平台
Alexa - 网站排名
Google Analytics - Google出品,可以对目标网站进行访问数据统计和分析
百度统计 - 百度推出的一款免费的专业网站流量分析工具
腾讯云分析 - 是腾讯数据云,腾讯大数据战略的核心产品

移动应用分析类:

友盟指数 - 以友盟海量数据为基础的观察移动互联网行业趋势的数据平台
移动观象台 - 20亿独立智能设备为依据,提供应用排行榜
ASOU趋势 - 每日跟踪超过 100万款应用,分析超过6亿条数据
蝉大师 - App数据分析与ASO优化专家,应用与游戏推广平台
百度移动统计 - 基于移动APP统计的分析工具
QuestMobile - 国内知名的移动大数据服务提供商
应用雷达 - 专业的APP排行历史跟踪软件实时榜单排名分析
Appannie - 移动应用和数字内容时代数据分析和市场数据的行业领导者
CQASO - 国内最专业的APP数据分析平台

媒体传播类:

微博指数
优酷指数
微票儿票房分析
BOM票房数据
爱奇艺指数
数说传播
百度风云榜
微博风云榜
爱奇艺风云榜
豆瓣电影排行榜
新媒体排行榜
品牌微信排行榜
清博指数
易赞 - 公众号画像

电商数据类:

阿里价格指数
淘宝魔方
京东智圈
淘宝排行榜

投资数据类:

Crunchbase - 一个免费的科技公司、技术行业知名人物和投资者相关信息的数据库
清科投资界 - 风险投资,私募股权,创业者相关投资,私募,并购,上市的研究
IT桔子 - 关注TMT领域创业与投资的数据库
创投库 - 提供最全的投资公司信息
Angel - 美国创业项目大全
Next - 36kr子站,每天更新新产品介绍
Beta List - 介绍初创公司

金融数据类:

积木盒子 - 全线上网络借贷信息中介平台
网贷中心 - 告网贷行业危机,公正透明地披露网贷平台数据
网贷之家 - P2P网贷平台排名
网贷数据 - 网贷天下 - 行业过去30天详细交易数据,网贷天下统计、发布,每天6点更新
中国P2P网贷指数
零壹数据-专业互联网金融数据中心
大公金融数据
全球股票指数
爱股说-基金经理分析找股平台
私募基金管理人综合查询
中财网数据引擎

游戏数据:

百度网游风云榜
360手机游戏排行榜
360手游指数
CGWR排行榜
App Annie游戏指数
小米应用商店游戏排名
TalkingData游戏指数
游戏玩家排名&赛事数据

国家社会数据:

中国综合社会调查
中国人口普查数据
中国国家数据中心
中国家庭收入项目
中国健康和营养调查
中国统计数据
全国企业信息查询
北京宏观经济数据库
中国金融信息网

其它数据:

蚂蚁金服研究院 - 网消指数&互金指数
二手市场行情
中国网络骗子地图
春运迁徙地图
房价指数
中国城市拥堵指数
百度研究院PC平台
百度城市热力图

数据分析机构:

艾瑞iResearch
艾媒iimedia
易观国际
企鹅智酷_腾讯网
手游那点 - 全事球互联网市场研究
dataeye - 专注于泛娱乐领域的大数据分析和挖掘
Accenture(埃森哲)
Analysys
Asymco
Canalys
CTR
CNNIC
CB Insights
Deloitte(德勤)
Digi-Capita
Forrester(弗雷斯特)
Gartner(高德纳)
GfK(捷孚凯)
IDC(国际数据)
KPCB(凯鹏华盈)
MMD研究所
Nielsen(尼尔森)
NPD(恩帛源)
Ofcom
Piper Jaffray & Co
Strategy Analytics
UBS(瑞银)
pewresearchcenter

编辑于 2020-05-18 10:02



很多不错的数据可视化和数据分析成果都需要高质量的干净数据,而现实中也有很多可供我们免费获取的数据源,可以用它们进行数据分析和数据可视化。


本文我们会分享 40 个网站和平台,在上面我们可以公开获取高质量的数据,涵盖政务、全球问题、学术、社交媒体、市场营销、科学天文、新闻、媒体、娱乐等多个领域。


记得先点赞收藏!


政务数据


美国食品药品监督管理局(FDA)——在网站上可以获取FDA药品数据库的压缩数据文件,该文件每周的周三更新一次。


地址: fda.gov/Drugs/Informati


美国国家教育统计中心(NCES)——NCES是美国收集和分析教育相关数据的主要机构,在该机构网站上可以获取最全面的美国教育数据。


地址: nces.ed.gov/


美国统一犯罪报告(UCR)——在该网站上可获取美国犯罪方面的信息、数据和报告,多年来广受研究者和媒体引用。


地址: ucr.fbi.gov/


欧盟开放数据平台(EUODP)——在EUODP网站上可以获取欧盟各成员国及机构的多个领域的数据。


地址: open-data.europa.eu/en/


欧盟统计局——在该网站上可以获取欧盟的统计数据,而且能按照欧洲经济、人口、行业、贸易、技术和交通这些主题分别查询。


地址: ec.europa.eu/eurostat/d


英国数据服务平台——涵盖了英国政府发布的调查数据、跨国调研数据、英国统计数据、商业数据、量化数据和国际贸易数据等。


地址: ukdataservice.ac.uk/


Data.gov ——网站上涵盖了美国政府发布的公开数据,在上面可以搜索数据、研究报告、数据分析工具以及进行数据可视化。


地址: data.gov/


Data.gov.au —— 包含了澳大利亚政府发布的公开数据,可以用于数据分析及可视化相关的研究。


地址: data.gov.au/


全球数据


世界概况——网站提供全球267个国家和地区有关历史、人口、经济、地理、交通、军事和贸易等方面的数据。


地址: cia.gov/library/publica


联合国儿童基金会报告——收集了全球妇女和儿童境况的调查数据。


地址: unicef.org/reports


联合国毒品和犯罪问题办事处(UNODC)——提供全球范围内有关犯罪、毒品及罪行审判方面的准确数据。


地址: unodc.org/unodc/en/data


世界卫生组织——提供世界上卫生工作、疾病防治以及饥荒方面的数据和数据分析。


地址: who.int/gho/zh/


谷歌公共数据浏览器——启动于2010年3月,谷歌公共数据浏览器能让用户很容易的搜索、分析和可视化大型公共数据集。


地址: google.com/publicdata/d


联合国教科文组织网站——包含全球最新的数据和指标,涵盖教育、文学、科学、技术、创新和文化多个领域。


地址: data.uis.unesco.org/


世界银行公开数据——列出了公开可用的世界银行数据集,包括数据库、预格式化表格、报告等等。


地址: datacatalog.worldbank.org


联合国儿童基金会教育统计数据——提供全球教育层面上的统计数据。


地址: data.unicef.org/topic/e


非洲公开数据——在网站上可以获取非洲各个时期的的经济和社会数据,并且在网站上直接可获得可视化数据结果。


地址: dataportal.opendataforafrica.org


学术数据


谷歌学术搜索——在谷歌学术搜索上可以很容易的大范围查找学术成果和数据。


地址: scholar.google.com/


皮尤研究中心互联网项目——从网站上可获取皮尤研究中心的学术调查数据,涵盖政治、经济和地理等领域。


地址: pewinternet.org/dataset


Europeana Collections —— 网站收集了全欧洲54,165,855份艺术、雕塑、书籍、电影和音频方面的数据。


地址: europeana.eu/portal/en


科学、医疗及天文数据


NOAA球面科学展示系统——美国国家海洋和大气管理局旗下的球面科学展示系统可以将天气、水文、太空等数据以动画的形式展示在虚拟地球上。


地址: sos.noaa.gov/ch/What_is


公开科学数据云——在网站上可以分享、存储、分析和获取TB和PB级的科学数据集。


地址: opensciencedatacloud.org


HealthData.gov ——可获取高质量的健康数据。


地址: healthdata.gov/


美国国家环保信息中心(NCEI)——可快速获取NCEI提供的气候和天气数据集。


地址: ncdc.noaa.gov/data-acce


博得研究所癌症项目数据——可获取准确的医学和生物学数据。


地址: portals.broadinstitute.org


NASA地球数据——提供高质量的有关地球、大气层方面的数据。

地址: earthdata.nasa.gov/


NASA行星数据系统——可获取来自NASA的太空探索、天文观测和实验室的测量数据。

地址: pds.nasa.gov/


WeatherBase ——涵盖全球41997个城市的天气和气候数据。

地址: weatherbase.com/


市场营销及社交媒体数据


Social Mention —— Social Mention是一款社交媒体搜索和分析平台,能将全球多个社交平台的UGC数据合并为一个信息流。


地址: socialmention.com/


谷歌趋势——展示了全球各国各地区各语言的关键词搜索数据分析。

地址: trends.google.com/trend


Facebook API ——可以利用图谱 API获取Facebook的公开数据。


地址: developers.facebook.com


Twitter API——可以获取全球范围内Twitter上的热门数据。


地址: developer.twitter.com/e


新闻媒体数据


《纽约时报》开发者网络——利用网站提供的API,可以获取自1851年至今的《纽约时报》文章,包括标题、摘要和多媒体文件。也能获取《纽约时报》发表的书评和影评。


地址: developer.nytimes.com/


美联社API —— 可以在无需访问美联社网站的情况下,获取美联社发布过的新闻资料,包括图片和视频。


地址: developer.ap.org/ap-con


亚马逊网络服务——在网站上可以按照类别获取丰富的数据集,目前可获取54个数据集。


地址: registry.opendata.aws/


谷歌图书词频统计器——提供了谷歌图书扫描并数字化的部分图书(占人类出版书籍的4%)的Ngram数据。你可以查询从1800年到现在,所有出版物中一个词汇出现的频率变化曲线。包含数量巨大的数据集。


地址: storage.googleapis.com/


维基百科数据库——可以下载维基上所有完整内容的电子文件,包括文字、图片等。


地址: en.wikipedia.org/wiki/W


FiveThirtyEight——可获取FiveThirtyEight发布内容背后的数据和代码,涵盖政治、体育、医疗卫生、经济和文化5个领域。


地址: data.fivethirtyeight.com


娱乐数据

Million Song Dataset ——包含28个数据集,涉及上百万首歌曲的音频特征和元数据。


地址: aws.amazon.com/cn/datas


The Numbers——详细的电影财务数据分析,包括票房、DVD销售额和发行计划等。


地址: the-numbers.com/


BFI Film Forever ——重点关注英国电影行业的市场数据。

地址:

bfi.org.uk/education-re


当然这些免费的公开数据源也只是冰山一角,后期假如发现更好的资源会继续分享。


如果是需要寻找用于机器学习研究的数据集,可以查看我们分享的这篇回答:



参考资料:
columnfivemedia.com/100
infogram.com/blog/free-

编辑于 2018-09-04 11:10

分享一些我经常找数据的网站。

有些网站有现成的数据,有些还是需要自己爬,文末附上爬取数据的方法

既然是数据,那就是最好能拿到一手的数据,而不是看别人做好的图(前面有回答推荐的一些搜索引擎、直接发布分析结果的网站和工具/分析类网站,在这个回答里我就不讨论了哈),因为我们通常需要的是,拿这些数据自己做分析

一、国家社会类:

1、中国统计局

data.stats.gov.cn/

这个网站可谓是要啥有啥,如农业,生产,经济,教育等等,可以获得具有权威的数据,而且覆盖面很广。可以找到很多宏观层面的信息,GDP、人口、就业、收支等

如,我想要北京市2017年全体居民收支:


此外,它还可以链接到其他国家的统计局:

但问题也是有的,虽然全面,但是不精准,如果你想查某一个细分的数据的话,可能没办法满足:

如,主要国家年度数据…..除了内陆和台湾,其他的我真的不怎么关心……

2、香港政府数据中心

data.gov.hk/sc/

仍然有点多而不精,但是!爽的地方在于,它有中英文以及多种格式!直接下载,就是Excel!不用自己手动粘贴!

而且,相比国家统计局,它的分类更加多样化,也就是说,数据更加精细一些。

3、经合组织开放的数据网

包含参与经济合作与发展组织的36个国家的数据,英文界面。数据也包含农业、经济、教育、能源等等,也具有多个版本可以下载使用(但没有Excel),分类也相对有心和精细。

感受下:

二、企业信息类:

针对一些公司,可以通过他们注册/上市的统计网站获得资料:

1、EDGAR

sec.gov/

美国证监会SEC规定上市企业的公告要在EDGAR上公开,因此可以在这个网站上找到这些上市公司的数据,信息严谨,英文界面。

2、巨潮资讯:

cninfo.com.cn/new/index

仍然是针对上市公司,这个网站可以拿到股票每日的数据,如下:

它可以按照行业、地区、指数、市场等分类来查询,虽然简单了些,但好在便捷。


上面这些数据帮助把握大局,但如果想要在某个行业/领域挖掘,还需要进一步细分出来的数据,那么,

三、经济类

  1. Bloomberg

https://www.bloomberg.com

Bloomberg (彭博)是为大多数大型金融机构提供服务,用户通过“彭博专业服务”可以查阅和分析实时的金融市场数据以及进行金融交易。

彭博终端是一套让专业人士访问“彭博专业服务”(Bloomberg Professional Service)的计算机系统。彭博终端基于客户—服务器架构建立,服务器是一个多处理器的Unix平台,终端用户使用的客户端是一个Windows程序。

2、FactSet

FactSet研究系统是一家金融数据和软件公司,为全球主要金融机构的分析员、证券管理员和投资银行家提供金融信息和分析软件。FactSet核心的优势主要集中在公司的财务数据,这也是为什么它成为投行Anaylst必备技能之一的原因。

FactSet在投行中的使用频率是Daily basis,而且FactSet个性化的界面,强大的功能,Excel plugin 也不差。


3.新华社-全球经济数据

dc.xinhua08.com/

主要介绍的是各国家宏观经济指数等。


4.中财网

http://data.cfi.cn

信息面广,查找也很方便。

5.世界银行

各个国家的数据都在上面,不只有经济,还有人口、入学率等等数据。它的优点在于,数据采集时间长,数据样本量大,可以看到一个可信度较高的随时间变化的趋势。

四、互联网类

1、CNNIC中国互联网络信息中心

cnnic.net.cn/hlwfzyj/hl

里面发布很多和互联网使用相关的信息,像网民总数、上网方式、网络应用、城镇农村上网状态等。

2.SimilarWeb

similarweb.com/

拥有各国各大网站的信息数据,全面性与可靠性都很好,唯一的缺点就是收费.....

3、NET MARKETSHARE

也可以看到主流的互联网软件市场份额数据。上面是折线图,下面有数据。

4.Statcounter

gs.statcounter.com/soci

可以看到各浏览器、软件以及APP等的市场份额数据,可以按照区域、平台划分,也可以相互对比,关键是免费!


五、电商类

1、阿里研究院——阿里价格指数

http://topic.aliresearch.com

以大类划分数据,数据不多,配有数据解读。

但这个网站中还有一些相对详细一些的价格报告,虽然没有直接把数据列出来,但图表中也有一些数据可以供参考。

六、传媒类

1、BOM票房数据

boxofficemojo.com/allti

很强大!不解释

(只要留心,还会发现好资源,你懂得)

2、CBO中国票房

cbooo.cn/

数据也非常全了,不仅有票房榜,还有排片统计、购票指数等等。

3.收视率排行

tvtv.hk/archives/catego

有日、周、月、年的25名的收视率以及市场份额数据。

七、移动应用类

1、艾瑞数据

index.iresearch.com.cn/

该网站免费公开的部分可以提供一些简单的APP使用数据以及人群、区域等分析。

2、Talking Data

它是一个监测平台,可以查询APP的相对活跃度、用户覆盖程度等,信息和数据很全面细致,而且可以直接帮你分析好!

但如果想要get详细信息,收费…..

3、七麦数据

它是针对苹果应用进行搜索关键词优化的服务网站。主要是看排行榜,但数据真的不多,如果需要什么数据需要自己搜集整合。

如,搜索WPS office的情况:

4.新榜

newrank.cn/

这个不用解释了吧,新媒体数据的经典来源之处,除了部分需要收费外,其他都没得挑。

八、交通出行类:

  1. 高德地图中国路况

report.amap.com/detail.

这款免费版的网站,有中国100个交通发达城市,可以查询区域/商圈拥堵排名、道路状况数据以及季度指数等,有交通报告、交通热力图等等,信息覆盖面较全。

2.北京交通发展研究所

bjtrc.org.cn/PageLayout

实时路况的数据很全,而且还有历年交通运行报告,里面不仅有机动车数量数据、出行方式数据,还有年均/日均车辆量、客运量等等。


但是,如果不能直接获得数据,那这个时候就要自己去爬第一手数据出来,更多时候我也是用Python爬

爬取数据

在数据获取领域中,最为被广泛使用的就是python语言,俗称爬虫。

通过爬虫加正则这种自动化的工具,能够耗很少的人工就可以将数据和信息采集并结构化,后续通过更多的分析工具完成许多有商业价值的分析并获取所谓的insight(将信息转化为知识和洞察)。

推荐使用网站: regex101.com

具体做法可以看我另一篇回答,不在这里详说了:

以上

希望对你有所帮助!


公众号【数据分析不是个事儿】,“十周入门数据分析”正在更新中,欢迎交流!

编辑于 2019-01-25 16:27

199it都整理的比较全了, 大数据工具导航工具

  • 各国统计机构 中国统计局 香港统计处 日本统计门户 日本统计局 美国统计署 美国经济分析局
  • 网络趋势分析 百度指数 Google趋势 好搜指数 微博指数 头条指数
  • 网站排名查询工具 Alexa Similarweb 中文网站排行榜
  • 移动应用查询工具 艾瑞APP指数 App Annie iOS排名 蝉大师
  • 大数据分析工具 Hadoop MongoDB AWS Data Pipeline Snaplogic Treasuredata Striim
  • 网站分析监测工具 Google Analytics 百度统计 360分析
  • 移动应用监测工具 Google Firebase 百度移动统计 腾讯移动分析
  • 移动应用测试工具 百度云测试 易测云 Testdroid Cloud TestObject uTest AppThwack
  • 实时数据工具 实时移动互联网数据 Facebook每秒实时数据 APPLE每秒实时数据 YouTube每秒实时数据
  • 娱乐数据工具 BOM票房数据 优酷指数 中国票房榜 微博电视指数 中国娱乐指数
  • 网站热点分析工具 Crazyegg Clicktale Visidom Heatmaps
  • 电视收视率工具 酷云实时收视率 微博收视指数 Twitter电视收视率 收视率排行 GraphTV
  • 知识数据库 谷歌学术 日本CINII CNKI 维普网 EBSCO 超星图书馆 Springer
  • 大数据交易平台 更多>> 百度APISTORE HeroKu Factual 数粮 Infochimps DATAMALL
  • 政府开放数据平台 更多>> 中国国家数据中心 香港政府数据中心 经合组织(OECD) 日本统计局
  • ASO工具 更多>> Mobileaction Appannie Searchman ASOU APPBK
  • 智慧商圈工具 更多>> 谷歌商业选址 京东智圈 慧选址 百度慧眼
  • 语义分析工具 更多>> nlpir 腾讯文智 Bosonnlp
  • 航空智能工具 更多>> 全球实时航班延误和取消数据 Flightradar24 Google Flights
  • 移动应用营销工具 更多>> Tune AppsFlyer AppFigures Swrve Apsalar 腾讯移动推送
  • 数据可视化案例 更多>> 数据新闻 DataVlab Visualising Data popchartlab
  • iOS商业智能工具 更多>> Numerics Vizable Textal Vizzable Perspective Chartistic
  • AI开源数据新! 更多>> MNIST TED Talk Netflix Challenge OpenStreetMap Landsat8 bAbi
  • 爬虫工具新! 更多>> import.io scrapinghub Data Scraping ForeSpider 集客搜
  • BI商业智能工具新! 更多>> PowerBi DOMO FineBi Qlik
  • 职场信息工具 更多>> Glassdoor Salary 中国大学薪酬排名 看准网
  • 企业估值工具 更多>> Startup Value EquityNet Equidam Worthworm
  • 机器学习新! 更多>> Google Cloud Platform Turi Amazon ML
  • 数字货币工具 更多>> 全球区块链指数 亚洲区块链指数 比特币富豪榜 全球电子货币排行榜
  • 数据科学平台 更多>> Micropole Domino Sense Knime Continuum
  • 物联网工具新! 更多>> ThingSpeak GE Digital Augury Samsara
  • 财经&经济大数据 更多>> Yodlee Premise Data Plaid System2
  • 智能数据营销新! 更多>> Zeta Interactive Sailthru mParticle ActionIQ Kontera
  • 旅游行业数据 更多>> 旅游预测 360旅游预测 中国旅游局数据 Orbitz实验室 香港旅游局统计
  • 互联网市场数据 更多>> 百度研究院PC平台 Netmarketshare StatCounter
  • 互联网金融数据工具 更多>> 网贷中心 网贷之家 网贷天下 网贷看盘 中国P2P网贷指数
  • 数据可视化工具 更多>> Seeing Theory G2 Cytoscape Google Charts D3.js Databricks Wolfram Plotly Plot
  • Top榜单网站 更多>> 百度风云榜 微博风云榜 爱奇艺风云榜 豆瓣电影排行榜 优酷指数
  • TMT咨询机构 更多>> Asymco Analysys CNNIC CTR Digi-Capital 艾瑞iResearch Nielsen(尼尔森)
  • 广告数据监测工具 更多>> TrackMaster iAdTracker 梅花情报 全球广告信任指数 SocialPeta
  • 在线调查工具 更多>> 谷歌表单 腾讯调查 麦客 金数据 问道网 问卷星 调查派
  • 新闻数据库 更多>> 数据新闻 新闻百科 ProPublica Data Store 纽约时报数据
  • 地理信息数据 更多>> Natural Earth OpenStreetMap ArcGIS Open Data
  • 移动广告投放工具 更多>> Chitika InMobi 广点通 Mob YeahMobi 多盟
  • DMP数据管理工具 更多>> 百度DMP 达摩盘 华坤道威DMP Acxiom AOS UMA DMP
  • 电商数据查询工具 更多>> 阿里价格指数 情报通 点数网 中国淘宝村分布图 阿里巴巴价格指数
  • 电商数据监测工具 更多>> 量子恒道统计 易分析 酷宝数据 生意参谋 生e经 店侦探
  • 社交媒体监测工具 更多>> Meltwater 社交媒体实时数据 getanalytics picstats 微博风云榜 公众号画像
  • 海外社交分析工具 更多>> Topsy Social Mention Simply Measured SumAll Social Report Sprout Social
  • 新媒体排名 更多>> 新媒体排行榜 微博风云榜 品牌微信排行榜
  • Hadoop大数据工具 更多>> Avro Ambari Hive Pig HDFS ZooKeeper HBase Flume
  • A/B测试工具 更多>> ABTester Vwo Amzon Mturk A/B Testing Kameleoon Splitforce
  • 数据库工具 更多>> Cassandra CartoDB Hunk PouchDB Dataset SQLCipher Vitess
  • 网站性能工具 更多>> Google PageSpeed GT Metrix Pingdom Web Page Analyzer Webpagetest
  • 移动性能管理工具 更多>> Compuware Riverbed Splunk Newrelic Lite Oneapm 监控宝 听云
  • 在线营销分析工具 更多>> Inspectlet Celebrus IVR
  • 文本分析工具 更多>> 语义分析系统 Tagul 结巴中文分词 etcML Datamate Text Parser awk
  • SEO分析工具 更多>> Traffic Travis SEO Workers Seoptimer SiteTrail
  • 定性研究分析工具 更多>> HyperRESEARCH Audacity Maxqda Nvivo InfoRapid Atlas.ti
  • 标签云工具 更多>> Wordle Tagcrowd Tagul Tocloud
  • 宏观经济查询工具 更多>> 世界银行 中国统计局 中国金融信息网 全国企业信息查询 北京宏观经济数据库 世界银行数据
  • 社会调查数据 更多>> 中国综合社会调查 中国家庭跟踪调查 中国劳动力动态调查 联合国儿童基金会数据中心
  • 投资数据工具 更多>> Crunchbase 创业邦 清科投资界 IT桔子 Startups List Inc Top500
  • 金融数据工具 更多>> 中财网数据引擎 大公金融数据 FINVIZ(英) 全球股票指数 Investopedia(英)
  • 教育数据 更多>> 高考预测 教育部 中国教育科学研究院 世界教育数据 中国教育统计网 世行教育统计
  • 法律查询工具 更多>> 中国裁判文书网 美国立法委员可视化图表 IBM Ross 法宝
  • 房价查询工具 更多>> 查房价 中国房价指数 房价网 房价走势 深圳房价走势查询 台北房价行情
  • 城市数据工具 更多>> 实时路况 亚洲空气污染地图 "http://aqicn.org/map/world/cn/">全球空气污染地图新 百度迁徙
  • 社会指数工具 更多>> 全美机构排名 全球幸福指数 人类发展指数 全球经济指数排名
  • 农业数据工具 更多>> 联合国粮农组织数据中心 中国农业信息网 国家农业科学数据中心 农业大数据云平台
  • 药品数据查询工具 更多>> 国家药品总局数据库 药智数据 美国食品药品管理局 环球医药 DrugBank
  • 股市指数 更多>> 上证指数 沪A涨幅 深A涨幅 沪深B股 创业板 全球股市指数 纳斯达克指数
  • 汽车行业数据工具 更多>> 易车汽车指数 中国汽车工业协会-数据中心 搜狐汽车产销数据 百度汽车搜索热榜
  • 健康医疗数据 更多>> 医药健康API HealthData 美国HCUP数据库 公共卫生科学数据中心
  • 企业征信工具 更多>> 全国企业信息查询 元素征信 中国人民银行个人征信中心
  • 企业品牌排行榜 更多>> 全球品牌价值 品牌数字资产榜 全球企业品牌指数Top100
  • 生活类数据工具 更多>> 國立故宮博物院資料 艺术家指数 全球人口年龄地图 你的财富排名


另外新书出售中ing

具体购买链接:【任何问题咨询 微信784414374】

https://item.taobao.com/item.htm?spm=a1z09.8149145.0.0.1b317ff1O2s8ar&id=563653694166&_u=659l9sv0714

购买成功拉进数据分析联盟微信群


手机用户可复制链接手机淘宝:

【数据分析侠 《人人都会数据分析》20万字书籍】 m.tb.cn/h.AJEkoq 点击链接,再选择浏览器打开;或复制这条信息¥fSnh09F0Vpy¥后打开 手淘

编辑于 2018-01-24 11:00

万能查询

12580.tv/Category/

这个网站收集汇总了当前所有行业的6万多个主流网站,并按主题进行了428个细分主题类目的分类。

如果你想迅速了解一个陌生领域中有哪些重要、主流的网站,这个网站是你的最佳向导。

麦肯锡

麦肯锡的官网可直接下载各行业资料:

mckinsey.com.cn/

波士顿BCG咨询

在BCG的官网上,我们可以直接获取不同行业的报告信息和资讯,为学习各行各业提供了非常丰富的资料。

官网: bcg.com/zh-cn/default.a

贝恩

贝恩的官网上会定期发布白皮书和行业报告,比如最新的《新零售的数字化转型》,有详细的新零售的报告,可以了解真正悄悄地改变我们生活的新零售是怎么布局和发展的。

贝恩官网链接: bain.cn/

这些平台发布的报告书写得都非常漂亮,如果你的工作也要涉及到写报告,那么这些行业报告是非常不错的参考。

腾讯企鹅智库

是腾讯科技旗下互联网产业趋势研究案例与数据分析的专业机构。针对九个热点领域,如金融,教育,餐饮,房产等,基于消费者反馈,进行机会和陷阱的分析。

企鹅智酷官方网址: tech.qq.com/biznext/lis

阿里研究院

阿里研究院依托于阿里巴巴集团,与业界顶尖学者机构合作,集中在电子商务,生态产业升级,宏观经济等研究领域。共同推出创新型数据产品如aSPI-core,aSPI,经济领域研究报告,众多小企业案例。

阿里研究院的官网更新快,信息多,文章抓住了最新趋势,是非常好的获取行业趋势,丰富见识的好去处。

阿里研究院官网: aliresearch.com/

国家统计局官网

data.stats.gov.cn/index

说到行业大数据报告,世人只知有麦肯锡、波士顿是权威,其实,很多人都忽略了我们身边的一个免费查询网站,也可以给我们提供前沿、权威的行业趋势、政策趋势等方面的大数据。

这就是国家统计局的官网。

国家统计局是国务院直属机构,数据的可靠性、权威性自然没得说。

在这里会有政府发布的月度、季度和年度的从宏观经济指数到微观行业动态的各种数据。

有一些信息即使在统计局官网不能直接找到,也可以去统计局首页下方的「网站链接」板块,寻找拓展资源。这里不仅有各个地区的政府统计网站,还有政府机构、国际组织、国外政府的数据网站。

中国经济信息网

cei.gov.cn/

这是第二大官方行业大数据来源地。它是国家发改委管理的事业单位平台。

网站首页的标语就是“国民经济的晴雨表”,要想研究商业经济方面的大数据,分析大趋势,怎么能少掉这个网站?

Wind数据库

wind.com.cn/Default.asp

Wind是中国本土的一个非常牛的大数据研究机构,其客户包括超过90%的中国证券公司、基金管理公司、保险公司、银行和投资公司等金融企业;在国际市场,已经被中国证监会批准的合格境外机构投资者(QFII)中75%的机构也是Wind资讯的客户。

国内多数知名的金融学术研究机构和权威的监管机构也是其客户。如果你经常看一些经济金融领域的数据报告或者文章,你还会发现,这些文章报告中的数据,大多数会备注来源于wind数据库。

简单说,这是经济学家、策略分析师、行业研究员必备的数据库系统。

我们虽然不需要像这些专业人士这样去做深入、严谨的大数据研究,但是,知道这么一个数据渠道,对于了解世界格局下的经济、金融趋势,却是很有价值的。

数据观

cbdio.com/node_2782.htm

如果你是创业者或者中小企业,没有专门的数据团队,那么这个数据网站,能帮你低成本地实现数据分析啦。

上面有很多现成的数据研究报告,别人帮你整理了大量各行各业的数据资讯,你直接拿过来用就好了。

大数据导航

hao.199it.com/mobile/

这个大数据网站中的万能导航,垂直汇总统计了当前几乎所有在线的细分垂直行业的大数据网站。

CBNData 第一财经商业数据中心

集合了阿里大数据库和合作方自有数据,对垂直行业趋势发展、行业格局和市场需求营销策略进行分析。提供运营策略支持,产品设计,渠道分布等方面的服务。

这上面的报告数据详实,同步更新快,涉及到各个行业,也是追踪各种行业发展动向的非常好的去处。

官方网址: cbndata.com/home

中国社会科学院

如果想对我们的社会现状有更多的客观认识,可以上中国社会科学院的社会科学网智库频道搜索信息。作为一个强政策导向的国家,我国的很多政策趋势和解读,都可以在这上面找到官方的声音。

网址链接: tt.cssn.cn/zk/

编辑于 2020-02-10 15:35

想要分析的时候,没有数据,就是巧妇难为无米之炊。以前想找一个数据需要费尽心思在网上去搜,最终还找不到自己想要的数据。通过编程爬虫数据,学习成本又太高,毕竟你的目标不是想要成为爬虫工程师,只是想要拿到数据来分析。那有没有傻瓜式的获取数据方法呢?

下面介绍4种获取数据的方法,选择一种适合你自己的方法就可以。

觉得文字看起来麻烦的话,也可以看视频,我结合自己在IBM的数据分析经历和一些大厂的一线业务案例设计了一套课程,讲解模型结构+逻辑框架,也包括如何更便捷准确的挖掘数据。带大家0基础学习数据分析,并构建数据分析思维。有需要的朋友点击下面链接即可:

  • 方法一:直接获取10大行业免费数据

1)如何选择行业?

不知道如何选择行业的,可以在下面网站里看到各个行业的分析报告:

如何选择入职行业 : zhihu.com/question/2499

艾瑞研究-艾瑞网(行业报告): http://report.iresearch.cn

Talkingdata报告(行业报告): http://mi.talkingdata.com

199IT互联网数据中心(行业报告,内容多,支持搜索): http://www.199it.com


2)10大行业免费数据汇总

【优点】直接拿来使用

【缺点】数据有限

根据你确定的行业,选择一个自己感兴趣的数据。比如你确定了电商行业,然后就找一个电商行业的数据。

在《数据分析思维》中汇聚了10多个行业的数据以及分析案例

《数据分析思维》12大行业案例数据

更多行业数据:

10大行业公开数据集免费下载:电商零售行业

10大行业公开数据集免费下载:金融行业

10大行业公开数据集免费下载:游戏行业

10大行业公开数据集免费下载:教育行业

10大行业公开数据集免费下载:旅游行业

10大行业公开数据集免费下载:文化娱乐行业(电影,音乐等)

10大行业公开数据集免费下载:医疗行业

10大行业公开数据集免费下载:汽车及出行

10大行业公开数据集免费下载:房产行业

10大行业公开数据集免费下载:自媒体等行业


  • 方法二:从数据平台获取

1.国内中文平台:

1)阿里云天池,官网网址: tianchi.aliyun.com/data

数据下载办法:

2)DataFountain,官网地址: datafountain.cn/dataSet

有的文件下载后会显示后缀是.zip, .zip是个压缩包,下载后需要减压后才能看到压缩包里的excel文件

2.国外英文平台

Kaggle,官网地址和如何下载数据: 如何在Kaggle上查找数据


  • 方法三:傻瓜式爬虫工具(不需要编程)

【优点】在网站上爬取你感兴趣领域网站的数据,可以获取到自己想要的领域数据

【缺点】需要看官网教程来学习,有一定门槛


1)工具: 后羿,同时有mac,windows版本

网址: houyicaiji.com/

打开官网后点击下图“教程”的地方有入门教程。

2)工具:集搜客,只有windows版本

操作指南只需要看下面红框中的内容就可以,操作指南地址:

gooseeker.com/tuto/tuto

爬取多少数据?

数据量少一般说明不了什么问题,起码的超过几万条数据。

多尝试、思维逻辑要清晰,一定要知道自己做什么,爬取什么样的数据,提前规划好了,整个过程就不会走太多的弯路。

案例: zhuanlan.zhihu.com/p/39

欢迎留言补充更多行业数据。

上面提到3种获取数据的方法,选择一种适合你自己方法。

如何分析数据?

编辑于 2023-02-01 19:07

简单浏览几个答案竟然没有人提到

Data | The World Bank

强烈推荐

Data | The World Bank

,去年做一些case的时候查数据用了很多很多次。

然后这个好像是Google的一个数据,

Freebase

其实你想要不付费得到高质量的有时效性的社会经济数据蛮难的,个人经验以前做过的地方会有时候像去尼尔森等等机构买数据还是一笔很大的开销的。

对了还有这个地方我觉得蛮有趣的定期回去看,

NIFTY - Weekly Visualization

,这是斯坦福做的一个数据可视化的项目,我理解他是做一写text clustering或者topic model去检测每一天或者一段时间的news article的topic变化。

发布于 2015-02-09 03:45

做数据可视化或者数据分析的朋友可能经常会碰到的问题就是有想法没有数据。想到我有几位朋友就是这样,因此每次我抓取了数据我会第一时间输出给他们。

有些可视化或者数据分析的朋友可能自己会爬虫所以当自己有想法的时候他们就回自己手动取做爬虫去抓取一些数据。但是往往是有可能有些数据抓取不到,还有可能有些人根本不会爬虫。这时候为了更加方便我们快捷的学习可视化和数据分析的知识,我们的时间应该投入到后续的研究而不是数据的获取。

但是 如果你很倔强(比如我)非要通过爬虫方式抓取数据进行研究分析那么同样可以给你推荐一个学习爬虫的路线和学习资料,助你10天入门爬虫: 如何学习Python爬虫[入门篇]

冲着以上的一些方面,于是在今天想给大家推荐一些可以免费或者只需要花费很小的代价就可以获取数据的网站或者方式,一下推荐的网站格式为标题加简单那介绍加网站的一张配图,你可以按照介绍取寻找你需要的资源。

第一推荐这样一个获取数据的方式: 有哪些「神奇」的数据获取方式? - Liu Cao 的回答

(1)、 数据分析报告,数据报告,数据圈论坛

不得不说这真是一个获取数据的好地方,

主要包含:国内宏观、区域数据、世界经济、价格数据、工业行业、区域数据、国内宏观、区域数据、世界经济、价格数据、工业行业、区域数据。

是否免费:否(花费论坛金币)


(2)、 海量数据免费下载

此网站数据就比较多涉及的方面也比较多了,合适各种行业各种朋友。

主要包括数据:语音识别、医疗健康、交通地理、电子商务、社交网络、图像识别、统计年鉴、研发数据等领域。

是否免费:否(论坛金币,部分免费,部分花费少量金币)


(3)、 国云数据市场

主要包含数据:生活服务、教育、能源、建筑、交通运输、政府、金融、农业、医疗、卫生

是否免费:否(大部分免费,根据自己选择)


(4)、 数据包下载列表

主要数据包括:社交网络、电子商务、企业名录、 金融数据、生活服务、科研数据、知识库

是否免费:否(不全免费,部分需要rmb)


(5)、 微盛投资:沪深市场5分钟数据 wdz格式 转 txt、通达信,大智慧dad,飞狐dad,钱龙,同花顺等(此网站界面有点low,不截图解释请自行访问查看)

(6)、 国家地球系统科学数据共享平台全球变化研究出版数据直接下载 (有部分数据)
(7)、 中华人民共和国国家统计局>>统计数据

听名字就知道是什么数据了吧,而且所有数据都是免费,当然这个网站还有彩蛋。在文末的友情链接里面有很多地方的数据以及国外各国的数据。所以不要简单的认为只有本网站那么点数据喔。网站最后的友情链接请仔细查看,不要说我没告诉你。


(8)、 分类: 地球物理相关资源

这一位博主的博客,maybe出于研究目的,他整理了一些 地球物理相关的资,如果有人需要研究这方面的东西可以这里去下载你想要的资源,当然全部是免费的资源了。


(9)、 国家数据

同样包含了国家的各种数据,点进去你可能会发现新世界的大门,而且所有数据均是免费!果然党是不会骗你钱的,好好跟党混没错。


(10)、 产业数据_统计数据

数据主要包括:能源、电力、冶金、化工、机电、电子、汽车、物流、房产、建材、农林、安防、包装、环保、食品、烟酒、医药、保健品、IT、通信、数码、家电、家居、家具、文化、传媒、办公、文教、服务、金融、培训、旅游、服装、玩具、礼品、工艺品

是否免费:全部免费


(11)、 百度数据开放平台

不喷不喷不喷!重要的事情说三次。这点数据还是有用的!


以上来源于我的文章: 有哪些可以获取数据的网站?[大数据] - 学习编程 - 知乎专栏

编辑于 2020-05-16 16:30

我们把网站做了一次全面的分类和梳理,希望对大家有用。

一.数据集市

  • 数据堂
  • 聚合数据
  • 数粮
  • 京东万象
  • 数据宝 贵州政府背景的数据市场
  • 天元数据


二:单产品分析

1.内部数据收集

  • 谷歌分析 唯一能配得上“分析”二字的免费软件,其他都是统计软件。
  • 百度统计 百度SEO 必备,热力图不错
  • GrowingIO 无埋点统计,增长黑客神器,不免费
  • 诸葛IO 类GrowingIO,不免费
  • 阿拉丁小程序专用统计(其实是个伪概念)

2.外部数据分析

(1)网站

  • Alexa 最古老的网站数据排名
  • 5118 SEO比必备,也可做竞品分析
  • 站长之家
  • SimilarWEB 神准!谁用谁知道!
  • 百度指数
  • 百度统计流量研究院

(2)APP

  • QuestMobile 头部 APP 日活数据,多数据源合并计算
  • ASO 100 ASO 数据,榜单、下载量分析
  • 蝉大师 同 ASO100,ASO 工具
  • AppAnnie 老牌全球 APP 分析工具
  • 极光大数据 不对 C 端售卖,靠 SDK 收集 APP 数据
  • 千帆指数 覆盖苹果榜单头部数千 APP 较精准日活留存等数据
  • 移动观象台 头部 APP 日活数据
  • 艾瑞 APP 指数
  • Talkingdata


三:一级市场投融资数据

  • CrunchBase 全球最大基础数据库
  • CBInsights 国外分析见长的一级市场数据工具,基础数据来自CrunchBase
  • 以太搜索 国内新经济公司数据搜索引擎,机构数据也非常丰富,免费
  • IT 桔子 最近被华兴收购,大部分功能收费
  • 洞见 付费,大概5 万一年,核心功能模仿了 CrunchBase
  • 创投库
  • 投资界


四:二级市场

  • 上交所
  • 深交所
  • 港交所
  • 证监会
  • SEC
  • 纽交所
  • 纳斯达克
  • 中财数据 界面很干净的二级市场各项数据,比东方财富同花顺之流好多了
  • JoinQuant 二级市场免费数据 API,做量化投资用的


五:电商数据

  • 阿里网购价格数据
  • 阿里指数 阿里官方的免费电商数据,按区域、行业、品类来
  • 情报魔方 天猫价格分析工具
  • 流量捕手
  • 淘数据 跨境电商数据分析为主


六:媒体数据

1.长视频

  • 爱奇艺 数据平台
  • 豆瓣电影
  • 优酷 建设中...
  • 猫眼票房
  • 中国票房
  • 全球票房
  • IMDB

2.短视频

  • 抖音新榜
  • 飞瓜数据
  • 罗网数据
  • TooBigData
  • 火眼看

3.公众号

  • 新榜 复旦大学新闻学院支持,公众号分析是强项,目前偏向抖音
  • 清博大数据 类型很全,包括 QQ、B 站、西瓜视频
  • 西瓜数据

4.其他

微博指数


七:政府社经数据

  • 国家数据
  • 人口普查
  • 国家知识产权局
  • 前瞻研究院
  • 知网数据
  • 产业信息数据中心
  • 中国经济信息网
  • 搜数
  • 各国GDP 数据


八:互联网金融

  • 积木盒子 积木盒子内部运营数据
  • 网贷中心 全网互金平台成交额&利率数据
  • 网贷之家 同上,且数据更全
  • 零壹数据 零一财经旗下,可视化展现全网互金运营数据


九:游戏

  • APP Annie游戏榜单
  • 游戏葡萄数据库


十:房地产

房天下全网地产数据


十一:法律

  • 裁判文书网
  • 无讼


❤看完2件事:

如果你觉得这篇文章对你挺有启发,我想邀请你进一步:

1)邀请你加入下一期实战营(线上),还有少量名额: 《创业复盘实战营》


2)知乎用户专属"融资礼包",限时领:

编辑于 2019-12-11 13:55

互联网方面的数据,我可以分享一些干货~~先后在百度、汽车之家、某独角兽做业务和商业分析12年了,与CEO、VP、业务owner等都对接过,1 个明显共性:就是大家都很关注外部行业数据,为决策提供参考。接下来,就和大家分享一下我收藏的 32 个免费数据源,以及分析思路和使用心得~ 干货如下:

刚干这行的时候,现找外部数据,大海捞针不说,也不知道准不准(误导了业务决策谁背锅),够不够权威(放报告里老板认不认),好不容易找到一个,可能还收费(降本增效没预算)。
经过多年积攒,互联网行业相关的,大致先分看看这 6 类(其他的后续再更) :
App数据大集锦(DAU等)、游戏、视频&自媒体、互联网广告、热点趋势、互联网整体

App数据大集锦类

1、Questmobile

近些年爆发增长的数据平台,包含全网几乎每个App的用户数据(比如DAU、时长、用户漏斗、画像等等)和广告投放数据,还有App间的用户重合度、相似度、各指标对比等等,以及社交、电商、互金等各细分领域整体数据,并且还覆盖了小程序。亲测还是比较准的,可能是市面上最准的。除了数据,还经常发布一些专题报告,比如移动互联网季度大报告、双11洞察、Z世代行为和偏好研究等等。

分析场景举例:

  • 看用户:用户行为整体发生了啥变化(比如小镇青年崛起等等),进而分析对我们意味着啥?
  • 做对比:关于某指标,我司App与竞品的对比,例如用户增长规模、新用户漏斗,与同领域整体情况的对比。(印象里好像还有我司App的用户,流失去了哪儿(笑
  • 挖客户:哪些App的用户量增长快、哪些App是细分行业的头部玩家,这些估计手里广告预算多,可以作为客开重点。

行业研究报告 - 研究院-QuestMobile

以下几个老牌数据源,应用场景与questmobile相似。

2、艾瑞

(B端展示广告方面的数据市场认可度比较高,C端我没买过)C端方面有App排名和规模、用户人口属性分布、移动设备分布等等,准确度不好说,看排名和趋势没啥问题~他经常会发很多专题研究报告,值得细读。

艾瑞指数 - 互联网用户行为洞察

报告_艾瑞网


3、Talkingdata(TD)

这个数据大盘做的不错。重点还是看报告哈。

TalkingData移动观象台


4、极光大数据

主要看他的分析报告,借鉴一些洞察。

行业报告-行业白皮书-行业洞察-月狐数据


5、App Annie(后来改了个潮名,叫data.ai了)

算是global的一个数据平台,做出海的同学比较关注。公开的有很多应用下载排行榜,还有专题报告。

今日热门应用活跃用户数 - data.in

Reports - data.in


6、Similar Web

主要也是看海外,我主要会用来看 Web端的。包括流量啊、搜索词来源啊、用户去向啊等等。

Similar Web

7、追加一个小程序的:阿拉丁

百度和阿里的人出来做的,主攻小程序,C端和B端都覆盖,看起来不错。

aldzs.com/viewpointarti

2022 年 H1 小程序互联网发展白皮书


游戏

1、游戏版号发了没

版号,游戏人心中的痛,阿喀琉斯之jio踵。

分析场景:

  • 这月版号发没发,发给了谁,都可以在这里查
  • 作为媒体方,这些新拿到版号的厂商,就是你的潜在广告主

国家新闻出版署-游戏审批结果

腾讯的版号啥时候才发,我被套得好惨

2、游戏那点事儿

行业垂直媒体,也有不少有意思的数据。

数据报告 | 手游那点事


3、Sensor Tower

可以看到各类游戏的下载量,比较适合出海的。还包括一些新领域的,比如元宇宙等等。

Resources | Sensor Tower

4、中国游戏产业网

中国音像与数字出版协会游戏工委旗下的,会定期发布游戏产业大报告,挺全面的,可以重点看看。

游戏产业网-游戏工委官方网站


5、券商研报

TMT是投资重点标的行业之一了,各大券商、资管机构都有专门的团队持续研究,他们掌握的信息、资源、人脉是很高价值的,分析涉及C端、B端还有业务模式行业竞争等多方面,更新还特积极。能白嫖还不看简直过意不去哈哈哈哈。不过另一方面,任何报告都可能是有立场的,不能全信哈,最好多方面验证下。

聊到游戏,那就先游戏为例(后面行业就不重复放了):

行业研报

另外,游戏买量方面的数据,咱们放到后面「互联网广告」模块聊哈。


视频 & 自媒体

1、巨量算数(抖音和头条两块儿的内容生态)

聊到视频绕不开抖音这只大象,字节旗下的巨量引擎积累了大量的数据,做了一个「巨量算数」平台,还挺有诚意的。从热门品牌、商品到热搜都有,还有不少深度分析报告,细分人群研究等等。

算数榜单-巨量算数

算数报告-巨量算数

2、新抖

新榜旗下的抖音数据分析。从热点话题、神评论到账号涨粉、直播带货挺全。

主要用来找账号和话题

新抖-短视频及直播数据平台


3、新榜

微信、微博、B站、小红书、抖快的自媒体都覆盖,可以看到各领域内的排名、阅读量、互动量、发布规律等各种明细数据。

排名列表 - 新榜


4、微播易

印象里是微博分出来的好像。他们会把 KOL 的表现概括成几个象限:传播、互动、活跃度、成长、健康、商业适应度,然后做打分赋值。可以通过这个来定位一些账号。

微播易-短视频商业价值榜 美拍、秒拍、美妆、美食、娱乐等各类短视频KOL排行榜


互联网广告

1、艾瑞的adtracker和报告(特别是展示类广告)

在展示类广告的监测这块儿,艾瑞起步比较早,数据相对来说认可度高。涉及到信息流之后跟我实际的对比有一些gap。所以在看数的时候,会重点看他展示类广告的数;看报告的时候,重点看趋势、访谈数据、论点论述。

艾瑞每年会发布网络广告大报告,有简版和详版两种,前者是免费的,信息量也挺大。后者内容更多,如果你们公司买的tracker的话可以找客服要。除此之外,也经常会更新各领域的专题分析、政策影响分析,挺不错的,能挖到一些干货和有意思的观点。

分析场景:

  • 我们的广告收入占市场份额多少,细分类型里占多少(例如社交类、短视频类等等)?
  • 哪些广告主的预算规模大、增长快,我们还没覆盖,为什么没覆盖,是否可以作为潜客来挖?
  • 同样的,广告主视角也可以观察哪些媒体平台值得投放,同行有哪些案例等等

2021年中国网络广告年度洞察报告―产业篇 艾瑞

艾瑞数据积累比较久,有蛮多这种趋势,挺好

2、QM的广告行业报告

这两年QM也开始做广告监测了,并且发布过很多公开报告。

分析场景基本同上。

QuestMobile2022互联网广告市场半年大报告

信息图也比较直观易读

3、AppGrowing

App Growing对游戏和应用的买量做监测,也会按品牌和厂商做细分,跟前面两家用钱/指数衡量不同的是,他是用素材量来衡量。基本覆盖大多数App和媒体平台、联盟,也比较准。同时还有各平台的用户画像,也不错。定期还会发布一些免费分析报告,推荐看看~

AppGrowing_实时更新广告投放分析报告

4、热云

热云在游戏方面覆盖很不错,游戏买量方面的报告可以着重阅读。

数据报告 - TrackingIO Blog


5、秒针

秒针也是帮广告主做第三方监测,跟admaster合并了。之前听说要做类似艾瑞的数据平台,不知道有了不。

经常会发一些报告,值得一读。

市场报告-市场洞察 - 秒针系统


6、艾奇SEM

各App/品牌的买量情况,定期发布媒体平台的人口属性分布数据。做SEM起家,现在也有信息流的投放数据。

报告等资料下载 - 艾奇在线


7、群响

是听运营老板安利的,流量操盘手的宝藏,原来著名的《中国流量作战地图》就是来自这儿,挺多各家的新资料,值得好好逛逛。

群响


8、eMarketer

做海外广告市场研究,可以看eMarketer(好久不见他们免费的数越来越少了……),挺权威的,很多机构都会引用。

Unlock digital opportunities with the world’s most trusted forecasts, analysis, and benchmarks.


9、各家财报

有些公司的财报里会披露客户量、商户量、集中度等数据,还能算算ARPU,还有通过头部几家的营收来匡算一下市场整体规模、估算未上市的公司的营收等等,对于竞品研究还是挺有帮助的。

更多广告的数据欢迎看这个回答:

中国广告行业数据网站有哪些?



热点追踪&相关的人群分析

1、百度指数

这个大家肯定熟,可以看搜索词的趋势。除此之外,还可以看搜这个词的人有什么特征,以此,帮助我们来做需求受众的画像。(主要是好玩儿)

百度指数

2、微信指数

微信生态内,一个关键词在搜一搜、视频号、公众号、网页、分享等的热度集合。

是个小程序,大家去微信里搜就行。

3、谷歌指数

外事不决问Google?(twitter的也可以看看)需要科学上网。

Google Trends

印象里,曾经好多家都有指数,微博啊淘宝啊等等,后来陆陆续续停服了,让我们祝福以上三位朋友,挺住。

互联网整体

1、CNNIC(中国互联网络信息中心)

统计报告 - CNNIC官网

工信部下属机构,数据非常权威。最经典的就是半年一期的《中国互联网络发展状况统计报告》,包含网民规模、时长、分地区分设备分年龄的结构、游戏电商社交等各类应用的发展情况等等。最新一期是22年8月底,最早追溯到1997年(比我实习生还早出生4年?)。除此定番之外,还有少量专题研究,比如青少年上网行为研究等。

分析场景举例:

  • 我司App跟同行整体比,增速快还是慢?我们占市场份额的百分之多少?
  • 某类业务(例如在线办公)增长快吗,咱们值不值得做?
  • 咱们想推青少年用户了,他们上网有啥特征?

第50次《中国互联网络发展状况统计报告》--互联网发展研究--人民网

2、IDC

IT、VR、互联网都涉及一些,可以搜一下报告,作为参考。

IDC - 199IT(比官网易读一些)


3、Mary Meeker(她另一个名字你肯定熟:互联网女皇)

互联网几十年的NB分析师和投资人,以前每年都会出一份《互联网趋势报告》,不过最近两年没见到了,也许大佬终于决定退休享福了。能找到最新2份,发给大家。

独家首发 | “互联网女皇”疫情趋势报告全文:新冠疫情过后,世界将会怎样?

独家整理 | 2019互联网女皇报告中文完整版来了!


4、信通院

中国信通院 - 数据&报告

工信部下属科研单位,有很多专题研究,在数据之外还会有很多比较系统的分析观点。涉及:5G、大数据、AI、移动网络质量监测、互联网上市企业运行情况等。

分析场景:可能会偏前期偏战略研究一些。


经常觉得哦,分析师没有靠谱的数,不光是巧妇难为无米之炊,还好比柯南断案没带麻醉表,一肚子高论,别人就是不信。希望我的分享能够帮助到你~

其实梳理这些对我自己也是个挺好的复盘,感谢大家~

当然,互联网渗透到生活方方面面,可拓展的行业太多了,本文很难完全涉及,比如电商、互金、教育等等。有的领域一定也还有宝藏数据源是我不知道的,欢迎推荐哦~ 后续碰到新的继续更!

编辑于 2022-10-16 20:10

数据君是一个资深数据使用者,今天给大家分享一些我常用的优质数据平台, 他们提供了涵盖多个领域的详尽数据,非常适合用于商业分析、市场研究、学术研究等多种用途。

国家数据(国家统计局)

    • 官网: stats.gov.cn/
    • 中国国家统计局的官方平台,提供宏观经济数据、各行业统计数据等,是最权威的官方统计数据来源。

镝数聚

  • 官网: https://www.dydata.io/
  • 提供1.5亿+行业数据的开放数据平台,更新频率高,覆盖了16大领域121个的细分行业

CEIC数据

    • 官网: ceicdata.com/zh-hans
    • CEIC是国际知名的数据服务提供商,对中国及全球各国的经济数据有着专业的整理和深度分析。

东方财富Choice数据

    • 官网: eastmoney.com/
    • 提供股票市场、基金等金融投资相关的大量数据和信息。

雪球

    • 官网: xueqiu.com/
    • 雪球是一个集合股票交流社区和股票投资数据的平台,适合投资者分析决策使用。

百度指数

    • 官网: index.baidu.com/
    • 提供网民关注热点及趋势的变化,可以反映出某一关键词在百度搜索中的搜索量。

阿里云 DataV:

    • 官网: data.aliyun.com/visual/
    • 提供了一系列基于云计算的数据服务和大数据处理,帮助用户分析和可视化数据。

TalkingData

    • 官网: talkingdata.com/
    • 擅长移动互联网行业的大数据分析,提供APP市场的使用分析、用户行为研究等服务。

企查查

    • 官网: qcc.com/
    • 提供企业信息查询,可以获取企业注册信息、法律诉讼、商标专利等数据服务。


回答不易,觉得回答有用的,请点赞关注,数据君持续来更新~~

编辑于 2024-04-01 17:37

花了几天时间,整理出一份常用的数据来源清单,仅供大家参考

一般来说数据有以下几种获取方式:

1、使用爬虫软件采集数据

2、从数据平台上获取或下载数据

3、通过调查问卷等获取数据

下面分别从这几个维度,给大家推荐好的数据网站或者平台。

一、使用爬虫软件采集数据

市面上有很多采集工具,各有特点

利益相关,这里我推荐我们家的八爪鱼采集器

简单的网页数据爬取几分钟就能搞定

给大家简单介绍一下软件吧:

1、模板采集(0基础,简单三步获取数据,纯鼠标和输入文字操作,小白友好)

打开运行在PC端的八爪鱼客户端,直接搜索网站,看看有没有包含您想要采集的目标网站。万一包含,只需要动动鼠标输入文字,采就完事了。

目标采集模板数也是非常多的,基本上主流网站都有包含,看看下面的图片就知道了。

图片仅展示部分内置的数据源

以京东商品采集给大家详细演示采集过程:

简单3步,日采集海量数据

具体详细使用教程: 使用模板采集数据


2、自定义采集模式(内置智能模式,自动识别网页内容数据,自由度高,轻松采数据)

如果【模板采集】里没有想要采集的网站,那就自己来,八爪鱼内置智能模式,可以自动识别网页内容进行采集。

以八爪鱼教程列表页采集给大家演示操作流程:

只需输入网址,一键智能识别采集数据


具体详细使用教程: 自定义配置采集数据(含智能识别)

如果您对用八爪鱼采集网页数据有兴趣,可以用电脑下载客户端试试。

下载地址:


二、从数据平台上获取或下载数据

1、网站流量相关数据平台

搜索引擎流量相关

1、 百度指数

推荐理由:一个比较大的功能就是能查询关键词在某段时间的搜索热度,另外还能查询某个关键词的需求图谱,以及人群画像(地域、年龄、性别)。对于市场调研来说,比较适合做关键词分析,竞品挖掘,目标人群画像绘制,相关搜索需求挖掘。

2、 5118大数据

推荐理由:一款SEO人员必备的查询工具,支持网站SEO分析,关键词挖词,关键词排名,百度收录查询等SEO人员常用的功能。对于市场调研来说,可以去评估相应网站的SEO表现情况,以及挖掘竞争对手网站。

整体流量预估

3、 similarweb

推荐理由:非常好用的一款网站以及APP整体流量预估工具,提供的数据包括网站每月流量,平均访问时长,人均访问页数,跳出率,访问地区,流量来源,外链来源等等,可以说非常全面了,对于分析竞品及目标网站流量调研十分有用。

类似的还有 Alexa中国,不过从自身的测试来看,没有similarweb预估的准确(国内有时候similarweb打不开,需要**,Alexa可作为备用网站)

微信公众号流量分析

4、 新榜

推荐理由:微信公众号流量分析还是比较推荐新邦

APP流量分析

5、 艾瑞APP指数-艾瑞数据

推荐理由:对于APP来说,月活是一个很重要的指标,艾瑞提供具体每个月的月活跃设备数据,另外还有简单的人群画像数据,对于做简单的APP调研够用了。


6、 蝉大师

推荐理由:如果要对APP做细致的分析,比如ASO关键词、ASM投放词,竞品对比,评论分析等等,那么我推荐使用蝉大师这款工具。


2、各个细分行业数据获取平台


城市交通

1、 高德交通。提供全国100个城市的交通实时数据,提供非常酷炫、直观的数据可视化呈现,并定期提供专题分析报告与研究。

2、 北京城市实验室。由龙瀛博士首创致力于定量城市研究的学术网络,提供微观视角下的中国城市空间量化研究。

3、 北京大学轨迹可视化。由北京大学可视化与可视分析研究组创建,通过位置采样记录物体的移动,进行城市交通密度绘制、拥堵分析以及不同交通模式的关联分析、移动行为以及语意分析等工作,在城市交通GPS轨迹数据,减少交通事故和拥堵等领域发挥作用。

4、 城市CAD地图数据。提供全球200+城市精美的绘图文件,帮助城市规划设计人员节省大量制图绘图的时间。要求有AutoCAD、SketchUp 8+、Illustrator、Rhinoceros 5+软件。

5、 深圳市道路交通运行指数。深圳交通运输局旗下网站,是对深圳路网交通总体运行状况进行定量化评估的综合性指标,与传统的车速、流量等参数相比,具有直观、简单的特点,让人们更能清楚地了解堵到何种程度。

社会经济

1、 国家统计局。国家权威数据发布平台。提供所有国民经济、社会、民生数据,同时发布最新的统计政策、会议、统计标准等信息。

2、 国家数据。国家统计局子网站。你想了解的中国所有权威数据几乎都能在上面找到,涵盖工业、能源、价格、投资、地产、消费、交通运输、采购、财政、金融等等数据,提供月度、季度、年鉴等多各维度数据,并包含数据可视化的图表走势对比分析。

3、 世界银行公开数据。世界银行公开数据上罗列7000多个指标,包括贫困与不平等、人口、环境、经济、国家与市场等数据。用户可以免费使用和分享数据,还可以按照国家、指标、专题和数据目录浏览并下载数据,并供支持EXCEL、CSV、API、ACCESS等不同导出形式。

4、 前瞻数据库。前瞻数据库拥有16年的细分产业大数据积累,提供中国宏观、区域宏观、全球宏观、行业经济、进出口、上市公司等数据。

5、 中经网统计数据库。《中经网统计数据库》是由国家信息中心中经网凭借与国家发改委、国家统计局、海关总署、各行业主管部门以及其他政府部门经过长期数据积累的经济统计数据库群。内容涵盖宏观经济、行业经济、区域经济以及世界经济等各个领域。

6、 中经网产业数据库。中经网数据中心是国家信息中心中经网组建的专业从事经济数据资源开发和服务的机构,网站提供24个产业数据以及经济综合数据。

7、 一带一路统计数据库。一代一路统计数据库设置了沿线各国和地区的特色经济统计数据,涵盖经济、农业、工业、环境、资源、贸易、投资等十几个领域。

股票金融

1、 新浪财经。新浪财经是一家创建于1999年8月的财经平台,提供全球财经实时数据,内容专业且丰富。

2、 东方财富。东方财富网2004年3月上线,网站内容涉及财经、股票、基金、期货、债券、外汇、银行、保险等诸多金融资讯与财经信息,全面覆盖财经领域,每日更新上万条最新数据及资讯,为用户提供便利的查询。

3、 中财网数据引擎。非常强大齐全的金融数据引擎,免费提供股票、基金、债券、外汇、理财等行情数据以及其他资料。

投融资

1、I T桔子。IT桔子是关注IT互联网行业的结构化的公司数据库和商业信息服务提供商,提供风险投资、收购、竞争情报、细分行业信息、国外公司产品信息数据服务等。

2、 投资界。投资界是清科集团旗下提供行业丰富数据及深入分析的专业化网站,提供投融资方面比较详细的数据。

互联网金融

1、 网贷之家。网贷之家是第三方网贷资讯平台,于2011年10月上线。上面披露各P2P平台最新交易数据、转型及停业、问题平台、网贷行业等数据。

2、 网贷天眼。国内网贷行业较为权威的第三方机构,同样披露各P2P平台最新数据、行业数据、停业及问题平台、研究报告、行业政策等信息数据。

生态环境

1、 国家生态环境部数据中心。国家生态环境部旗下提供的数据服务,包括环境质量、生态环境、污染源、环境管理业务等10大类数据信息。同时,还提供专题数据、数据分析、以及API接口等服务。

2、 PM2.5in。PM25.in是为大家提供空气质量监测数据的网站,数据采自于国家环境保护部,上面有全国各大城市的空气质量数据。

3、 环境云。环境云是一个综合环境数据服务的平台,收录专业数据源(国家环保部数据中心、美国全球地震信息中心等)所发布的各类环境数据,接收其自主布建的各类环境监控传感器网络(包括空气质量指标,土壤环境质量指标检测网络)所采集的数据,结合相关数据预测模型生成的预报数据。

体育

1、 体育大数据SportsDT。SportsDT 以体育大数据为入口,提供比分数据、指数数据、比赛数据、分析数据等数据。

2、 stat-nba。号称全专业最全的NBA中文数据库。

文化娱乐

1、 中国票房网。中国票房网收录了国内所有上映电影的票房实时数据,提供单日、单周、周末、单月、年度、中美对比、城市排片、电影资源库等丰富数据。

2、 猫眼电影数据。猫眼专业版提供全国各大电影的票房实时数据,包括票房占比、排片场次、排片占比、场均人次、上座率等动态实时数据。

自媒体

1、 清博大数据。清博指数(前称新媒体指数)、提供各类新媒体数据、榜单、分析报告、舆情监测、品牌推广、精准营销等服务。

2、 新浪舆情通。舆情通以中文互联网大数据及新浪微博的独家官方数据为基础,7*24小时不间断采集新闻、报刊、政务、外媒、微博、微信、博客、论坛、视频、网站、客户端等全网11大信息来源,每天采集超过9000万条数据。

论文期刊

1、 知网。知网始建于1999年6月,提供中国知识资源总、数字出版物、文献评价数据、知识检索。据了解,中国知网文献总量达2.8亿篇,中外学术期刊品种达58000余种。

2、 国家哲学社会科学学术期刊数据库。国家期刊库收录精品学术期刊1000多种,论文超过485万篇以及超过101万位学者、2.1万家研究机构相关信息。

指数

1、 百度指数。百度指数是以百度海量网民行为数据为基础的数据分析平台,主要功能模块有:基于单个词的趋势研究(包含整体趋势、PC趋势还有移动趋势)、需求图谱、舆情管家、人群画像;基于行业的整体趋势、地域分布、人群属性、搜索时间特征。

2、 爱奇艺指数。爱奇艺指数是由爱奇艺基于平台上收录的视频提供的视频数据分析工具。用户可以选择你想了解的视频或节目名字,平台输出包括热度趋势、视频看点、舆情分析、受众画像等维度的数据分析。用户还可以添加多个节目进行对比,哪个节目热度高、哪个明星带的流量多、用户都在讨论什么等数据一目了然。

3、 阿里指数。阿里指数是了解电子商务平台市场动向的数据分析平台,2012年11月26日上线。根据阿里巴巴网站每日运营的基本数据包括每天网站浏览量、每天浏览的人次、每天新增供求产品数、新增公司数和产品数这5项指标统计计算得出。

综合数据服务商

1、 云听。云听基于八爪鱼6年的大数据资源积累以及企业服务经验,运用人工智能自然语言分析技术,为企业提供一提供全网数据收集能力、数据整合分析能力和场景化解决方案,尤其在客户体验管理CEM领域,拥有OPPO、VIVO、科沃斯等知名零售品牌大客户,在电商数据及舆情方面拥有丰富的经验。

2、 国泰安。国泰安是国内从事金融、经济信息精准数据库设计开发的专业高科技公司,为1000多个高校和金融机构服务。

3、 优易数据。优易数据汇集了以“国家自然资源和地理空间基础信息库”为基础, 9个国家部委的20余万项核心政务数据。

4、 瑞思数据。锐思数据从事金融数据库和相关投资研究软件研发为高校、政府及金融机构提供精准的经济、金融数据和完备的增值服务。

5、 CEIC数据。全面的经济数据库,覆盖超过200+个国家。提供中国超过33万条宏观经济、行业及区域的时间序列数据。

6、 Wind金融数据。国内领先金融数据、信息和软件服务企业,数据内容涵盖股票、基金、债券、外汇、保险、期货、金融衍生品、现货交易、宏观经济、财经新闻等领域,新的信息内容及时进行更新以满足机构投资者的需求。

7、 搜数。搜数网每天监测和收集处理公开媒体和各种年鉴书籍中披露的各类统计和调查数据,截止2019年04月10日,已加载到搜数网站的统计资料达到9,741本,涵盖2,280,300张统计表格和454,728,104个统计数据。

类似的还有很多数据来源,这里只列举了一部分,想要获取更多可以移看:


三、通过调查问卷等获取数据

一些第三方问卷平台,可以快速制作各类问卷,然后只要有个很好的话题在微信朋友圈等传播,或者设置抽奖,很快就可以收集非常多的问卷数据,此类问卷平台一半后台都有数据可视化分析报告,这个技巧大部分人都不用,其实操作起来不难。下面推荐几个网站:

1、 麦客。麦客是一款在线表单制作工具,同时也是强大的客户信息处理和关系管理系统。她可以帮助你轻松完成信息收集与整理,实现客户挖掘与消息推送,并开展持续营销。

2、 问卷星。

3、 腾讯问卷。

4、 金数据。

编辑于 2020-05-12 16:43

浏览了一下,看到还没有人提到Kaggle的datasets:

Datasets | Kaggle

Kaggle是给数据分析和建模的竞赛平台,他们现在也有提供一些开放的数据集来让大家使用,比如:

欧洲足球的数据库,NBA数据

2016年美国大选的数据(也有希拉里邮件)

IMDB电影数据,

一些公司的数据(Uber,Twitter ,Lending Club, Reddit)等。

而且还有很详细的数据描述:


不仅如此,他们还做了一个社区,就是对这些数据集有使用经验的人可以在一起交流,提出问题,用数据回答问题。


点击进去可以看到别人完整的分享和数据使用流程,对于学习来说非常有用。



用这些数据源+自身的练习+和别人思路技法上的切磋交流,可以进步很大。

编辑于 2016-12-20 14:35