爱锋贝

 找回密码
 立即注册

只需一步,快速开始

扫一扫,极速登录

查看: 1046|回复: 19
收起左侧

去哪找数据?怎么挖掘?

[复制链接]

1392

主题

1464

帖子

5898

积分

Rank: 8Rank: 8

发表于 2021-12-15 04:15:28 | 显示全部楼层 |阅读模式

一键注册,加入手机圈

您需要 登录 才可以下载或查看,没有帐号?立即注册   

x
本文转自简道云的知乎回答有哪些「神奇」的数据获取方式?
已经将网站汇总成表格,大家可以下载查看:【简道云汇总】110+数据网站
如果你不是会爬虫的技术流,那下面这110+网站可以解决你90%的数据需求。
首先,常见的公开数据网站在https://hao.199it.com/都可以搜索到。

去哪找数据?怎么挖掘?-1.jpg
除此之外,补充上面没有的一些网站,一共110+,按需选择:
金融财经数据


  • 同花顺数据中心:提供股票债券等金融数据
  • 和讯数据:提供各种股票、基金、外汇、债券等实时数据,有付费,有免费
  • 零壹财经:大大小小的网贷数据、排行榜等
  • 金融数据网:提供每日的黄金、汇率、农产品、汽油价格的相关数据
  • 萝卜投研:提供股市、证券等数据,多以数据研究报告形式展示
  • 金融界:提供股市、融资等各种资金流向数据,以及丰富的财报和研报
  • 东方财富网:提供多国的股票、财税、行业、消费等大量丰富的经济数据
  • 吉林金融网:提供吉林的融资、市场数据
  • 搜狐证券:提供货币、外汇、行业、市场等宏观数据
  • CCER经济金融数据库:提供企业财务年度数据、股票收益数据等数据库下载
  • 香港金融管理局:提供香港的各种经济及金融数据,以宏观数据为主
  • 世纪未来:数据服务平台,提供银行业务研究、金融大数据等各种付费数据
  • 新浪财经:提供国内国民经济、行业信息、对外经贸、居民收入等各种宏观的经济数据
  • 司尔亚司数据信息有限公司:覆盖超过195+个国家的经济数据库,数据全面但收费
  • INSEE数据:法国统计与经济研究院公开数据
  • 投中研究院:提供投资领域的分析报告,网站更新频率较高
互联网数据

营销查询:

  • 5118 / chinaz:支持查询网站排名及发展趋势、百度收录情况等信息
  • 百度指数:百度旗下/以百度网民行为数据为基础的数据分享平台,支持查询需求图谱
  • 微信指数:微信旗下/基于微信大数据分析的移动端指数,打开微信→搜索“微信指数”可用
  • 移动观象台:基于移动设备用户的操作行为,提供应用、公众号排行等,以及大量数据报告
  • 新榜/微小宝/易赞:几款工具比较类似,支持查看公众号排行、看公众号人群画像等功能
  • 阿里指数:阿里旗下/反映淘宝平台市场动向的数据分析平台
报告分析:

  • 易观智库:199IT导航的母网站,权威的互联网数据平台,涵盖战略新兴产业、电商互联网、共享经济、社交营销、移动互联网以及其他互联网服务的数据及分析报告
  • 艾瑞网:高频率更新互联网前沿的新闻资讯、分析报告,旗下包括艾瑞指数、艾瑞咨询等
  • 艾媒网:艾媒与艾瑞无关,艾媒网发布的研究报告多偏向移动互联网方向
  • CBNDdata:以阿里巴巴的商业数据库为基础,输出产业经济分析报告
  • QuestMobile:周期性地发布一些关于APP的研究报告
  • 阿里研究院:阿里旗下/发布研究电商等方向趋势的数据报告,内容多与阿里相关
  • 360研究报告:360旗下/移动、PC、网站、企业、诈骗等安全领域的研究,以及大数据等非安全领域的研究
  • 中国互联网信息研究中心:经国家主管部门批准组建的管理和服务机构,经常发布一些有价值的互联网信息报告
  • 中国信通院:针对互联网多个行业的发展趋势,发布白皮书,角度较为宏观
  • 中国互联网数据平台:提供全国各地区互联网发展报告、基础数据及研究分析报告,数据及报告偏向学术性研究
  • 清博大数据:提供微信、微博、头条榜单数据,各种研究报告、数据报告、舆情报告及行业热点
  • 数据观:丰富的前沿行业资讯,及部分研究报告下载
  • 腾讯大数据:数据服务平台,提供调查研究、移动互联网及特色数据报告,质量较高
  • 大数据世界:提供大数据相关资讯、应用案例、技术方案及资料下载
地理数据

水土气候数据:

  • 水土保持生态建设网http://www.swcc.org.cn/
  • 黄河风情http://www.yellowriver.org/
  • 黄河流域数据中心http://henu.geodata.cn/index.jsp
  • 黄土高原水土保护数据库http://www.loess.csdb.cn/
  • 数字黑河http://heihe.westgis.ac.cn/Default.aspx?tabid=106
  • 大气科学数据库http://data.iap.ac.cn/
  • 中国气象科学数据http://cdc.cma.gov.cn/
  • 中国气象科学数据共享服务网http://cdc.cma.gov.cn/
  • 全球森林土地覆盖动态http://www.fao.org/gtos/gofc-gold/
  • FRA 2000http://edcsns17.cr.usgs.gov/glcc/fao/index.html全球森林资源
  • NOAAhttp://www.noaa.gov/美国国家海洋和大气管理局
  • NCDC http://lwf.ncdc.noaa.gov/oa/ncdc.html美国国家气候数据中心
  • 国际水管理研究所http://www.iwmidsp.org/iwmi/info/main.asp
  • 气候研究所http://www.cru.uea.ac.uk/
  • 植被覆盖数据http://www.vgt.vito.be/
环境数据:

  • 黄土区农业与生态环境数据分中心http://loess.geodata.cn/
  • 东北黑土农业生态数据库http://www.blackland.csdb.cn/default.asp
  • 中国西部环境与生态科学数据中心http://westdc.westgis.ac.cn/
  • 西部数据中心http://westdc.westgis.ac.cn/data
  • 黄土高原区域数据共享运行服务中心http://loess.geodata.cn/Portal/?isCookieChecked=true
遥感数据:

  • 地面站RS地图查询http://cs.rsgs.ac.cn/cs_cn/query/query_map.asp
  • 甘肃省基础地理信息中心http://www.cehuiju.gansu.gov.cn/5chcg/giscenter.asp
  • 遥感数据网络资源http://ecology.bnu.edu.cn/gejp/student/zhj/webresource.htm
  • 中国遥感数据网http://ids.ceode.ac.cn/
  • GLCF http://glcf.geodata.cn/etm/Welcome.do
  • GIS FORUM http://www.gisforum.net/全球最大的GIS中文门户网站
  • 遥感数据共享http://ids.ceode.ac.cn/
其他自然人文数据:

  • 地理国情监测云平台 http://www.dsac.cn/
  • 中国资源卫星应用中心 http://www.cresda.com/cn/profile.htm
  • 中国自然资源数据库 http://www.data.ac.cn/index.asp
  • 中国科学院资源环境科学数据中心 http://www.resdc.cn/resdc/first.asp
  • 中国地球系统科学数据共享网 http://www.geodata.cn:8086/Metadata/index.jsp
  • 国家地球系统科学数据共享服务平台 http://www.geodata.cn/
  • PM25.in | PM2.5(细颗粒物)及空气质量指数(AQI)实时查询!:中国空气质量监测实时数据http://pm25.in/
  • 国际科学数据服务平台 http://datamirror.csdb.cn/index.jsp
  • 原始数据搜索 https://wist.echo.nasa.gov/api
  • 中国科学院资源环境科学数据中心 http://www.resdc.cn/resdc/first.asp
  • 世界聚集人口数据 http://beta.sedac.ciesin.columbia.edu/gpw/index.jsp
  • 光谱数据分析网站 http://modis.gsfc.nasa.gov/
  • 美国航空航天局NASA http://daac.gsfc.nasa.gov/
  • 城市轨道交通http://www.ntsg.umt.edu/
  • 人地系统主题数据库http://webpanda.iis.u-tokyo.ac.jp/
影像数据:

  • USGS Earth Explorer:提供Landsat、MODIS等数据
  • ESA’s Sentinel Mission:提供Sentinel系列卫星数据,可以下载欧洲航天局所属的影像数据
  • NOAA CLASS:提供高品质大气数据集,包括美国国防部(DoD)、极地作战环境卫星(POES)、NOAA的地球静止环境卫星(GOES)以及其他派生数据
  • NASA Reverb:提供多种类数据,包括:Aqua, Terra, Aura, TRMM, Calipso, NASA DC, JASON, ENVISAT等
  • EOLi:欧洲航天局的地球观测目录和订购服务的客户,通过Java 程序下载数据,支持的数据包括:Envisat, ERS, IKONOS, DMC, ALOS, SPOT, Kompsat, Proba, IRS, SCISAT.
  • INPE:提供中巴资源卫星数据
  • Bhuvan Indian Geo-Platform of ISRO:提供印度境内的MS-1, Cartosat,,OceanSat and ResourceSat数据以及全球的NVDI数据、南亚国家的CartoDem Version -3R1数据和北印度洋的气候数据
政府数据


  • 新加坡政府公开数据:提供新加坡各类数据
  • 美国政府公开数据:提供美国全国各类数据
  • 法国政府公开数据:法国政府开放数据平台
  • 英国政府公开数据:提供英国各类数据
  • 国家数据:中国国家统计局权威数据
  • 中国统计年鉴:1999年至今中国统计年鉴,国家统计局官网,提供单页Excel文件下载
  • 中国统计信息网:全国及各级政府各年度统计公报、年鉴等,为收费数据
  • 年鉴汪:全国城市统计数据搜索引擎,浏览免费,下载收费
  • 伦敦市公开数据:提供伦敦人口、就业、环境等各类数据
  • 国土资源部:国土资源部对外公开的信息报告
其他细分行业数据


  • 中研网数据:提供医疗、房产、制造业、服务业、零售消费、车辆等全行业数据
  • 中国报告大厅:提供各行各业的基础数据、调查报告、分析报告、预测报告,种类丰富
  • CADMAPPER:世界各大城市的DXF文件,原始数据源为OSM,NASA,USGS
  • 亚马逊网络服务公共数据集:跨科学云数据平台,包含化学、生物、经济等多个领域的数据集
  • Awesome Public Datasets:Github公共数据搜集项目,自然科学、社会科学覆盖较面,包含各个细分领域的数据库资源。
  • figshare:数据分析与研究成果共享平台。
  • 英国公开数据浏览工具:James Trimble制作的英国数据可视化浏览工具集;
  • 数据法国:法国各类数据的可视化呈现;
  • DataEye:基于国内游戏、汽车行业数据,进行多角度的行业调查报告撰写发布
  • CBO中国票房:基于国内票房数据,统计票房排行、上座率等信息。
  • 易车指数:反映国内汽车销售市场,为购车者或汽车从业者提供参考的数据指数
  • 高德地图:支持实时查看国内交通情况,此外高德周期性提供一系列数据报告
  • 房天下:提供中国指数研究院和CREIS中指数据,展示国内房地产数据情况
  • 艺恩:CBO中国票房数据的提供方,提供一些行业数据报告,如动漫IP价值研究报告
除去现成的数据源,还有一块就是用python爬取数据,这也是大数据的热门模块。
其实,想要快速学会python,除去一些基础的理论知识外,最重要的就是项目!项目!项目!
就拿入门课程来举例子吧,我为什么说它适合0基础的呢?有3点:

  • 会把学习进度分好,可以循序渐进的学习,不需要跳
  • 每天的时间并不需要太多,20分钟足矣
  • 练习题足够多和精

去哪找数据?怎么挖掘?-2.jpg
暂时就说这么多吧,想要学习完整的Python入门知识,在【夜曲编程】回复【免费教程】
有了数据之后,剩下的事情就是分析和展示数据了,这里介绍一下FineBI数据分析工具,如果你经常用Excel,可以用下这个数据分析工具,能很大程度上提高效率。
FineBI工具在这里:

去哪找数据?怎么挖掘?-3.jpg
数据分析工具,操作非常简单,设计页面类excel,直接拖拽数据字段就能生成图表。可选择的图表类型非常多,有很多创意十足的图表令人眼前一亮,系统自带的配色方案也好看。进阶一点的话,还可以拿来制作Dashboard。

去哪找数据?怎么挖掘?-4.jpg
主要面对的是业务人员,不懂编程的也可快速上手,根据自己需求设计出仪表板来进行分析,不再麻烦技术人员去一个个要需求,浪费时间不说,还不能做出自己想要的效果。自己分析得出想要的结果,最终帮助企业做出正确的经营决策。它的可视化效果也是非常不错的。

去哪找数据?怎么挖掘?-5.jpg

去哪找数据?怎么挖掘?-6.jpg

-----------------------------
精选高品质二手iPhone,上爱锋贝APP

0

主题

32

帖子

2

积分

Rank: 1

发表于 2021-12-15 06:47:53 | 显示全部楼层
本文转自简道云的知乎回答有哪些「神奇」的数据获取方式?
已经将网站汇总成表格,大家可以下载查看:【简道云汇总】110+数据网站
如果你不是会爬虫的技术流,那下面这110+网站可以解决你90%的数据需求。
首先,常见的公开数据网站在https://hao.199it.com/都可以搜索到。

去哪找数据?怎么挖掘?-1.jpg
除此之外,补充上面没有的一些网站,一共110+,按需选择:
金融财经数据


  • 同花顺数据中心:提供股票债券等金融数据
  • 和讯数据:提供各种股票、基金、外汇、债券等实时数据,有付费,有免费
  • 零壹财经:大大小小的网贷数据、排行榜等
  • 金融数据网:提供每日的黄金、汇率、农产品、汽油价格的相关数据
  • 萝卜投研:提供股市、证券等数据,多以数据研究报告形式展示
  • 金融界:提供股市、融资等各种资金流向数据,以及丰富的财报和研报
  • 东方财富网:提供多国的股票、财税、行业、消费等大量丰富的经济数据
  • 吉林金融网:提供吉林的融资、市场数据
  • 搜狐证券:提供货币、外汇、行业、市场等宏观数据
  • CCER经济金融数据库:提供企业财务年度数据、股票收益数据等数据库下载
  • 香港金融管理局:提供香港的各种经济及金融数据,以宏观数据为主
  • 世纪未来:数据服务平台,提供银行业务研究、金融大数据等各种付费数据
  • 新浪财经:提供国内国民经济、行业信息、对外经贸、居民收入等各种宏观的经济数据
  • 司尔亚司数据信息有限公司:覆盖超过195+个国家的经济数据库,数据全面但收费
  • INSEE数据:法国统计与经济研究院公开数据
  • 投中研究院:提供投资领域的分析报告,网站更新频率较高
互联网数据

营销查询:

  • 5118 / chinaz:支持查询网站排名及发展趋势、百度收录情况等信息
  • 百度指数:百度旗下/以百度网民行为数据为基础的数据分享平台,支持查询需求图谱
  • 微信指数:微信旗下/基于微信大数据分析的移动端指数,打开微信→搜索“微信指数”可用
  • 移动观象台:基于移动设备用户的操作行为,提供应用、公众号排行等,以及大量数据报告
  • 新榜/微小宝/易赞:几款工具比较类似,支持查看公众号排行、看公众号人群画像等功能
  • 阿里指数:阿里旗下/反映淘宝平台市场动向的数据分析平台
报告分析:

  • 易观智库:199IT导航的母网站,权威的互联网数据平台,涵盖战略新兴产业、电商互联网、共享经济、社交营销、移动互联网以及其他互联网服务的数据及分析报告
  • 艾瑞网:高频率更新互联网前沿的新闻资讯、分析报告,旗下包括艾瑞指数、艾瑞咨询等
  • 艾媒网:艾媒与艾瑞无关,艾媒网发布的研究报告多偏向移动互联网方向
  • CBNDdata:以阿里巴巴的商业数据库为基础,输出产业经济分析报告
  • QuestMobile:周期性地发布一些关于APP的研究报告
  • 阿里研究院:阿里旗下/发布研究电商等方向趋势的数据报告,内容多与阿里相关
  • 360研究报告:360旗下/移动、PC、网站、企业、诈骗等安全领域的研究,以及大数据等非安全领域的研究
  • 中国互联网信息研究中心:经国家主管部门批准组建的管理和服务机构,经常发布一些有价值的互联网信息报告
  • 中国信通院:针对互联网多个行业的发展趋势,发布白皮书,角度较为宏观
  • 中国互联网数据平台:提供全国各地区互联网发展报告、基础数据及研究分析报告,数据及报告偏向学术性研究
  • 清博大数据:提供微信、微博、头条榜单数据,各种研究报告、数据报告、舆情报告及行业热点
  • 数据观:丰富的前沿行业资讯,及部分研究报告下载
  • 腾讯大数据:数据服务平台,提供调查研究、移动互联网及特色数据报告,质量较高
  • 大数据世界:提供大数据相关资讯、应用案例、技术方案及资料下载
地理数据

水土气候数据:

  • 水土保持生态建设网http://www.swcc.org.cn/
  • 黄河风情http://www.yellowriver.org/
  • 黄河流域数据中心http://henu.geodata.cn/index.jsp
  • 黄土高原水土保护数据库http://www.loess.csdb.cn/
  • 数字黑河http://heihe.westgis.ac.cn/Default.aspx?tabid=106
  • 大气科学数据库http://data.iap.ac.cn/
  • 中国气象科学数据http://cdc.cma.gov.cn/
  • 中国气象科学数据共享服务网http://cdc.cma.gov.cn/
  • 全球森林土地覆盖动态http://www.fao.org/gtos/gofc-gold/
  • FRA 2000http://edcsns17.cr.usgs.gov/glcc/fao/index.html全球森林资源
  • NOAAhttp://www.noaa.gov/美国国家海洋和大气管理局
  • NCDC http://lwf.ncdc.noaa.gov/oa/ncdc.html美国国家气候数据中心
  • 国际水管理研究所http://www.iwmidsp.org/iwmi/info/main.asp
  • 气候研究所http://www.cru.uea.ac.uk/
  • 植被覆盖数据http://www.vgt.vito.be/
环境数据:

  • 黄土区农业与生态环境数据分中心http://loess.geodata.cn/
  • 东北黑土农业生态数据库http://www.blackland.csdb.cn/default.asp
  • 中国西部环境与生态科学数据中心http://westdc.westgis.ac.cn/
  • 西部数据中心http://westdc.westgis.ac.cn/data
  • 黄土高原区域数据共享运行服务中心http://loess.geodata.cn/Portal/?isCookieChecked=true
遥感数据:

  • 地面站RS地图查询http://cs.rsgs.ac.cn/cs_cn/query/query_map.asp
  • 甘肃省基础地理信息中心http://www.cehuiju.gansu.gov.cn/5chcg/giscenter.asp
  • 遥感数据网络资源http://ecology.bnu.edu.cn/gejp/student/zhj/webresource.htm
  • 中国遥感数据网http://ids.ceode.ac.cn/
  • GLCF http://glcf.geodata.cn/etm/Welcome.do
  • GIS FORUM http://www.gisforum.net/全球最大的GIS中文门户网站
  • 遥感数据共享http://ids.ceode.ac.cn/
其他自然人文数据:

  • 地理国情监测云平台 http://www.dsac.cn/
  • 中国资源卫星应用中心 http://www.cresda.com/cn/profile.htm
  • 中国自然资源数据库 http://www.data.ac.cn/index.asp
  • 中国科学院资源环境科学数据中心 http://www.resdc.cn/resdc/first.asp
  • 中国地球系统科学数据共享网 http://www.geodata.cn:8086/Metadata/index.jsp
  • 国家地球系统科学数据共享服务平台 http://www.geodata.cn/
  • PM25.in | PM2.5(细颗粒物)及空气质量指数(AQI)实时查询!:中国空气质量监测实时数据http://pm25.in/
  • 国际科学数据服务平台 http://datamirror.csdb.cn/index.jsp
  • 原始数据搜索 https://wist.echo.nasa.gov/api
  • 中国科学院资源环境科学数据中心 http://www.resdc.cn/resdc/first.asp
  • 世界聚集人口数据 http://beta.sedac.ciesin.columbia.edu/gpw/index.jsp
  • 光谱数据分析网站 http://modis.gsfc.nasa.gov/
  • 美国航空航天局NASA http://daac.gsfc.nasa.gov/
  • 城市轨道交通http://www.ntsg.umt.edu/
  • 人地系统主题数据库http://webpanda.iis.u-tokyo.ac.jp/
影像数据:

  • USGS Earth Explorer:提供Landsat、MODIS等数据
  • ESA’s Sentinel Mission:提供Sentinel系列卫星数据,可以下载欧洲航天局所属的影像数据
  • NOAA CLASS:提供高品质大气数据集,包括美国国防部(DoD)、极地作战环境卫星(POES)、NOAA的地球静止环境卫星(GOES)以及其他派生数据
  • NASA Reverb:提供多种类数据,包括:Aqua, Terra, Aura, TRMM, Calipso, NASA DC, JASON, ENVISAT等
  • EOLi:欧洲航天局的地球观测目录和订购服务的客户,通过Java 程序下载数据,支持的数据包括:Envisat, ERS, IKONOS, DMC, ALOS, SPOT, Kompsat, Proba, IRS, SCISAT.
  • INPE:提供中巴资源卫星数据
  • Bhuvan Indian Geo-Platform of ISRO:提供印度境内的MS-1, Cartosat,,OceanSat and ResourceSat数据以及全球的NVDI数据、南亚国家的CartoDem Version -3R1数据和北印度洋的气候数据
政府数据


  • 新加坡政府公开数据:提供新加坡各类数据
  • 美国政府公开数据:提供美国全国各类数据
  • 法国政府公开数据:法国政府开放数据平台
  • 英国政府公开数据:提供英国各类数据
  • 国家数据:中国国家统计局权威数据
  • 中国统计年鉴:1999年至今中国统计年鉴,国家统计局官网,提供单页Excel文件下载
  • 中国统计信息网:全国及各级政府各年度统计公报、年鉴等,为收费数据
  • 年鉴汪:全国城市统计数据搜索引擎,浏览免费,下载收费
  • 伦敦市公开数据:提供伦敦人口、就业、环境等各类数据
  • 国土资源部:国土资源部对外公开的信息报告
其他细分行业数据


  • 中研网数据:提供医疗、房产、制造业、服务业、零售消费、车辆等全行业数据
  • 中国报告大厅:提供各行各业的基础数据、调查报告、分析报告、预测报告,种类丰富
  • CADMAPPER:世界各大城市的DXF文件,原始数据源为OSM,NASA,USGS
  • 亚马逊网络服务公共数据集:跨科学云数据平台,包含化学、生物、经济等多个领域的数据集
  • Awesome Public Datasets:Github公共数据搜集项目,自然科学、社会科学覆盖较面,包含各个细分领域的数据库资源。
  • figshare:数据分析与研究成果共享平台。
  • 英国公开数据浏览工具:James Trimble制作的英国数据可视化浏览工具集;
  • 数据法国:法国各类数据的可视化呈现;
  • DataEye:基于国内游戏、汽车行业数据,进行多角度的行业调查报告撰写发布
  • CBO中国票房:基于国内票房数据,统计票房排行、上座率等信息。
  • 易车指数:反映国内汽车销售市场,为购车者或汽车从业者提供参考的数据指数
  • 高德地图:支持实时查看国内交通情况,此外高德周期性提供一系列数据报告
  • 房天下:提供中国指数研究院和CREIS中指数据,展示国内房地产数据情况
  • 艺恩:CBO中国票房数据的提供方,提供一些行业数据报告,如动漫IP价值研究报告
除去现成的数据源,还有一块就是用python爬取数据,这也是大数据的热门模块。
其实,想要快速学会python,除去一些基础的理论知识外,最重要的就是项目!项目!项目!
就拿入门课程来举例子吧,我为什么说它适合0基础的呢?有3点:

  • 会把学习进度分好,可以循序渐进的学习,不需要跳
  • 每天的时间并不需要太多,20分钟足矣
  • 练习题足够多和精

去哪找数据?怎么挖掘?-2.jpg
暂时就说这么多吧,想要学习完整的Python入门知识,在【夜曲编程】回复【免费教程】
有了数据之后,剩下的事情就是分析和展示数据了,这里介绍一下FineBI数据分析工具,如果你经常用Excel,可以用下这个数据分析工具,能很大程度上提高效率。
FineBI工具在这里:
FineBI商业智能软件 - 新一代自助大数据分析的BI工具
去哪找数据?怎么挖掘?-3.jpg
数据分析工具,操作非常简单,设计页面类excel,直接拖拽数据字段就能生成图表。可选择的图表类型非常多,有很多创意十足的图表令人眼前一亮,系统自带的配色方案也好看。进阶一点的话,还可以拿来制作Dashboard。

去哪找数据?怎么挖掘?-4.jpg
主要面对的是业务人员,不懂编程的也可快速上手,根据自己需求设计出仪表板来进行分析,不再麻烦技术人员去一个个要需求,浪费时间不说,还不能做出自己想要的效果。自己分析得出想要的结果,最终帮助企业做出正确的经营决策。它的可视化效果也是非常不错的。

去哪找数据?怎么挖掘?-5.jpg

去哪找数据?怎么挖掘?-6.jpg
FineBI商业智能软件 - 新一代自助大数据分析的BI工具
精选高品质二手iPhone,上爱锋贝APP

0

主题

26

帖子

3

积分

Rank: 1

发表于 2021-12-15 08:42:45 | 显示全部楼层
答主整理了一些主流、免费、省力获取数据的网站,推荐给大家。
一、中华人民共和国国家统计局>>国家数据
网址:http://data.stats.gov.cn/
主要包含:国民经济、人口、对外经济贸易、能源、财政、价格、农业、工业、运输、旅游、教育、科技、卫生等数据,可以按年度、季度、月度查询。
可以免费下载

去哪找数据?怎么挖掘?-1.jpg
另外在国际数据目录下,有“各国数据”,这里链接了各个国家的权威统计网站哦,善于科学上网,你就可以拥有这些数据!

去哪找数据?怎么挖掘?-2.jpg
二、世界银行——各国发展数据
网址:https://data.worldbank.org.cn/ (cn域名的外国网站哦,不需科学上网,就能畅快浏览)
主要包含:各国相关的发展数据,而且资金等数据有多个维度可以查看。
数据可以免费下载

去哪找数据?怎么挖掘?-3.jpg
点击数据目录,就可以查看并下载相关数据啦。

去哪找数据?怎么挖掘?-4.jpg

去哪找数据?怎么挖掘?-5.jpg
以上,如果大家有关注B站的可视化作品的话,就会发现,90%UP主所使用的数据,都来自上面两个网站。

去哪找数据?怎么挖掘?-6.jpg
三、GitHub——高质量公共数据集
网址:https://github.com/awesomedata/awesome-public-datasets
主要包含:农业、生物、计算机、天气、经济学、博物馆、机器学习等你能想到的几乎所有数据
大部分免费,部分收费
随便截个目录,给大家感受一下。

去哪找数据?怎么挖掘?-7.jpg
四、其他
国内也有很多企业数据交易的网站,但大多收费,Kaggle平台上数据比较干净也免费,但是需要会点代码。
所以答主建议大家,如果仅是个人研究分析用的话,从上面三个网站上获取主要数据就可以了。
精选高品质二手iPhone,上爱锋贝APP

0

主题

54

帖子

3

积分

Rank: 1

发表于 2021-12-15 10:13:06 | 显示全部楼层
今天有个事情震惊到我了,某家公司为了找到在外部平台发帖的员工,直接爬取另一家公司的数据?
拼多多的HR亲自告诉大家数据获取的一种方式,这年头,如果不会爬取数据还不能做HR了?
内卷就是这么来的吧。

去哪找数据?怎么挖掘?-1.jpg
这数据可真有意思,比各种报告来的充实多了。
言归正传,还是要看一下数据的获取方式的,这也是做数据分析的基础。
一、怎么找数据?

  • 搜索引擎,不多说,有啥事搜就完事了
  • 一些不能被搜索工具搜到的东西,比如某信、某条
  • 人脉数据,其实也就是信息差
  • 公开数据,这个后面会提到
二、怎么看待数据?
并不是有了数据就能直接用的,你得去看看能不能用,准确性怎么样,不然好不容易分析好一个东西,到头来告诉你数据不对。
一个图总结一下吧:

去哪找数据?怎么挖掘?-2.jpg
三、数据不准确怎么办?
就像上面说的,不是所有的数据都是准确的,所以自己对各种数据需要有一个鉴别的能力,同时也有外部搜索的能力,看看能不能对上,不要怕麻烦。
好比数据分析或者数据分析师的价值,其实不是具体的数字,而是对于某个业务的总体趋势判断和结合外部数据进行综合分析、理解。
四、常用的数据源
1、官方统计数据:
中国信通院-研究成果-权威发布-白皮书
中国经济信息网
2、咨询公司报告:
波士顿咨询
贝恩咨询
艾瑞咨询
3、数据分析:
头条指数
百度统计
4、第三方机构:
阿里研究院
IT桔子
腾讯大数据
199IT
易观数据
5、媒体数据:
36氪研究院
总结:
就说到这里,不用太多,完全够用了,以上内容由李启方整理创作。
数据获取之后,可以用FineBI进行分析:


                               
登录/注册后可看大图
精选高品质二手iPhone,上爱锋贝APP

0

主题

48

帖子

3

积分

Rank: 1

发表于 2021-12-15 12:27:22 | 显示全部楼层
数据来源主要有两个部分。

  • 一些数据源网站公开的数据。
  • 通过爬取工具对网页中的数据进行爬取。
爬虫作为目前用的较多的数据爬取方法已经有很多教程了,但是对于没有代码基础的朋友来说短期上手python还是很难得。
因此今天就帆软君分别给大家介绍一下免费的数据源网站和一些零基础小白也可以应用的数据爬取工具
一、行业数据

互联网数据

  • 易观智库:199IT导航的母网站,权威的互联网数据平台,涵盖战略新兴产业、电商互联网、共享经济、社交营销、移动互联网以及其他互联网服务的数据及分析报告
  • 艾瑞网:高频率更新互联网前沿的新闻资讯、分析报告,旗下包括艾瑞指数、艾瑞咨询等
  • 艾媒网:艾媒与艾瑞无关,艾媒网发布的研究报告多偏向移动互联网方向
  • CBNDdata:以阿里巴巴的商业数据库为基础,输出产业经济分析报告
  • QuestMobile:周期性地发布一些关于APP的研究报告
  • 阿里研究院:阿里旗下/发布研究电商等方向趋势的数据报告,内容多与阿里相关
  • 360研究报告:360旗下/移动、PC、网站、企业、诈骗等安全领域的研究,以及大数据等非安全领域的研究
  • 中国互联网信息研究中心:经国家主管部门批准组建的管理和服务机构,经常发布一些有价值的互联网信息报告
  • 中国信通院:针对互联网多个行业的发展趋势,发布白皮书,角度较为宏观
  • 中国互联网数据平台:提供全国各地区互联网发展报告、基础数据及研究分析报告,数据及报告偏向学术性研究
  • 清博大数据:提供微信、微博、头条榜单数据,各种研究报告、数据报告、舆情报告及行业热点
  • 数据观:丰富的前沿行业资讯,及部分研究报告下载
  • 腾讯大数据:数据服务平台,提供调查研究、移动互联网及特色数据报告,质量较高
  • 大数据世界:提供大数据相关资讯、应用案例、技术方案及资料下载
二、免费的数据源网站

1、简单、公开的数据集
先分享一些科研机构、企业、政府会开放的一些数据集和一些专业的数据下载网站。这些数据集一般都比较完善、质量相对较高,拿到手数据清洗的工作比较少,适合新手做一些简单基础的分析
1)中国统计信息网:http://www.tjcn.org/
全国各级政府各年度的国民经济和社会发展统计信息,部分数据免费
2)国家统计局:http://www.stats.gov.cn/
各种民生相关的统计数据,而且所有数据都是免费,而且这个网站的友情链接里还有很多其他地方的数据以及国外数据

去哪找数据?怎么挖掘?-1.jpg
3)中国产业信息网:http://www.chyxx.com/data/
包含了各个行业相关的数据,所有的数据全部免费,做行业分析经常用到的

去哪找数据?怎么挖掘?-2.jpg
4)美国政府公开数据:https://www.data.gov/
美国政府公开数据的网站,包含了经济、消费、教育、医疗、农业等多个领域的数据
5)世界银行:https://data.worldbank.org/
世界银行的开放数据。平台还提供了一些工具,比如开放数据目录,世界发展指数,教育指数等。
6)百度数据开放平台:https://open.baidu.com/open/#/open

去哪找数据?怎么挖掘?-3.jpg
7)国云数据市场:http://www.moojnn.com/data-market/
主要包含:生活服务、教育、能源、建筑、交通运输、政府、金融、农业、医疗、卫生等行业的数据,大部分免费,有些需要付费

去哪找数据?怎么挖掘?-4.jpg
2、数据可视化项目数据集
最常见的数据可视化项目就是制作某某地区人均收入区别的信息图,找数据可视化项目相关的数据集的时候,我们希望数据集尽量“干净”,减少数据清洗的工作,数据要足够有趣,能够支撑起丰富的图表,所以这类的数据可以去上面我的说一些公开数据网站找,另外我也列一些除了政府网站之外的相关网站:
1)FiveThirtyEight:http://fivethirtyeight.com/
这是互动式新闻与体育赛事的网站,网站中会发布许多数据相关的文章,这些文章中会把使用到的数据集发布在github上,除了获取数据集,你还可以参考别人的项目过程
2)Socrata OpenData:https://opendata.socrata.com/
Socrata OpenData 网站包含多个清洗后的数据集,可以直接在浏览器中查看,也可以下载到本地进行可视化,大部分数据来源于美国政府。
3、数据建模、机器学习的数据集
1)UCI:https://archive.ics.uci.edu/ml/datasets.html
UCI是加州大学欧文分校开放的经典数据集,是机器学习领域最有名的数据存储库。包含各种数据集,比如经典的泰坦尼克号幸存预测到最新的数据(如空气质量和GPS轨迹)。
2)阿里天池:https://tianchi.aliyun.com/
作为国内互联网龙头阿里巴巴旗下的大数据竞赛网站,提供了很多比赛数据集可以练手,说不定还能顺手拿个奖,赚点奖金

去哪找数据?怎么挖掘?-5.jpg
3)Kaggle:https://www.kaggle.com/datasets
Kaggle 是一个举办了多项机器学习竞赛的数据科学社区。用户可以自己上传数据集,也可以通过某项竞赛下载数据集,里面有不少别的平台找不到的有趣数据集。

去哪找数据?怎么挖掘?-6.jpg
4)科赛网:https://www.kesci.com/home/project
这个网站提供了不少数据集可以免费下载,而且还有一些数据项目的比赛,不过整体来说项目的难度比较低,奖金也不是很多,学生参加的比较多,反正单纯用来获取数据集还是很不错的

去哪找数据?怎么挖掘?-7.jpg
5)Quandl
这是一个包含经济与金融数据的仓库。其中的部分信息是免费的,但是大部分数据集需要购买,数据可以用来构建经济指标预测或者股价分析模型等等。

去哪找数据?怎么挖掘?-8.jpg

4、大型数据集
有时候你可能只是想找一些大型的数据集来进行分析,分析的结果可能并不重要,重要的只是对于数据的读取与分析过程,练习数据处理能力,这里我也列举几个用的比较多的网站:
1)AWS 公开数据集:https://www.amazon.com/aws
亚马逊在其 Amazon Web Services 中提供了一些大型数据集可以免费下载,不过你得注册一个aws账户,新用户有免费访问的权限


去哪找数据?怎么挖掘?-9.jpg

2)Google 公开数据集:https://cloud.google.com/bigquery/public-data/
Google提供了一些数据集作为其Big Query工具的一部分。包括 GitHub 公共资料库的数据,Hacker News 的所有故事和评论。
3)Youtube标签视频数据集:https://research.google.com/youtube8m/
Youtube标签视频数据集包括来自4800个可视化实体的800万个YouTube视频ID和相关标签。它具有数十亿帧的预计算的、最先进的视觉功能。


去哪找数据?怎么挖掘?-10.jpg

三、数据爬取工具

1、Microsoft Excel
没错, Excel可以用来做数据爬取。虽然很多知道Excel可以用来做数据分析,但很少有人知道它还能用来爬数
2、火车头采集器
官网地址:http://www.locoy.com/
火车头是爬虫界的元老了,是目前使用人数最多的互联网数据抓取软件。它的优势是采集不限网页,不限内容,同时还是分布式采集,效率会高一些。不过它规则和操作设置在我看来有一些死板,对小白用户来说上手也有点困难,需要有一定的网页知识基础
3、Google Sheet
使用Google Sheet爬取数据前,要保证三点:使用Chrome浏览器、拥有Google账号、电脑已翻墙。
4、八爪鱼采集器
网站:https://www.bazhuayu.com/
八爪鱼采集器是用过最简单易用的采集器,很适合新手使用。采集原理类似火车头采集器,用户设定抓取规则,软件执行。八爪鱼的优点是提供了常见抓取网站的模板,如果不会写规则, 就直接用套用模板就好了。
它是基于浏览器内核实现可视化抓取数据,所以存在卡顿、采集数据慢的现象。不过整体来说还是不错的,毕竟能基本满足新手在短时间抓取数据的场景,比如翻页查询,Ajax 动态加载数据等。
5、GooSeeker 集搜客
网站:https://www.gooseeker.com/
集搜客也是一款容易上手的可视化采集数据工具。同样能抓取动态网页,也支持可以抓取手机网站上的数据,还支持抓取在指数图表上悬浮显示的数据。集搜客是以浏览器插件形式抓取数据。虽然具有前面所述的优点,但缺点也有,无法多线程采集数据,出现浏览器卡顿也在所难免。
6、WebScraper
网址:https://webscraper.io/
WebScraper 是一款优秀国外的浏览器插件。同样也是一款适合新手抓取数据的可视化工具。我们通过简单设置一些抓取规则,剩下的就交给浏览器去工作。
7、Scrapinghub
地址:https://scrapinghub.com/
如果你想抓取国外的网站数据,可以考虑 Scrapinghub。它是一个基于Python 的 Scrapy 框架的云爬虫平台,安装和部署挺简单的,但是操作界面是纯英文的,不太友好,而且性价比不高,它提供的每个工具都是单独收费的。
其实任何数据来源,看是一方面,分析也是一方面,如果要有分析的话,那就离不开一些可以自主使用的数据分析工具。
如果数据不简单,数据量也很大,还有不少的数据处理工作,甚至你还想要一些酷炫的可视化效果,简单快速上手,不妨用一些在线的图表工具,但是前提是数据要在Excel中处理好,如果数据量大可能实现还要在数据库中处理。
或者一蹴而就用BI分析工具,诸如FineBI(www.finebi.com),分析过程无代码,可以很迅速的出结果,同时自带的可视化图表基本能满足大部分使用需求了,适合企业级的数据分析,如果个人想拿来做做报告什么的也是非常轻松。

去哪找数据?怎么挖掘?-11.jpg
精选高品质二手iPhone,上爱锋贝APP

0

主题

45

帖子

6

积分

Rank: 1

发表于 2021-12-15 14:50:02 | 显示全部楼层
开放数据集

包括:      科研数据共享        数据算法竞赛        政府公司分享

①Stanford Large Network Datasets
网站: Stanford Large Network Dataset Collection
网站里的数据还是挺多的,一般每个数据都是从具体的一篇论文里来的,也有一个对数据的说明。

去哪找数据?怎么挖掘?-1.jpg
推荐其中两个比较好的:
soc_Pokec数据集  该数据集包含了斯洛伐克最流行的社交网站pokec的网络信息。  以下是该数据集的基本信息

去哪找数据?怎么挖掘?-2.jpg
由于该数据集包含了非常详尽完备的整个社交网站的网络信息,是非常具有代表性的公开数据集。
这个数据集有一百六十多万个节点,三千多万条边,文件足足半个G,是一个比较大的数据集了。
location-based online social networks  数据集

去哪找数据?怎么挖掘?-3.jpg
该数据集Gowalla是一个签到网络。它将用户线上和线下行为很好地关联了起来。
注意: 下面的网站要翻墙啦。
foursquare dataset  网址:https://sites.google.com/site/yangdingqi/home/foursquare-dataset  该数据集也是一个签到网络数据集
UCI Machine Learning Repository  跟机器学习相关的
CRAWDADYour Home for Data Science国内的两个数据站点:
天池大数据众智平台-阿里云天池

DataCastle数据城堡国内的这些商业化程度高一点 里面还有一些付费的课程。
网络爬虫


进行数据分析工作首先需要获取数据,爬虫则是获取互联网上公开数据的一项利器,也是数据分析师一项非常加分的技能。
网络爬虫可以分为两种
基于网站API的爬取
基于网页的爬取

去哪找数据?怎么挖掘?-4.jpg

就先这些吧~
还有一个很经典的,在社会网络分析里。Network data
像里面的 空手道俱乐部,海豚网都非常入门 , 导到Gephi里就可以进行网络分析, 算是一点简单的挖掘吧~
精选高品质二手iPhone,上爱锋贝APP

0

主题

50

帖子

3

积分

Rank: 1

发表于 2021-12-15 16:04:15 | 显示全部楼层

  • 5W家创业公司和投资的信息https://public.tableau.com/s/sites/default/files/media/Resources/crunchbase_monthly_export_d43b4klo2ade53.xlsx
  • 乘用车细分市场销量预测数据集https://github.com/cxq80803716/2019-CCF-BDCI-Car_sales
  • 1944-2020年的金球奖获奖数据 https://www.kaggle.com/unanimad/golden-globe-awards
  • 6271家死亡公墓公司 https://www.kesci.com/home/dataset/5e023cd12823a10036af49b4/files
  • 阿里巴巴移动电商平台的真实用户-商品行为数据集https://tianchi.aliyun.com/competition/entrance/231522/information
  • 携程房型产品用户行为数据集 https://pan.baidu.com/s/1uWJxlry967J0T6sTfwDZ9w
  • 2017年家庭金融调查数据库https://www.kesci.com/home/dataset/5de7682fca27f8002c4cf67c/files
  • 2019 Nature博士生调查数据 figshare
  • 知乎用户数据集 https://www.kesci.com/home/dataset/5dc8c85cad7dde00367f2d85/files
  • 2017年-2018年 关于申根签证的数据集 https://www.kesci.com/home/dataset/5d663fb38499bc002c086af9/files
  • 豆瓣读书数据集 https://www.kesci.com/home/dataset/5cbeb2088c90d7002c822b18/files
  • 来自淘宝2019年3月的口红商品信息 https://www.kesci.com/home/dataset/5c8b2204b4536a002bcd18ae/files
  • 去哪儿网—数据清洗 https://www.kesci.com/home/dataset/5cbd31e58c90d7002c816f5d/files
  • 2015年至2017年国内主要城市的年度数据,涉及产值、人口、就业、教育等各方面指标。https://www.kesci.com/home/dataset/5c3bf64ee8dbbb002b7bb589/files
  • 携程出行产品未来14个月销量预测数据集 https://cdn.kesci.com/ctrip14.zip
  • 链家二手房数据集https://www.kesci.com/home/dataset/58acf5acd2445916845b402c/files
以上数据均来自和鲸社区
@科赛网Kesci
https://www.kesci.com/home/dataset


yulang:数据分析机器学习必备-各行业的信息(含链接)
精选高品质二手iPhone,上爱锋贝APP

0

主题

54

帖子

3

积分

Rank: 1

发表于 2021-12-15 18:26:42 | 显示全部楼层
再补充几个可以查宏观数据的网站:
1、中国统计局:国家数据 可以查询国家的各种数据,如GDP、CPI、总人口、社会消费品零售总额、粮食产量、PMI、PPI……数据可以免费下载成Excel文件,另外也推出了移动客户端:数据中国pro
2、美联储经济数据库:Federal Reserve Economic Data 查询到的数据以美国为主,也有少数其他的西方国家,可以查询到50年代的数据,支持免费下载
3、世界银行:World Bank Open Data 查询全球各国相关各方面的宏观数据,免费提供CSV文件下载(Excel可以直接打开),非常方便
4、IndexMundi:IndexMundi - Country Facts 包含详细的全球各国的统计数据,可以按地区,国家,主题,行业部门和类型组织的几千种指标。它并不是一个官方组织,而是一个第三方网站,但是整合了各种数据来源,查询起来还是非常方便的,建议可以和世界银行的数据一起结合使用。

————————————————————————————————————
耗费200小时,呕心沥血精选数据源,包含常用数据公开网站、政府开放网站、数据交易平台,欢迎收藏。
一、公开数据库

​1、常用数据公开网站

UCI:该网站目前维护了436个经典的机器学习、数据挖掘数据集,包含分类、聚类、回归等问题下的多个数据集。

去哪找数据?怎么挖掘?-1.jpg
国家数据:数据来源中华人民共和国国家统计局,包含了我国经济民生等多个方面的数据,并且在月度、季度、年度都有覆盖,较为全面。

去哪找数据?怎么挖掘?-2.jpg
CEIC:涵盖超过195个国家400多万个时间序列的数据源,最完整的一套超过128个国家的经济数据,能够精确查找GDP、CPI、进口、出口、外资直接投资、零售、销售以及国际利率等深度数据。

去哪找数据?怎么挖掘?-3.jpg
万得:被誉为中国的Bloomberg,在金融业有着全面的数据覆盖,金融数据的类目更新非常快,据说很受国内的商业分析者和投资人的亲睐。

去哪找数据?怎么挖掘?-4.jpg
搜数网:已加载到搜数网站的统计资料达到7,874本,涵盖1,761,009张统计表格和364,580,479个统计数据,汇集了中国资讯行自92年以来收集的44个行业所有统计和调查数据。

去哪找数据?怎么挖掘?-5.jpg
中国统计信息网:国家统计局的官方网站,汇集了全国各级政府各年度的国民经济和社会发展统计信息,建立了以统计公报为主,统计年鉴、阶段发展数据、统计分析、经济新闻、主要统计指标排行等。

去哪找数据?怎么挖掘?-6.jpg
亚马逊:来自亚马逊的跨科学云数据平台,拥有免费且开源的数据库,包含化学、生物、经济等多个领域的数据集。

去哪找数据?怎么挖掘?-7.jpg
figshare:研究成果共享平台,这里向全世界开放免费的研究成果及科学数据。

去哪找数据?怎么挖掘?-8.jpg
github:一个非常全面的数据获取渠道,包含各个细分领域的数据库资源,自然科学和社会科学的覆盖都很全面,适合做研究和数据分析的人员。

去哪找数据?怎么挖掘?-9.jpg
2、政府开放数据

北京市政务数据资源网:包含竞技、交通、医疗、天气等数据。
深圳市政府数据开放平台:交通、文娱、就业、基础设施等数据。
上海市政务数据服务网:覆盖经济建设、文化科技、信用服务、交通出行等12个重点领域数据。
贵州省政府数据开放平台:贵州省在政务数据开放方面做的确实不错。
http://Data.gov:美国政府开放数据,包含气候、教育、能源金融等各领域数据。
3、数据竞赛网站

竞赛的数据集通常干净且科研性非常高。
DataCastle:专业的数据科学竞赛平台。
Kaggle:全球最大的数据竞赛平台。
天池:阿里旗下数据科学竞赛平台。
Datafountain:CCF制定大数据竞赛平台。
二、可以获得有价值数据

这里给出了一些网站平台,我们可p a网站上的数据,某些网站上也给出获取数据的API接口,但需要付费。
1.财经数据
(1)新浪财经:免费提供接口,可在新浪财经上获取获取历史和实时股票数据。
(2)东方财富网:可以查看财务指标或者根据财务指标选股。
(3)中财网:提供各类财经数据。
(4)黄金头条:各种财经资讯。
(5)StockQ:国际股市指数行情。
(6)Quandl:金融数据界的维基百科。
(7)Investing:投资数据。
(8)整合的96个股票API合集。
(9)Market Data Feed and API:提供大量数据,付费,有试用期。
2.网贷数据
(1)网贷之家:包含各大网贷平台不同时间段的放贷数据。
(2)零壹数据:各大平台的放贷数据。
(4)网贷天眼:网贷平台、行业数据。
(5)76676互联网金融门户:网贷、P2P、理财等互金数据。
3.公司年报
(1)巨潮资讯:各种股市咨询,公司股票、财务信息。
(2)http://SEC.gov:美国证券交易数据
(3)HKEx news披露易:年度业绩报告和年报。
4.创投数据
(1)36氪:最新的投资资讯。
(2)投资潮:投资资讯、上市公司信息。
(3)IT桔子:各种创投数据。
5.社交平台
(1)新浪微博:评论、舆情数据,社交关系数据。
(2)Twitter:舆情数据,社交关系数据。
(3)知乎:优质问答、用户数据。
(4)微信公众号:公众号运营数据。
(5)百度贴吧:舆情数据
(6)Tumblr:各种福利图片、视频。
6.就业招聘
(1)拉勾:人才需求数据。
(2)中华英才网:招聘信息数据。
(3)智联招聘:招聘信息数据。
(4)猎聘网:高端职位招聘数据。
7.餐饮食品
(1)美团外卖:区域商家、销量、评论数据。
(2)百度外卖:区域商家、销量、评论数据。
(3)饿了么:区域商家、销量、评论数据。
(4)大众点评:点评、舆情数据。
8.交通旅游
(1)12306:铁路运行数据。
(2)携程:景点、路线、机票、酒店等数据。
(3)去哪儿:景点、路线、机票、酒店等数据。
(4)途牛:景点、路线、机票、酒店等数据。
(5)猫途鹰:世界各地旅游景点数据,来自全球旅行者的真实点评。
类似的还有同程、驴妈妈、途家等
9.电商平台
(1)亚马逊:商品、销量、折扣、点评等数据
(2)淘宝:商品、销量、折扣、点评等数据
(3)天猫:商品、销量、折扣、点评等数据
(4)京东:3C产品为主的商品信息、销量、折扣、点评等数据
(5)当当:图书信息、销量、点评数据。
类似的唯品会、聚美优品、1号店等。
10.影音数据
(1)豆瓣电影:国内最受欢迎的电影信息、评分、评论数据。
(2)时光网:最全的影视资料库,评分、影评数据。
(3)猫眼电影专业版:实时票房数据,电影票房排行。
(4)网易云音乐:音乐歌单、歌手信息、音乐评论数据。
11.房屋信息
(1)58同城房产:二手房数据。
(2)安居客:新房和二手房数据。
(3)Q房网:新房信息、销售数据。
(4)房天下:新房、二手房、租房数据。
(5)小猪短租:短租房源数据。
12.购车租车
(1)网易汽车:汽车资讯、汽车数据。
(2)人人车:二手车信息、交易数据。
(3)中国汽车工业协会:汽车制造商产量、销量数据。
13.新媒体数据
新榜:新媒体平台运营数据。
清博大数据:微信公众号运营榜单及舆情数据。
微问数据:一个针对微信的数据网站。
知微传播分析:微博传播数据。
14.分类信息
(1)58同城:丰富的同城分类信息。
(2)赶集网:丰富的同城分类信息。
三、数据交易平台

由于现在数据的需求很大,也催生了很多做数据交易的平台,当然,除去付费购买的数据,在这些平台,也有很多免费的数据可以获取。
优易数据:拥有国家级信息资源的数据平台。包含政务、社会、社交、教育、消费、交通、能源、金融、健康等多个领域的数据资源。

去哪找数据?怎么挖掘?-10.jpg

数据堂:提供数据交易、处理和数据API服务,包含语音识别、医疗健康、交通地理、电子商务、社交网络、图像识别等方面的数据。

去哪找数据?怎么挖掘?-11.jpg

四、网络指数

百度指数:指数查询平台,可以根据指数的变化查看某个主题在各个时间段受关注的情况,进行趋势分析、舆情预测有很好的指导作用。除了关注趋势之外,还有需求分析、人群画像等精准分析的工具,对于市场调研来说具有很好的参考意义。同样的另外两个搜索引擎搜狗、360也有类似的产品,都可以作为参考。

去哪找数据?怎么挖掘?-12.jpg

阿里指数:国内权威的商品交易分析工具,可以按地域、按行业查看商品搜索和交易数据,基于淘宝、天猫和1688平台的交易数据基本能够看出国内商品交易的概况。
友盟+全域罗盘:友盟在移动互联网应用数据统计和分析具有较为全面的统计和分析,对于研究移动端产品、做市场调研、用户行为分析很有帮助。除了友盟指数,友盟的互联网报告同样是了解互联网趋势的优秀读物。

去哪找数据?怎么挖掘?-13.jpg
爱奇艺指数:爱奇艺指数是专门针对视频的播放行为、趋势的分析平台,对于互联网视频的播放有着全面的统计和分析,涉及到播放趋势、播放设备、用户画像、地域分布等多个方面。由于爱奇艺庞大的用户基数,该指数基本可以说明实际情况。

去哪找数据?怎么挖掘?-14.jpg
微指数:微指数是新浪微博的数据分析工具,微指数通过关键词的热议度,以及行业/类别的平均影响力,来反映微博舆情或账号的发展走势。分为热词指数和影响力指数两大模块,此外,还可以查看热议人群及各类账号的地域分布情况。

去哪找数据?怎么挖掘?-15.jpg
除了以上指数外,还有谷歌趋势、搜狗指数、360趋势、艾漫指数等等。
有了以上数据源,当然就可以做数据分析了。个人用户推荐免费工具豌豆BI,企业用户推荐企业数据分析工具亿信ABI。无需下载安装,直接云上试用。
亿信豌豆BI-敏捷BI自助式分析工具|商业智能BI工具与大数据分析平台亿信ABI一站式大数据分析平台-全能型数据可视化分析工具
关于亿信华辰

亿信华辰是中国专业的智能数据产品与服务提供商,一直致力于为政企用户提供从数据采集、存储、治理、分析到智能应用的智能数据全生命周期管理方案,帮助企业实现数据驱动、数据智能,已积累了8000多家用户的服务和客户成功经验,为客户提供数据分析平台、数据治理系统搭建等专业的产品咨询、实施和技术支持服务。

去哪找数据?怎么挖掘?-16.jpg

△亿信华辰全产品架构图(点击查看大图)


欢迎关注公众号:亿信华辰Pro
-让数据驱动进步-
精选高品质二手iPhone,上爱锋贝APP

0

主题

54

帖子

3

积分

Rank: 1

发表于 2021-12-15 19:36:05 | 显示全部楼层
主要来自电子政务;开放政府;政府数据;政府数据开放;大数据数据开放平台。
这里汇总了几十个公开数据源,可以点击查看。
最全的中国开放数据(open data)及政府公开数据平台汇总
精选高品质二手iPhone,上爱锋贝APP

0

主题

39

帖子

3

积分

Rank: 1

发表于 2021-12-15 20:13:42 | 显示全部楼层
分享一个网址
https://github.com/caesar0301/awesome-public-datasets,github上的一个数据库集合,里面有挺多数据的,大多都免费的,介绍如下:
This list of public data sources are collected and tidied from blogs, answers, and user responses. Most of the data sets listed below are free, however, some are not. Other amazingly awesome lists can be found in the
awesome-awesomeness and
sindresorhus's awesome list.
放个数据库目录导航

去哪找数据?怎么挖掘?-1.jpg

去哪找数据?怎么挖掘?-2.jpg
精选高品质二手iPhone,上爱锋贝APP
您需要登录后才可以回帖 登录 | 立即注册   

本版积分规则

QQ|Archiver|手机版|小黑屋|爱锋贝 ( 粤ICP备16041312号-5 )

GMT+8, 2024-11-30 07:12

Powered by Discuz! X3.4

© 2001-2013 Discuz Team. 技术支持 by 巅峰设计.

快速回复 返回顶部 返回列表