大家都是在哪些网站找数据？

对于做数据分析师或者从事数据职业的人员来说，工作需要的技能应用和数据网站都是不可缺少的，这次课的内容就是关于他们的介绍啦。这次课学完，你再也不用担心不能处理工作中无法协同工作的工具以及需要的数据资源等相关材料啦。

想要分析的时候，没有数据，就是巧妇难为无米之炊。以前想找一个数据需要费尽心思在网上去搜，最终还找不到自己想要的数据。通过编程爬虫数据，学习成本又太高，毕竟你的目标不是想要成为爬虫工程师，只是想要拿到数据来分析。那有没有傻瓜式的获取数据方法呢？
下面介绍4种获取数据的方法，选择一种适合你自己的方法就可以。

• 方法一：直接获取10大行业免费数据
  

1）如何选择行业？
不知道如何选择行业的，可以在下面网站里看到各个行业的分析报告：
如何选择入职行业 ：https://www.zhihu.com/question/24995484/answer/516813008
艾瑞研究-艾瑞网（行业报告）：http://report.iresearch.cn
Talkingdata报告（行业报告）：http://mi.talkingdata.com
199IT互联网数据中心（行业报告，内容多，支持搜索）：http://www.199it.com

2）10大行业免费数据汇总
【优点】直接拿来使用
【缺点】数据有限
根据你确定的行业，选择一个自己感兴趣的数据。比如你确定了电商行业，然后就找一个电商行业的数据。
在《数据分析思维》中汇聚了10多个行业的数据以及分析案例





《数据分析思维》12大行业案例数据

更多行业数据：
<a href="http://zhuanlan.zhihu.com/p/48413088" class="internal">10大行业公开数据集免费下载：电商零售行业
10大行业公开数据集免费下载：金融行业
10大行业公开数据集免费下载：游戏行业
10大行业公开数据集免费下载：教育行业
10大行业公开数据集免费下载：旅游行业
10大行业公开数据集免费下载：文化娱乐行业（电影，音乐等）
10大行业公开数据集免费下载：医疗行业
10大行业公开数据集免费下载：汽车及出行
10大行业公开数据集免费下载：房产行业
10大行业公开数据集免费下载：自媒体等行业

• 方法二：从数据平台获取
  

1.国内中文平台：
1）阿里云天池，官网网址：https://tianchi.aliyun.com/dataset/
数据下载办法：






2）DataFountain，官网地址：https://www.datafountain.cn/dataSets
有的文件下载后会显示后缀是.zip, .zip是个压缩包，下载后需要减压后才能看到压缩包里的excel文件


2.国外英文平台
Kaggle，官网地址和如何下载数据：如何在Kaggle上查找数据

• 方法三：傻瓜式爬虫工具（不需要编程）
  

【优点】在网站上爬取你感兴趣领域网站的数据，可以获取到自己想要的领域数据
【缺点】需要看官网教程来学习，有一定门槛

1）工具： 后羿，同时有mac，windows版本
网址：http://www.houyicaiji.com/
打开官网后点击下图“教程”的地方有入门教程。


2）工具：集搜客，只有windows版本
操作指南只需要看下面红框中的内容就可以，操作指南地址：
https://www.gooseeker.com/tuto/tutorial.html


爬取多少数据？
数据量少一般说明不了什么问题，起码的超过几万条数据。
多尝试、思维逻辑要清晰，一定要知道自己做什么，爬取什么样的数据，提前规划好了，整个过程就不会走太多的弯路。


案例：https://zhuanlan.zhihu.com/p/39733403

欢迎留言补充更多行业数据。

上面提到3种获取数据的方法，选择一种适合你自己方法。获取数据后分析，可以使用这个里面的方法来分析：
如何分析数据？

我是IT行业，所以找数据通过以下几个网站
名称                                      范围
ICTresearch  产业
艾瑞咨询  产业
工业和信息化部  产业
中国电子商务研究中心  产业
易观智库  产业
上市公司  公司
中国互联网信息中心  互联网
互联网消费调研中心  互联网
艾瑞咨询产品  互联网
WIND  金融
Gartner  全球
OECD  全球
IDC  全球
赛迪顾问  中国
国家统计局-国家数据
国家统计局  中国
国家知识产权局  中国
百度文库  综合
维基百科  综合
天极网  综合
网易财经

本文转自简道云的知乎回答：有哪些「神奇」的数据获取方式？

已经将网站汇总成表格，大家可以下载查看：【简道云汇总】110+数据网站
如果你不是会爬虫的技术流，那下面这110+网站可以解决你90%的数据需求。
首先，常见的公开数据网站在https://hao.199it.com/都可以搜索到。


除此之外，补充上面没有的一些网站，一共110+，按需选择：
金融财经数据

• 同花顺数据中心：提供股票债券等金融数据
  
• 和讯数据：提供各种股票、基金、外汇、债券等实时数据，有付费，有免费
  
• 零壹财经：大大小小的网贷数据、排行榜等
  
• 金融数据网：提供每日的黄金、汇率、农产品、汽油价格的相关数据
  
• 萝卜投研：提供股市、证券等数据，多以数据研究报告形式展示
  
• 金融界：提供股市、融资等各种资金流向数据，以及丰富的财报和研报
  
• 东方财富网：提供多国的股票、财税、行业、消费等大量丰富的经济数据
  
• 吉林金融网：提供吉林的融资、市场数据
  
• 搜狐证券：提供货币、外汇、行业、市场等宏观数据
  
• CCER经济金融数据库：提供企业财务年度数据、股票收益数据等数据库下载
  
• 香港金融管理局：提供香港的各种经济及金融数据，以宏观数据为主
  
• 世纪未来：数据服务平台，提供银行业务研究、金融大数据等各种付费数据
  
• 新浪财经：提供国内国民经济、行业信息、对外经贸、居民收入等各种宏观的经济数据
  
• 司尔亚司数据信息有限公司：覆盖超过195+个国家的经济数据库，数据全面但收费
  
• INSEE数据：法国统计与经济研究院公开数据
  
• 投中研究院：提供投资领域的分析报告，网站更新频率较高
  

互联网数据

营销查询：

• 5118 / chinaz：支持查询网站排名及发展趋势、百度收录情况等信息
  
• 百度指数：百度旗下/以百度网民行为数据为基础的数据分享平台，支持查询需求图谱
  
• 微信指数：微信旗下/基于微信大数据分析的移动端指数，打开微信→搜索“微信指数”可用
  
• 移动观象台：基于移动设备用户的操作行为，提供应用、公众号排行等，以及大量数据报告
  
• 新榜/微小宝/易赞：几款工具比较类似，支持查看公众号排行、看公众号人群画像等功能
  
• 阿里指数：阿里旗下/反映淘宝平台市场动向的数据分析平台
  

报告分析：

• 易观智库：199IT导航的母网站，权威的互联网数据平台，涵盖战略新兴产业、电商互联网、共享经济、社交营销、移动互联网以及其他互联网服务的数据及分析报告
  
• 艾瑞网：高频率更新互联网前沿的新闻资讯、分析报告，旗下包括艾瑞指数、艾瑞咨询等
  
• 艾媒网：艾媒与艾瑞无关，艾媒网发布的研究报告多偏向移动互联网方向
  
• CBNDdata：以阿里巴巴的商业数据库为基础，输出产业经济分析报告
  
• QuestMobile：周期性地发布一些关于APP的研究报告
  
• 阿里研究院：阿里旗下/发布研究电商等方向趋势的数据报告，内容多与阿里相关
  
• 360研究报告：360旗下/移动、PC、网站、企业、诈骗等安全领域的研究，以及大数据等非安全领域的研究
  
• 中国互联网信息研究中心：经国家主管部门批准组建的管理和服务机构，经常发布一些有价值的互联网信息报告
  
• 中国信通院：针对互联网多个行业的发展趋势，发布白皮书，角度较为宏观
  
• 中国互联网数据平台：提供全国各地区互联网发展报告、基础数据及研究分析报告，数据及报告偏向学术性研究
  
• 清博大数据：提供微信、微博、头条榜单数据，各种研究报告、数据报告、舆情报告及行业热点
  
• 数据观：丰富的前沿行业资讯，及部分研究报告下载
  
• 腾讯大数据：数据服务平台，提供调查研究、移动互联网及特色数据报告，质量较高
  
• 大数据世界：提供大数据相关资讯、应用案例、技术方案及资料下载
  

地理数据

水土气候数据：

• 水土保持生态建设网http://www.swcc.org.cn/
  
• 黄河风情http://www.yellowriver.org/
  
• 黄河流域数据中心http://henu.geodata.cn/index.jsp
  
• 黄土高原水土保护数据库http://www.loess.csdb.cn/
  
• 数字黑河http://heihe.westgis.ac.cn/Default.aspx?tabid=106
  
• 大气科学数据库http://data.iap.ac.cn/
  
• 中国气象科学数据http://cdc.cma.gov.cn/
  
• 中国气象科学数据共享服务网http://cdc.cma.gov.cn/
  
• 全球森林土地覆盖动态http://www.fao.org/gtos/gofc-gold/
  
• FRA 2000http://edcsns17.cr.usgs.gov/glcc/fao/index.html全球森林资源
  
• NOAAhttp://www.noaa.gov/美国国家海洋和大气管理局
  
• NCDC http://lwf.ncdc.noaa.gov/oa/ncdc.html美国国家气候数据中心
  
• 国际水管理研究所http://www.iwmidsp.org/iwmi/info/main.asp
  
• 气候研究所http://www.cru.uea.ac.uk/
  
• 植被覆盖数据http://www.vgt.vito.be/
  

环境数据：

• 黄土区农业与生态环境数据分中心http://loess.geodata.cn/
  
• 东北黑土农业生态数据库http://www.blackland.csdb.cn/default.asp
  
• 中国西部环境与生态科学数据中心http://westdc.westgis.ac.cn/
  
• 西部数据中心http://westdc.westgis.ac.cn/data
  
• 黄土高原区域数据共享运行服务中心http://loess.geodata.cn/Portal/?isCookieChecked=true
  

遥感数据：

• 地面站RS地图查询http://cs.rsgs.ac.cn/cs_cn/query/query_map.asp
  
• 甘肃省基础地理信息中心http://www.cehuiju.gansu.gov.cn/5chcg/giscenter.asp
  
• 遥感数据网络资源http://ecology.bnu.edu.cn/gejp/student/zhj/webresource.htm
  
• 中国遥感数据网http://ids.ceode.ac.cn/
  
• GLCF http://glcf.geodata.cn/etm/Welcome.do
  
• GIS FORUM http://www.gisforum.net/全球最大的GIS中文门户网站
  
• 遥感数据共享http://ids.ceode.ac.cn/
  

其他自然人文数据：

• 地理国情监测云平台 http://www.dsac.cn/
  
• 中国资源卫星应用中心 http://www.cresda.com/cn/profile.htm
  
• 中国自然资源数据库 http://www.data.ac.cn/index.asp
  
• 中国科学院资源环境科学数据中心 http://www.resdc.cn/resdc/first.asp
  
• 中国地球系统科学数据共享网 http://www.geodata.cn:8086/Metadata/index.jsp
  
• 国家地球系统科学数据共享服务平台 http://www.geodata.cn/
  
• PM25.in | PM2.5(细颗粒物)及空气质量指数(AQI)实时查询！：中国空气质量监测实时数据http://pm25.in/
  
• 国际科学数据服务平台 http://datamirror.csdb.cn/index.jsp
  
• 原始数据搜索 https://wist.echo.nasa.gov/api
  
• 中国科学院资源环境科学数据中心 http://www.resdc.cn/resdc/first.asp
  
• 世界聚集人口数据 http://beta.sedac.ciesin.columbia.edu/gpw/index.jsp
  
• 光谱数据分析网站 http://modis.gsfc.nasa.gov/
  
• 美国航空航天局NASA http://daac.gsfc.nasa.gov/
  
• 城市轨道交通http://www.ntsg.umt.edu/
  
• 人地系统主题数据库http://webpanda.iis.u-tokyo.ac.jp/
  

影像数据：

• USGS Earth Explorer：提供Landsat、MODIS等数据
  
• ESA’s Sentinel Mission：提供Sentinel系列卫星数据，可以下载欧洲航天局所属的影像数据
  
• NOAA CLASS：提供高品质大气数据集，包括美国国防部（DoD）、极地作战环境卫星（POES）、NOAA的地球静止环境卫星（GOES）以及其他派生数据
  
• NASA Reverb：提供多种类数据，包括：Aqua, Terra, Aura, TRMM, Calipso, NASA DC, JASON, ENVISAT等
  
• EOLi：欧洲航天局的地球观测目录和订购服务的客户，通过Java 程序下载数据，支持的数据包括：Envisat, ERS, IKONOS, DMC, ALOS, SPOT, Kompsat, Proba, IRS, SCISAT.
  
• INPE：提供中巴资源卫星数据
  
• Bhuvan Indian Geo-Platform of ISRO：提供印度境内的MS-1， Cartosat,，OceanSat and ResourceSat数据以及全球的NVDI数据、南亚国家的CartoDem Version -3R1数据和北印度洋的气候数据
  

政府数据

• 新加坡政府公开数据：提供新加坡各类数据
  
• 美国政府公开数据：提供美国全国各类数据
  
• 法国政府公开数据：法国政府开放数据平台
  
• 英国政府公开数据：提供英国各类数据
  
• 国家数据：中国国家统计局权威数据
  
• 中国统计年鉴：1999年至今中国统计年鉴，国家统计局官网，提供单页Excel文件下载
  
• 中国统计信息网：全国及各级政府各年度统计公报、年鉴等，为收费数据
  
• 年鉴汪：全国城市统计数据搜索引擎，浏览免费，下载收费
  
• 伦敦市公开数据：提供伦敦人口、就业、环境等各类数据
  
• 国土资源部：国土资源部对外公开的信息报告
  

其他细分行业数据

• 中研网数据：提供医疗、房产、制造业、服务业、零售消费、车辆等全行业数据
  
• 中国报告大厅：提供各行各业的基础数据、调查报告、分析报告、预测报告，种类丰富
  
• CADMAPPER：世界各大城市的DXF文件，原始数据源为OSM，NASA，USGS
  
• 亚马逊网络服务公共数据集：跨科学云数据平台，包含化学、生物、经济等多个领域的数据集
  
• Awesome Public Datasets：Github公共数据搜集项目，自然科学、社会科学覆盖较面，包含各个细分领域的数据库资源。
  
• figshare：数据分析与研究成果共享平台。
  
• 英国公开数据浏览工具：James Trimble制作的英国数据可视化浏览工具集；
  
• 数据法国：法国各类数据的可视化呈现；
  
• DataEye：基于国内游戏、汽车行业数据，进行多角度的行业调查报告撰写发布
  
• CBO中国票房：基于国内票房数据，统计票房排行、上座率等信息。
  
• 易车指数：反映国内汽车销售市场，为购车者或汽车从业者提供参考的数据指数
  
• 高德地图：支持实时查看国内交通情况，此外高德周期性提供一系列数据报告
  
• 房天下：提供中国指数研究院和CREIS中指数据，展示国内房地产数据情况
  
• 艺恩：CBO中国票房数据的提供方，提供一些行业数据报告，如动漫IP价值研究报告
  

一般来说数据有以下几种获取方式：
1、使用爬虫或者爬虫软件采集数据 （适用于一些网站不提供数据下载，只存在网页上，这个时候可以利用爬虫进行数据采集）
2、从数据平台上直接下载数据
下面分别从这几个维度，给大家具体介绍数据如何寻找。
一、使用爬虫或者爬虫软件采集数据

获取数据首推的还是利用爬虫，所谓爬虫是什么呢，这里给大家解释一下，爬虫其实就是一套自动读取网页和解析网页的程序或工具而已。
爬虫有很多种，懂代码的技术流可以使用Fiddler抓包，然后python采集，一顿猛如虎的操作后获取到想要的微博数据。
针对小白，或者懂代码的朋友不想麻烦，只是想快速获取到自己想要的数据
利益相关，推荐使用八爪鱼进行采集
只需输入网址，一键智能识别采集数据，几分钟搞定网页数据采集。
没图没真相，以今日头条采集为例，给答主演示采集过程：

今日头条新闻一键智能采集
https://www.zhihu.com/video/1247172927281795072
具体详细使用教程：自定义配置采集数据（含智能识别）
如果您对用八爪鱼采集网页数据有兴趣，可以用电脑下载客户端试试。
下载地址：
免费下载 - 八爪鱼采集器
二、一些常用数据获取平台推荐

城市交通
1、高德交通。提供全国100个城市的交通实时数据，提供非常酷炫、直观的数据可视化呈现，并定期提供专题分析报告与研究。
2、北京城市实验室。由龙瀛博士首创致力于定量城市研究的学术网络，提供微观视角下的中国城市空间量化研究。
3、北京大学轨迹可视化。由北京大学可视化与可视分析研究组创建，通过位置采样记录物体的移动，进行城市交通密度绘制、拥堵分析以及不同交通模式的关联分析、移动行为以及语意分析等工作，在城市交通GPS轨迹数据，减少交通事故和拥堵等领域发挥作用。
4、城市CAD地图数据。提供全球200+城市精美的绘图文件，帮助城市规划设计人员节省大量制图绘图的时间。要求有AutoCAD、SketchUp 8+、Illustrator、Rhinoceros 5+软件。
5、深圳市道路交通运行指数。深圳交通运输局旗下网站，是对深圳路网交通总体运行状况进行定量化评估的综合性指标，与传统的车速、流量等参数相比，具有直观、简单的特点，让人们更能清楚地了解堵到何种程度。
社会经济
1、国家统计局。国家权威数据发布平台。提供所有国民经济、社会、民生数据，同时发布最新的统计政策、会议、统计标准等信息。
2、国家数据。国家统计局子网站。你想了解的中国所有权威数据几乎都能在上面找到，涵盖工业、能源、价格、投资、地产、消费、交通运输、采购、财政、金融等等数据，提供月度、季度、年鉴等多各维度数据，并包含数据可视化的图表走势对比分析。
3、世界银行公开数据。世界银行公开数据上罗列7000多个指标，包括贫困与不平等、人口、环境、经济、国家与市场等数据。用户可以免费使用和分享数据，还可以按照国家、指标、专题和数据目录浏览并下载数据，并供支持EXCEL、CSV、API、ACCESS等不同导出形式。
4、前瞻数据库。前瞻数据库拥有16年的细分产业大数据积累，提供中国宏观、区域宏观、全球宏观、行业经济、进出口、上市公司等数据。
5、中经网统计数据库。《中经网统计数据库》是由国家信息中心中经网凭借与国家发改委、国家统计局、海关总署、各行业主管部门以及其他政府部门经过长期数据积累的经济统计数据库群。内容涵盖宏观经济、行业经济、区域经济以及世界经济等各个领域。
6、中经网产业数据库。中经网数据中心是国家信息中心中经网组建的专业从事经济数据资源开发和服务的机构，网站提供24个产业数据以及经济综合数据。
7、一带一路统计数据库。一代一路统计数据库设置了沿线各国和地区的特色经济统计数据，涵盖经济、农业、工业、环境、资源、贸易、投资等十几个领域。

股票金融
1、新浪财经。新浪财经是一家创建于1999年8月的财经平台，提供全球财经实时数据，内容专业且丰富。
2、东方财富。东方财富网2004年3月上线，网站内容涉及财经、股票、基金、期货、债券、外汇、银行、保险等诸多金融资讯与财经信息，全面覆盖财经领域，每日更新上万条最新数据及资讯，为用户提供便利的查询。
3、中财网数据引擎。非常强大齐全的金融数据引擎，免费提供股票、基金、债券、外汇、理财等行情数据以及其他资料。
投融资
1、IT桔子。IT桔子是关注IT互联网行业的结构化的公司数据库和商业信息服务提供商，提供风险投资、收购、竞争情报、细分行业信息、国外公司产品信息数据服务等。
2、投资界。投资界是清科集团旗下提供行业丰富数据及深入分析的专业化网站，提供投融资方面比较详细的数据。
互联网金融
1、网贷之家。网贷之家是第三方网贷资讯平台，于2011年10月上线。上面披露各P2P平台最新交易数据、转型及停业、问题平台、网贷行业等数据。
2、网贷天眼。国内网贷行业较为权威的第三方机构，同样披露各P2P平台最新数据、行业数据、停业及问题平台、研究报告、行业政策等信息数据。  
生态环境
1、国家生态环境部数据中心。国家生态环境部旗下提供的数据服务，包括环境质量、生态环境、污染源、环境管理业务等10大类数据信息。同时，还提供专题数据、数据分析、以及API接口等服务。
2、PM2.5in。PM25.in是为大家提供空气质量监测数据的网站，数据采自于国家环境保护部，上面有全国各大城市的空气质量数据。
3、环境云。环境云是一个综合环境数据服务的平台，收录专业数据源（国家环保部数据中心、美国全球地震信息中心等）所发布的各类环境数据，接收其自主布建的各类环境监控传感器网络（包括空气质量指标，土壤环境质量指标检测网络）所采集的数据，结合相关数据预测模型生成的预报数据。  
体育
1、体育大数据SportsDT。SportsDT 以体育大数据为入口，提供比分数据、指数数据、比赛数据、分析数据等数据。
2、stat-nba。号称全专业最全的NBA中文数据库。   
文化娱乐
1、中国票房网。中国票房网收录了国内所有上映电影的票房实时数据，提供单日、单周、周末、单月、年度、中美对比、城市排片、电影资源库等丰富数据。
2、猫眼电影数据。猫眼专业版提供全国各大电影的票房实时数据，包括票房占比、排片场次、排片占比、场均人次、上座率等动态实时数据。  
自媒体
1、清博大数据。清博指数(前称新媒体指数)、提供各类新媒体数据、榜单、分析报告、舆情监测、品牌推广、精准营销等服务。
2、新浪舆情通。舆情通以中文互联网大数据及新浪微博的独家官方数据为基础，7*24小时不间断采集新闻、报刊、政务、外媒、微博、微信、博客、论坛、视频、网站、客户端等全网11大信息来源，每天采集超过9000万条数据。   
论文期刊
1、知网。知网始建于1999年6月，提供中国知识资源总、数字出版物、文献评价数据、知识检索。据了解，中国知网文献总量达2.8亿篇，中外学术期刊品种达58000余种。
2、国家哲学社会科学学术期刊数据库。国家期刊库收录精品学术期刊1000多种，论文超过485万篇以及超过101万位学者、2.1万家研究机构相关信息。  
指数
1、百度指数。百度指数是以百度海量网民行为数据为基础的数据分析平台，主要功能模块有：基于单个词的趋势研究（包含整体趋势、PC趋势还有移动趋势）、需求图谱、舆情管家、人群画像；基于行业的整体趋势、地域分布、人群属性、搜索时间特征。
2、爱奇艺指数。爱奇艺指数是由爱奇艺基于平台上收录的视频提供的视频数据分析工具。用户可以选择你想了解的视频或节目名字，平台输出包括热度趋势、视频看点、舆情分析、受众画像等维度的数据分析。用户还可以添加多个节目进行对比，哪个节目热度高、哪个明星带的流量多、用户都在讨论什么等数据一目了然。
3、阿里指数。阿里指数是了解电子商务平台市场动向的数据分析平台，2012年11月26日上线。根据阿里巴巴网站每日运营的基本数据包括每天网站浏览量、每天浏览的人次、每天新增供求产品数、新增公司数和产品数这5项指标统计计算得出。  
综合数据服务商
1、云听。云听基于八爪鱼6年的大数据资源积累以及企业服务经验，运用人工智能自然语言分析技术，为企业提供一提供全网数据收集能力、数据整合分析能力和场景化解决方案，尤其在客户体验管理CEM领域，拥有OPPO、VIVO、科沃斯等知名零售品牌大客户，在电商数据及舆情方面拥有丰富的经验。
2、国泰安。国泰安是国内从事金融、经济信息精准数据库设计开发的专业高科技公司，为1000多个高校和金融机构服务。
3、优易数据。优易数据汇集了以“国家自然资源和地理空间基础信息库”为基础， 9个国家部委的20余万项核心政务数据。
4、瑞思数据。锐思数据从事金融数据库和相关投资研究软件研发为高校、政府及金融机构提供精准的经济、金融数据和完备的增值服务。
5、CEIC数据。全面的经济数据库，覆盖超过200+个国家。提供中国超过33万条宏观经济、行业及区域的时间序列数据。
6、Wind金融数据。国内领先金融数据、信息和软件服务企业，数据内容涵盖股票、基金、债券、外汇、保险、期货、金融衍生品、现货交易、宏观经济、财经新闻等领域，新的信息内容及时进行更新以满足机构投资者的需求。
7、搜数。搜数网每天监测和收集处理公开媒体和各种年鉴书籍中披露的各类统计和调查数据，截止2019年04月10日，已加载到搜数网站的统计资料达到9,741本,涵盖2,280,300张统计表格和454,728,104个统计数据。
类似的还有很多数据来源，这里只列举了一部分，想要获取更多可以移看：  
八爪鱼采集器：数据源大盘点 | 你们要的数据源都在这儿了81个（收藏）

作为一个数据可视化行业的从业者，手上怎么可以没有几个收集行业数据的网站！！！
我交出我珍藏多年的宝藏数据网站 给大家，如果想做抖音那种会动的数据可视化视频，数据可视化大屏都可以到这些网站里面去寻找数据资源～有点多，大概有27个网站左右，主要分为以下几大类

• 行业数据分析报告
  
• 消费行为分析报告
  
• 互联网大数据分析
  
• 社会调查分析报告
  
• 城市交通拥堵报告
  
• 金融行业分析报告
  
• 娱乐行业数据报告
  
• 媒体矩阵分析报告
  
• 收视排名数据分析
  
• 国家数据分析报告
  

前方内容有点长，但是基本上涵盖了你所需要的内容，你想要的都可以找到～
记得收藏！！！！
阿里研究院



阿里研究院由电子商务、互联网金融、智能物流、云计算与大数据等构成的阿里商业生态圈，研究互联网、大数据给社会经济带来的新现象、新规则。
腾讯研究院



腾讯研究院是腾讯公司的智库，旨在依托腾讯公司多元的产品、丰富的案例和海量的数据，围绕产业发展的焦点问题，通过开放合作的研究平台，汇集各界智慧，共同推动互联网产业健康、有序的发展。
腾讯研究院围绕互联网法律、公共政策、互联网经济、大数据等研究方向，与国内外研究机构、智库开展多元化的合作，不断推出面向互联网产业的数据和报告，为学术研究、产业发展和政策制定提供有力的研究支持。我们坚守开放、包容、前瞻的研究视野，致力于成为现代科技与社会人文交叉汇聚的研究平台。
艾媒咨询



艾媒网-全球领先的新经济行业数据分析报告发布平台iiMedia Research(艾媒咨询)是全球知名的新经济产业第三方数据挖掘和分析机构，2007年诞生于广州，在广州、香港、北京、上海、硅谷设有运营和分析机构。艾媒咨询致力于输出有观点、有态度、有结论的研究报告，以权威第三方实力，通过艾媒大数据决策和智能分析系统，结合具有国际化视野的艾媒分析师观点，在产业数据监测、调查分析和趋势发展等方向的大数据咨询具有丰富经验。艾媒每年公开或定制发布新经济前沿报告超过2000份，覆盖了新技术、新零售、教育、生物、医疗、出行、房产、营销、文娱、传媒、金融、制造、区块链、环保与公共治理等新兴领域，通过深入数据挖掘，通过数学建模，分析推理与科学算法结合，打造有数据、有理论支撑的大数据分析成果。艾媒咨询的数据报告、分析师观点平均每天被超过100家全球主流媒体，1500家(个)自媒体、行业KOL引用，覆盖语言类型包括中、英、日、法、意、德、俄、阿等约二十种主流官方版本。
艾瑞网



报告_艾瑞网依托大数据，发布互联网行业研究报告
艾瑞数据致力于成为数据应用技术为核心驱动力的科技型企业，本着通过数据改变认知，提升企业效能为理念，为客户提供基于情报+数据+服务的商业数据智能解决方案，涵盖消费者洞察、市场竞争监控、企业精细化运营、共享数据服务。
艾瑞智云产品服务体系，透过9亿网民线上线下行为洞察商业本质，为多个场景提供数据服务。
艾瑞睿见产品服务体系，通过多源跨屏数据洞察等自建大数据积累，汇集多家大型互联网企业数据，共同打造的互联网行业信息情报分析系统。
McKinsey&Company



Insights - McKinsey Greater China行业洞察报告面向总裁、高级主管、部长、大公司的管理委员会，非盈利性机构及政府高层领导就他们所关注的管理问题提供咨询。
为客户特别是为企业设计、制定相配套的一体化解决方案，战略开发，经营运作，组织结构。
集中于客户可以量化的业绩改进，比如说改进销售收入、利润成本、供货时间、质量等。麦肯锡的咨询重点放在高级管理层所关心的议题上。工作内容属于战略、总体组织和相关政策领域各占1/3。但在中国，战略和组织机构设计偏重大些。
Deloitte德勒



德勤中国 | 审计, 企业管理咨询, 财务咨询, 风险咨询, 税务服务及行业洞察关于德勤中国：各个行业的研究报告。事务所网络为中国本地和在华的跨国及高增长企业客户提供全面的审计及鉴证、管理咨询、财务咨询、风险咨询和税务服务。
普华永道



普华永道中国各个行业的研究报告。在普华永道，我们的使命是解决重要问题以及建立社会信任。这是我们在提供专业服务及作出商业决定时的重中之重。
毕马威



毕马威中国行业洞察报告/毕马威是一个由专业服务成员所组成的全球网络。成员所遍布全球147个国家和地区，拥有专业人员超过219,000名，提供审计、税务和咨询等专业服务。
IBM 商业价值研究院



IBM - 中国埃森哲



埃森哲| 中国| 应新于时智胜无常，化危为机:应对新冠病毒全球流行及疫后重建，都需要各行各业的企业领导者做出迅速且充分有效的决策，捍卫员工、顾客与合作伙伴的共同利益。欢迎深入了解我们关于现状和未来的观点和行动建议。
艺恩中国

• 影视大数据平台，可查看到电影、电视、动漫、新媒体、娱乐营销相关的研究报告
  

艺恩-文娱大数据服务商_首页艺恩是国内领先的文娱大数据服务商，以数据技术为引擎监测跨屏内容消费行为和用户画像数据; 依托行业解决方案，累计为近千家合作伙伴提供相关产品服务。
艺恩一直致力于深度链接文娱业务场景，获得了业界及社会的广泛认可。荣获“国家高新技术企业”“中关村高新技术企业”“中国大数据创新企业”及“中国大数据最佳行业实践案例”等称号。共持有独立研发的产品软件著作权和发明专利超过30项。
易观分析：联网市场分析报告浏览网址



易观分析-数据驱动精益成长北京易观智库网络科技有限公司始终追求客户成功的经营宗旨。 自成立以来，北京易观智库网络科技有限公司打造了以海量数字用户资产及算法模型为核心的大数据产品、平台及解决方案 可以帮助企业高效管理数字用户资产和对产品进行精细化运营，通过数据驱动营销闭环， 从而实现收入增长、成本降低和效率提升，并显著规避经营风险，实现精益成长。
CBNData（第一财经商业数据中心）

产业经济全景分析和行业企业洞察


http://www.cbndata.com/home

36kr

汇集各个行业的研究报告


36氪_让一部分人先看到未来TalkingData

移动观象台




TalkingData移动观象台-全球领先免费公开数据实时查询平台360互联网安全中心





360研究报告_360安全中心新浪研究报告

可获取不同机构发布的最新行业研究报告咨询（无法查看到报告的全文）


行业研究研究报告|研究评级|机构研报_新浪财经_新浪网微博媒体排行榜



媒体矩阵势力榜CBO中国票房



艺恩-数据智能服务商_数据榜单农业大数据



中国农业大数据公共服务中心国家数据

统计局的官方数据，涉及各个方面


国家数据高德城市拥堵排名



https://report.amap.com/diagnosis/index.do中国综合社会调查CGSS



中国综合社会调查中国综合社会调查（Chinese General Social Survey，CGSS）始于2003年，是我国最早的全国性、综合性、连续性学术调查项目。CGSS系统、全面地收集社会、社区、家庭、个人多个层次的数据，总结社会变迁的趋势，探讨具有重大科学和现实意义的议题，推动国内科学研究的开放与共享，为国际比较研究提供数据资料，充当多学科的经济与社会数据采集平台。目前，CGSS数据已成为研究中国社会最主要的数据来源，广泛地应用于科研、教学、政府决策之中。
中国P2P网贷指数



千顺-财经门户, 金融研究咨询,金融发展规划,金融风险防范化解,金融大数据,产业金融,金融GDP,金融科技,监管科技,区块链, 新兴金融_千顺百度数智平台



百度数智平台--百度大数据智能力量友盟+



友盟+，国内领先的第三方全域数据智能服务商友盟+，以“数据智能，驱动业务增长”为使命，基于卓越的技术与算法能力，结合实时更新的全域数据资源，覆盖191个行业分类、输出300+应用或行业的分析指标，通过AI赋能的一站式互联网数据产品与服务体系，帮助企业实现深度用户洞察、实时业务决策和持续业务增长。
收视率排行



收视率排行 | 收视率查询,收视率怎么算,收视率怎么赚钱,csm50城以上就是我整理的数据分析报告的网站啦～当然有了数据还需要可视化展现对不对，以下是我整理的另一篇，国内十大数据可视化平台供你使用挑选～

this is：2020年最好用的十大数据可视化平台，你值得拥有以上～

和鲸社区(kesci.com)拥有海量各个行业的真实数据集
以下练习题与教程均来自和鲸社区，除了能下载以外，也可以直接在线挂载使用哦~
生物医疗行业相关数据集：

• 丁香园新型冠状病毒(COVID-19)疫情时间序列数据集
  

2019新型冠状病毒（COVID-19/2019-nCoV）疫情状况的时间序列数据仓库，数据来源为丁香园

• 全球新冠肺炎COVID-19数据
  

包含每日时间序列汇总表，包括确诊、死亡和治愈。所有数据来自每日病例报告。数据覆盖日期20/01/22-20/07/08

• 心脏病诊断数据集
  

来自克利夫兰医学研究中心的心脏病患者数据，可用于建立心脏病诊断模型。

• 美国各州各城市2019新型冠状病毒COVID19数据
  

美国各州各城市COVID 19数据，包括确诊人数和 死亡人数等，数据覆盖日期2020-01-21到2020-07-05

• COVID-19 论文数据 (每日更新)
  

多个权威期刊上关于COVID-19的研究论文的标题、摘要等信息，并人为为部分文章打上类标签（包括流行病学、临床医学、病理学等六种）

• MIMIC-III 数据集官方样例
  

MIMIC-III 数据集官方样例，数据结构与MIMIC-III 一致，包含100位病人的数据

• 英国2019新型冠状病毒COVID-19数据
  

英国2019新型冠状病毒COVID-19数据，整个英国以及英国各个国家（英格兰，苏格兰，威尔士，北爱尔兰），覆盖日期2020-01-24到2020-06-23

文化娱乐相关数据集：

• 500条「 隐秘的角落 」豆瓣短评
  

500条「 隐秘的角落 」豆瓣短评，数据包含用户昵称，用户个人主页，评论内容，评论时间，有用数

• 《隐秘的角落》爱奇艺弹幕数据
  
• 《乘风破浪的姐姐》选手信息数据集
  

数据来源于百度百科和维基百科，包括了选手们的姓名，年龄，出生年月，出生地以及图片的下载地址，职业以及初始舞台分数等信息。

• 豆瓣电影数据集
  

豆瓣电影影评、影人信息等文本数据。更具本土特色！

• 口袋妖怪数据集
  

这个数据集共有721个口袋妖怪，包括编号，名字，第一和第二属性，以及基本属性：HP，攻击，防御，特殊攻击，特殊防御和速度。

• 中华古诗数据集
  

唐宋两朝14000名古诗人，55000首唐诗，260000首宋词，用数据分析抽丝剥茧文化内涵。

• TED 演讲数据集
  

数据集包含到 2017.9.21 日，所有上传到TED网站上的演讲视频信息。喜欢看TED的朋友不能错过！

• DOTA 2 数据集
  

数据集包含7.07血命之战版本后的103591场比赛数据

地理相关数据集：

• 星巴克门店信息
  

该数据集囊括了截至2017/2月份全球星巴克门店的基础信息

• 世界主要城市平均气温数据集
  

一个关于世界主要城市温度的数据集将有助于分析全球变暖的情况。此外，天气信息对许多数据科学任务也有帮助，如销售预测，物流等。

• 900W条微博签到数据
  

近900W条微博签到数据，包含位置经纬度，城市等信息！

• 全球每个国家和美国每个州的纬度和经度地理数据
  

全球每个国家和美国每个州的纬度和经度GPS坐标

• 中国坐标数据集
  

中国省、市、区、县的坐标数据集

• 太阳黑子数据
  

包含1944年5月-2019年12月的太阳黑子数据

• 七类矿物鉴定图片数据集
  

包含七类矿物的标本图像

自然语言处理相关数据集：

• 电影对白数据集（聊天机器人）
  

该数据集包含从原始电影脚本中提取的大量虚构对话集合，可用于训练LSTM网络模型。

• 文本情感数据集
  

NLP是机器学习领域中的重要话题。用户可以通过本数据建立模型，训练电脑分辨文本表达的两种截然相反的情感：Positive 和 Negative。

• 复旦大学中文文本分类语料库
  

中国新闻数据集有20个不同的类别，用于NLP学习

• 今日头条新闻文本
  

382688条今日头条新闻文本

• 人民日报文章数据集(1979-2010)
  

包含人民日报从1979年至2010年的文章文本数据

• 川普推特数据集
  

汇集了川总的推特数据 ( 从当选到2018年12月30号 )

• 2014人民日报标注语料库（PFR）
  

PFR有1998年1-6月以及2014年版本，本语料库是2014年的标注语料版本

• 网易云精彩评论数据集
  

网易云精彩评论数据集是一个CSV文件，包括了用户Id、昵称、评论内容、点赞数。

气候相关数据集：

• 二战天气状况数据集
  

1940-1945年每日天气摘要

• 多类天气图片数据集
  

数据集包含60000张常见天气的图像，包括晴天，多云，下雨，下雪，薄雾和雷雨，总共6种天气图像，用于天气分类及识别研究。

• 澳大利亚山火数据集
  

NASA卫星数据，来自 MODIS C6 和 VIIRS 375m

• 1750年至今全球地表气温变化数据
  

全球气候变化曾被美国总统特朗普指为“中国人制造的骗局”，然而这到底是伪科学，还是客观存在？

• 从卫星图像理解云层数据集
  

kaggle竞赛中数据集，cv相关，用于确定卫星图像中包含的某些云层的区域

• 台风数据分析-高德地图/Geopanda
  

台风数据分析-高德地图/Geopandas

• El Nino厄尔尼诺数据集
  

该数据集包含从整个赤道太平洋的一系列浮标中获取的海洋学和地面气象读数

以上例举的只是和鲸社区数据集的“冰山一角”哦，想获得更多数据集请前往和鲸社区哦：
和鲸社区 - Kesci.com

我获取数据的一些来源 yulang：普工的猪肉台-如何获取数据
数据比赛

Datasets | Kaggle
数据集-阿里系唯一对外开放数据分享平台
政府类

中国2000年人口普查资料
中国2010年人口普查资料
中国经济普查年鉴―2013
知乎问答

路人甲：有哪些可以获取数据的网站？[大数据]
大家都是在哪些网站找数据？
猴子：10大行业公开数据集免费下载：电商零售行业
企研数据：数据资源丨原始数据哪里找？这些网站要用好！（建议收藏）
易观，艾瑞等第三方公司的原始数据从什么地方，或者以什么形式获取的？
去哪找数据？怎么挖掘？
数据分析和挖掘有哪些公开的数据来源？
大家都是在哪些网站找数据？
有哪些「神奇」的数据获取方式
有哪些「神奇」的数据获取方式？

作为程序员，玩大数据肯定要懂爬虫的，而我也比较喜欢爬一点有的没的。


爬虫，是一个自动提取网页的程序。是搜索引擎的重要组成部分，因此搜索引擎优化很大程度上就是针对爬虫而做出的优化。
已经成型的爬虫有几百种，今天就来强答一波，推荐一些不同开发语言的开源爬虫软件。
Python爬虫



1、PyRailgun
这是一个非常简单易用的抓取工具。支持抓取javascript渲染的页面的简单实用高效的python网页爬虫抓取模块

• 授权协议： MIT
  
• 开发语言： Python
  
• 操作系统： 跨平台 Windows Linux OS X
  
• 特点：简洁、轻量、高效的网页抓取框架
  

github：https://github.com/princehaku/pyrailgun#readme
2、Scrapy
Scrapy 是一套基于基于Twisted的异步处理框架，纯python实现的爬虫框架，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便～

• 授权协议： BSD
  
• 开发语言： Python
  
• 操作系统： 跨平台
  
• 特点：基于Twisted的异步处理框架，文档齐全
  

github：https://github.com/scrapy/scrapy
3、QuickRecon
QuickRecon是一个简单的信息收集工具,它可以帮助你查找子域名名称、perform zone transfe、收集电子邮件地址和使用microformats寻找人际关系等。QuickRecon使用python编写，支持linux和 windows操作系统。

• 授权协议： GPLv3
  
• 开发语言： Python
  
• 操作系统： Windows Linux
  
• 特点：具有查找子域名名称、收集电子邮件地址并寻找人际关系等功能
  

Java爬虫



4、crawlzilla
crawlzilla 是一个帮你轻松建立搜索引擎的自由软件，有了它，你就不用依靠商业公司的搜索引擎，也不用再烦恼公司內部网站资料索引的问题。
由 nutch 专案为核心，并整合更多相关套件，并卡发设计安装与管理UI，让使用者更方便上手。
crawlzilla 除了爬取基本的 html 外，还能分析网页上的文件，如（ doc、pdf、ppt、ooo、rss ）等多种文件格式，让你的搜索引擎不只是网页搜索引擎，而是网站的完整资料索引库。

• 授权协议： Apache License 2
  
• 开发语言： Java JavaScript SHELL
  
• 操作系统： Linux
  
• 特点：安装简易，拥有中文分词功能
  

项目主页： https://github.com/shunfa/crawlzilla
下载地址： http://sourceforge.net/projects/crawlzilla/
5、Heritrix
Heritrix 是一个由 java 开发的、开源的网络爬虫，用户可以使用它来从网上抓取想要的资源。其最出色之处在于它良好的可扩展性，方便用户实现自己的抓取逻辑。
Heritrix采用的是模块化的设计，各个模块由一个控制器类（CrawlController类）来协调，控制器是整体的核心。

• 授权协议： Apache
  
• 开发语言： Java
  
• 操作系统： 跨平台
  
• 特点：严格遵照robots文件的排除指示和META robots标签
  

代码托管：https://github.com/internetarchive/heritrix3
6、heyDr
heyDr是一款基于java的轻量级开源多线程垂直检索爬虫框架，遵循GNU GPL V3协议。
用户可以通过heyDr构建自己的垂直资源爬虫，用于搭建垂直搜索引擎前期的数据准备。

• 授权协议： GPLv3
  
• 开发语言： Java
  
• 操作系统： 跨平台
  
• 特点：轻量级开源多线程垂直检索爬虫框架
  

7、JSpider
JSpider是一个用Java实现的WebSpider，JSpider的执行格式如下：
jspider [URL] [ConfigName]
URL一定要加上协议名称，如：http://，否则会报错。如果省掉ConfigName，则采用默认配置。
JSpider 的行为是由配置文件具体配置的，比如采用什么插件，结果存储方式等等都在conf\[ConfigName]\目录下设置。JSpider默认的配置种类 很少，用途也不大。但是JSpider非常容易扩展，可以利用它开发强大的网页抓取与数据分析工具。要做到这些，需要对JSpider的原理有深入的了 解，然后根据自己的需求开发插件，撰写配置文件。

• 授权协议： LGPL
  
• 开发语言： Java
  
• 操作系统： 跨平台
  
• 特点：功能强大，容易扩展
  

8、MetaSeeker
这是一套完整的网页内容抓取、格式化、数据集成、存储管理和搜索解决方案。网络爬虫有多种实现方法，如果按照部署在哪里分，可以分成：

• 服务器侧：
  

一般是一个多线程程序，同时下载多个目标HTML，可以用PHP， Java, Python(当前很流行）等做，可以速度做得很快，一般综合搜索引擎的爬虫这样做。但是，如果对方讨厌爬虫，很可能封掉你的IP，服务器IP又不容易 改，另外耗用的带宽也是挺贵的。建议看一下Beautiful soap。

• 客户端：
  

一般实现定题爬虫，或者是聚焦爬虫，做综合搜索引擎不容易成功，而垂直搜诉或者比价服务或者推荐引擎，相对容易很多，这类爬虫不是什么页面都 取的，而是只取你关系的页面，而且只取页面上关心的内容，例如提取黄页信息，商品价格信息，还有提取竞争对手广告信息的，搜一下Spyfu，很有趣。这类 爬虫可以部署很多，而且可以很有侵略性，对方很难封锁。
MetaSeeker中的网络爬虫就属于后者。
它的免费工具包利用Mozilla平台的能力，只要是Firefox看到的东西，它都能提取。

• 特点：网页抓取、信息提取、数据抽取工具包，操作简单
  

下载地址：www.gooseeker.com/cn/node/download/front
9、PyRailgun
这是一个非常简单易用的抓取工具。支持抓取javascript渲染的页面的简单实用高效的python网页爬虫抓取模块。此软件也是由国人开放。

• 授权协议： MIT
  
• 开发语言： Python
  
• 操作系统： 跨平台 Windows Linux OS X
  
• 特点：简洁、轻量、高效的网页抓取框架
  

github下载：https://github.com/princehaku/pyrailgun#readme
10、Scrapy
Scrapy 是一套基于基于Twisted的异步处理框架，纯python实现的爬虫框架，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便～

• 授权协议： BSD
  
• 开发语言： Python
  
• 操作系统： 跨平台
  
• 特点：基于Twisted的异步处理框架，文档齐全
  

github源代码：https://github.com/scrapy/scrapy
11、Spiderman
Spiderman 是一个基于微内核+插件式架构的网络蜘蛛，它的目标是通过简单的方法就能将复杂的目标网页信息抓取并解析为自己所需要的业务数据。

• 确定好你的目标网站以及目标网页
  
• 打开目标页面，分析页面的HTML结构，得到你想要数据的XPath
  
• 在一个xml配置文件里填写好参数，运行Spiderman
  

• 授权协议： Apache
  
• 开发语言： Java
  
• 操作系统： 跨平台
  
• 特点：灵活、扩展性强，微内核+插件式架构，通过简单的配置就可以完成数据抓取，无需编写一句代码
  

12、WebSPHINX
WebSPHINX是一个Java类包和Web爬虫的交互式开发环境。Web爬虫(也叫作机器人或蜘蛛)是可以自动浏览与处理Web页面的程序。WebSPHINX由两部分组成：爬虫工作平台和WebSPHINX类包。

• 授权协议：Apache
  
• 开发语言：Java
  
• 特点：由爬虫工作平台和WebSPHINX类包两部分组成
  

C++爬虫



13、Methabot
Methabot 是一个经过速度优化的高可配置的 WEB、FTP、本地文件系统的爬虫软件。

• 授权协议： 未知
  
• 开发语言： C/C++
  
• 操作系统： Windows Linux
  
• 特点：过速度优化、可抓取WEB、FTP及本地文件系统
  

源代码：http://www.oschina.net/code/tag/methabot
14、larbin
larbin是一种开源的网络爬虫/网络蜘蛛，由法国的年轻人 Sébastien Ailleret独立开发。larbin目的是能够跟踪页面的url进行扩展的抓取，最后为搜索引擎提供广泛的数据来源。Larbin只是一个爬虫，也就 是说larbin只抓取网页，至于如何parse的事情则由用户自己完成。另外，如何存储到数据库以及建立索引的事情 larbin也不提供。一个简单的larbin的爬虫可以每天获取５００万的网页。
利用larbin，我们可以轻易的获取/确定单个网站的所有链接，甚至可以镜像一个网站；也可以用它建立url 列表群，例如针对所有的网页进行 url retrive后，进行xml的联结的获取。或者是 mp3，或者定制larbin，可以作为搜索引擎的信息的来源。

• 授权协议： GPL
  
• 开发语言： C/C++
  
• 操作系统： Linux
  
• 特点：高性能的爬虫软件，只负责抓取不负责解析
  

C# 爬虫



15、spidernet
spidernet是一个以递归树为模型的多线程web爬虫程序, 支持text/html资源的获取. 可以设定爬行深度, 最大下载字节数限制, 支持gzip解码, 支持以gbk(gb2312)和utf8编码的资源; 存储于sqlite数据文件.
源码中TODO:标记描述了未完成功能, 希望提交你的代码.

• 授权协议： MIT
  
• 开发语言： C#
  
• 操作系统： Windows
  
• 特点：以递归树为模型的多线程web爬虫程序，支持以GBK (gb2312)和utf8编码的资源，使用sqlite存储数据
  

github源代码：https://github.com/nsnail/spidernet
16、Sinawler
国内第一个针对微博数据的爬虫程序！原名“新浪微博爬虫”。
登录后，可以指定用户为起点，以该用户的关注人、粉丝为线索，延人脉关系搜集用户基本信息、微博数据、评论数据。
该应用获取的数据可作为科研、与新浪微博相关的研发等的数据支持，但请勿用于商业用途。该应用基于.NET2.0框架，需SQL SERVER作为后台数据库，并提供了针对SQL Server的数据库脚本文件。
另外，由于新浪微博API的限制，爬取的数据可能不够完整（如获取粉丝数量的限制、获取微博数量的限制等）
5.x版本已经发布！ 该版本共有6个后台工作线程：爬取用户基本信息的机器人、爬取用户关系的机器人、爬取用户标签的机器人、爬取微博内容的机器人、爬取微博评论的机器人，以及调节请求频率的机器人。更高的性能！最大限度挖掘爬虫潜力！ 以现在测试的结果看，已经能够满足自用。
程序特点：

• 6个后台工作线程，最大限度挖掘爬虫性能潜力！
  
• 界面上提供参数设置，灵活方便
  
• 抛弃app.config配置文件，自己实现配置信息的加密存储，保护数据库帐号信息
  
• 自动调整请求频率，防止超限，也避免过慢，降低效率
  
• 任意对爬虫控制，可随时暂停、继续、停止爬虫
  
• 良好的用户体验
  

• 授权协议： GPLv3
  
• 开发语言： C# .NET
  
• 操作系统： Windows
  

17、Web Crawler
mart and Simple Web Crawler是一个Web爬虫框架。集成Lucene支持。该爬虫可以从单个链接或一个链接数组开始，提供两种遍历模式：最大迭代和最大深度。可以设置 过滤器限制爬回来的链接，默认提供三个过滤器ServerFilter、BeginningPathFilter和 RegularExpressionFilter，这三个过滤器可用AND、OR和NOT联合。在解析过程或页面加载前后都可以加监听器。介绍内容来自Open-Open

• 开发语言： Java
  
• 操作系统： 跨平台
  
• 授权协议： LGPL
  
• 特点：多线程，支持抓取PDF/DOC/EXCEL等文档来源
  

18、网络矿工
Soukey采摘网站数据采集软件是一款基于.Net平台的开源软件，也是网站数据采集软件类型中唯一一款开源软件。尽管Soukey采摘开源，但并不会影响软件功能的提供，甚至要比一些商用软件的功能还要丰富。

• 授权协议： BSD
  
• 开发语言： C# .NET
  
• 操作系统： Windows
  
• 特点：功能丰富，毫不逊色于商业软件
  

以上就是今天的分享，推荐阅读我曾经写过的一篇
GitHub 上有哪些优秀的 Java 爬虫项目？九章算法，国内&硅谷一线工程师在线直播授课，已经帮助30000+人成功拿到心仪offer。
tips: 点赞、喜欢、转发三连是我更新的动力~ ↙️↙️♥️

原始数据哪里找？200个国内外经济/金融/行研/咨询数据网站大全（附链接）
资料搜集是个相当繁琐与累的工作，也是数据分析入门的基本，良好的信息资料搜集能力有利于我们快速了解数据的基本情况，为后续的调研及一手资料的获得打下较好的基础。

一、搜索引擎（重点掌握）
搜索引擎是我们信息资料搜集的最重要的渠道之一，用搜索引擎查找信息资料需要使用恰当的关键词和一些搜索技巧。目前国内主要的搜集引擎有如下10个，近期还有较多行业型搜索冒出来，需找专业型行业资料可以使用行业型搜索引擎。
由于每个搜索引擎都有一定的局限性，可以把要搜索的关键词在多个搜索引擎试一下，可能会搜出你意想不到的结果。
大家对国内的引擎基本都很熟悉，尤其是百度和google，需要搜索同一主题的资料，不同的人所搜出来的结果可能就天差地别了，主要原因在于如下两点：

1.搜索关键字的选择
举例说明，假如我们要搜索大数据行业发展相关资料，如果我们就在百度上搜索“大数据”，结果非常多，无法进行筛选，可以对关键词进一步界定，如“大数据行业”、“大数据市场规模”、“中国大数据产业”、“大数据技术”、“大数据企业”等等，需要不停地变换搜索关键词，直到查到满意的搜索结果，在查找的过程中可以根据查找结果内容再进行对关键词进行修正，修正有些名称专业表达方式，因为最开始搜索我们表达的不一定准确。

2.搜索技巧
主要是针对百度、google等搜索引擎一些高级搜索技巧。常用技巧主要有如下几个方面：
（1）文件类型搜索：使用filetype，如在百度或google中键入“filetype:pdf 大数据”搜索出有关大数据内容pdf内容，而且这些文档基本都是可直接下载。还可以变换为其他的如“filetype:doc”、“filetype:ppt”
、“filetype:xls”等等，注意其中的冒号为英文的冒号，一定要变换为英文冒号。
（2）定位于哪个网站上搜索：使用site，如在百度或google中键入“大数据空格site:sina.com”,则在http://sina.com搜索有关大数据的一些资料信息，这个特别适用针对某些信息可能在哪些网站上出现的一个快速搜索方法，注意冒号也是英文的，网站名称也不用加www。
（3）精确匹配搜索：使用“”，如在百度中键入“大数据行业”，表示搜索“大数据行业”五个必须联在一起的，如果不加“”，搜到的为大数据及行业两个词并列显示结果，没有这么精确匹配。
（4）限制性的网页搜索：使用intitle,如在百度键入“intitie:大数据”，限定于搜索标题中含有“大数据”网页，如果输入“intitie:大数据市场规模”限定于搜索标题中含有“大数据”和“市场规模”的网页。

附：搜索引擎推荐
1）http://scholar.google.com/
虽然还是Beta版，但个人已觉得现在已经是很好很强大了，Google学术搜索滤掉了普通搜索结果中大量的垃圾信息，排列出文章的不同版本以及被其它文章的引用次数。略显不足的是，它搜索出来的结果没有按照权威度（譬如影响因子、引用次数）依次排列，在中国搜索出来的，前几页可能大部分为中文的一些期刊的文章。
2）http://www.scirus.com
Scirus 是目前互联网上最全面、综合性最强的科技文献搜索引擎之一，由Elsevier科学出版社开发，用于搜索期刊和专利，效果很不错！Scirus覆盖的学科 范围包括：农业与生物学，天文学，生物科学，化学与化工，计算机科学，地球与行星科学，经济、金融与管理科学，工程、能源与技术，环境科学，语言学，法 学，生命科学，材料科学，数学，医学，神经系统科学，药理学，物理学，心理学，社会与行为科学，社会学等。
3）http://www.base-search.net/
BASE是德国比勒费尔德(Bielefeld)大学图书馆开发的一个多学科的学术搜索引擎，提供对全球异构学术资源的集成检索服务。它整合了德国比勒费尔德大学图书馆的图书馆目录和大约160个开放资源（超过200 万个文档）的数据。
4）http://www.vascoda.de/
Vascoda是一个交叉学科门户网站的原型，它注重特定主题的聚合，集成了图书馆的收藏、文献数据库和附加的学术内容。
5）http://www.goole.com/
与google比较了一下发现，能搜索到一些google搜索不到的好东东 。它界面简洁，功能强大，速度快，YAHOO、网易都采用了它的搜索技术。各位可以一试。
6）http://www.a9.com
Google在同一水平的搜索引擎。是http://Amazon.com推出的，Webresult部分是基于Google的，所以保证和Google在同一水平，另外增加了Amazon的在书本内搜索的功能和个性化功能：主要是可以记录你的搜索历史。现在还是Beta，不过试用后感觉很好，向大家推荐一试 ，不过缺憾是现在书本内搜索没有中文内容。
7）http://www.ixquick.com
严格意义上讲不是搜索引擎，是连接搜索引擎和网络用户的信息立交桥。新一代的搜索引擎应运而生，Ixquick meta－search正是目前最具光芒的新星。但是对于大多数国内用户来说，Ixquick还很陌生。Ixquick众多独特的功能我不一一介绍了，只介绍我们最关心的，搜索数据库密码。
使用方法：先进入Ixquick，以“Proquest”数据库为例。填入Proquest Username Password History Online后点击search，看看出来的结果，第一页中第6个，proquest的username和password赫然在目，别急，再看第4个结 果“HB Thompson Subscription Online Databases”，即http://homework.syosset.k12.ny.us/onlinedbs/HBTDatabases/，进入 后发现这是一个密码页，选择Magazines& Journals栏，就有 EBSCO、Electric Library Elementary、Electric LibraryElementary、ProQuest Platinum (in school)、ProQuest Platinum(remote)等众多数据库的密码，都有uesrname和password，随便试一下EBSCO，OK，成功登陆。
8）http://vivisimo.com/
cmu的作品，对搜索的内容进行分类，这样可以有效地做出选择，比较有特色。可实现分类检索，检索速度也很好，如EBSCO 密码几分钟就可找一大堆 .
http://search.epnet.com/，User ID:mountain，Password: ridge，这个密码可以试试。
9）http://www.findarticles.com/
一个检索免费paper的好工具。进入网页以后，可以看到他有三个功能，driectory web article，其中article对我们很有帮助，你可以尝试输入你要找的文章，会有很多发现的！
10）http://www.chmoogle.com
现点击后或跳转到http://www.emolecules.com，在此搜索引擎里可以搜索到超过千万种化学品信息或相应的供应商，与Chemblink有点相似，但提供的化学品理化信息没有Chemblink详细，与其不同的是该搜索引擎可提供化学品结构式搜索（主页上有在线绘制化学结构式的搜索框）。
11）http://www.ojose.com/
OJOSE (Online JournalSearch Engine，在线期刊搜索引擎)是一个强大的免费科学搜索引擎，通过OJOSE，你能查找、下载或购买到近60个数据库的资源。但是感觉操作比较复杂。
12）http://citeseer.ist.psu.edu/
一个关于计算机和信息科学的搜索引擎。
13）http://hpsearch.uni-trier.de/
专家个人主页搜索引擎。
14）http://www.aol.com
里面的搜索引擎功能由google提供，搜索结果与google一样，如果google无法登陆，可以用这个网站代替。

二、数据库
数据库是研究人员重要的数据来源之一，目前券商、基金研究研究机构都购买有商业数据库，目前研究用的数据库主要分为两大类，一是商业数据库，二是学术数据库。
1.商业数据库
商业数据库大多为金融投资所用，主要分为国内与国外数据库两大类。
（1）国内商业数据库
国内数据库主要有如万德、恒生聚源、锐思数据库、CSMAR数据库、巨潮数据库等。目前万德数据库主要定位于国内高端客户，市场占有率较高，80%左右，当然其售价较高。恒生聚源也定位为机构客户，性价比较高，售价要比万德便宜的多。CSMAR数据库定位于学术与高校，其中金融数据比较全，强大。锐思数据库定位于学术，质量一般。巨潮数据库为深交所旗下数据库，有一定的特殊优势。
（2）国外商业数据库
国外数据库主要有彭博、路透社、CEIC、OECD、Haver Database、Thomson Financial One Banker等，国外数据库中彭博是比较全也大的，在国内销售也较好，但是售价奇贵。一般不做国际市场研究，大多用不到国外数据库，毕竟国外数据库公司对国内的行业数据及公司数据不如本土数据库公司的做得好。

2.学术数据库
学术数据库基本为高校、研究机构所用，也分为国内与国外两大类，学术数据库中一些学术论文、行业数据、统计年鉴还是有用的，缺点就是其中有些数据的相对较旧，无法做到实时更新。
（1）国内学术数据库
中国知网：国内最大学术数据库，包括期刊、学位论文、统计年鉴等。
万方数据：仅次于中国知网，包括期刊、学位论文等。
人大复印资料：期刊、论文等。
维普：期刊、论文等。
中经网：有较多行业研究报告，宏观数据较全。
国研网：数据较为权威，有些报告可以一看。
上海公共研发平台：可以注册，人工审核，内包含较多数据库。
（2）国外学术数据库
EBSCO：较全的一个数据库，内包含较多的商业数据，好用
Elsevier：学术文章全，更新速度快。
以上大致介绍了国内的商业及学术数据库，但这些数据库都是通过收费或学校账号才能使用，对于平时临时研究用的一些人，没有必要去购买，下面介绍一些免费可用的数据库。
数据汇
http://www.shujuhui.com/database/；
国内的宏观数据，国外的也有一部分，可以导出来，免费好用。
数据圈：
http://www.shujuquan.com.cn/；
免费共享平台，行业研究报告，统计年鉴等；
FRED：
http://research.stlouisfed.org/fred2/；
OECD：
http://www.oecd-ilibrary.org/economics；
联合国图书馆。
台湾学术数据库：
http://fedetd.mis.nsysu.edu.tw/；
部分文章提供免费全文下载。
台湾大学电子书：
http://ebooks.lib.ntu.edu.tw/Home/ListBooks
三、共享文库
首先也非常感谢共享文库的出现，使得大家搜集信息方便了许多，随最早的豆丁、百度、爱问等共享文库的出现，随后到如今出现许多共享文库，不过很多文库规模较小，文档数量较少。
（1）国内主要文库
百度文库：http://wenku.baidu.com/；
国内文档数据量最大的共享文库，综合型的，好用。。
豆丁文库：http://www.docin.com/；
其收费的盈利模式导致用户数量逐年减少，文档质量也不如百度文库。
爱问共享：
http://ishare.iask.sina.com.cn/；
综合型文库，里面也时常发现好的行业研究报告，电子书籍等。
道客巴巴：http://www.doc88.com/；
综合型文库，后起之秀，文档数量和质量较好。
智库文档：http://doc.mbalib.com/；
以管理、行业文档为主。
质量较好文库大全：http://www.wenkudaquan.com/；
无需注册，通过点击广告模式盈利，文档内容多。
IT168文库：http://wenku.it168.com/；
专业型文库，以计算机及IT技术相关的文档为主。
CSDN文库：http://www.csdn.net/；
全球最大的中文IT社区。
呱仕网：http://www.guasee.com/；
以创业投资、证券市场等文档为主的专业型文库，刚起步状态。
新浪地产：http://dichan.sina.com.cn/；
国内最大房地产类文库，房地产相关策划、数据较全。

（2）国外文库
Scribd：http://www.scribd.com；
全球最大的文档分享平台。
Docstoc：http://www.docstoc.com；
在线文档与图片分享平台。
针对以上国内的共享文库，都可以通过注册账号，上传分享资料赚取积分，通过积分可以下载文库资料。如果有些文档看过后不错想保存下来积分不够，可以通过文库下载器来免费下载保存，文库下载器有如“冰点文库下载、易读下载、老张文库下载”等等，如果只看重其中一部分内容，可以通过QQ拷屏方式保留下来（登陆QQ，ctrl+alt+a拷屏）。
四、专业网站
在共享文库未出现以前，专业论坛一直担任着查找资料的好去处，的确国内的一些论坛经过这么多年的运营，已经积累大量有用文档。下面主要介绍我们常用的专业论坛。
1.人大经济论坛：http://bbs.pinggu.org/
经济、学术型论坛，其中行业研究、统计年鉴数量多，更新速度快，我的最爱，常用。（如哪位仁兄想下载其中其他地方找不到的文档，积分不够，请用微信私信给我，我来帮你解决）。
2.经济学家：http://bbs.jjxj.org/
经济学专业论坛，其中统计年鉴、行业报告、国内外数据等有特色。
3.随意网-经济论坛：
http://economic.5d6d.net/
新建网站，有些内容尚可。
4.理想在线：http://www.55188.com
股票券商研究报告。
5.迈博汇金：http://www.hibor.com.cn/
股票券商研究报告，目前已经收费了，只能查询有哪些最新报告了，无法下载。
6.博瑞金融：
http://www.brjr.com.cn/forum.php
金融行业专业型论坛。
7.华尔街社区：
http://forum.cnwallstreet.com/index.php
国内专业的金融论坛。
8.投行先锋论坛：http://www.thxflt.com/
专业型为投行人士探讨而设立的论坛。
9.春晖投行在线：
http://www.shenchunhui.com/
证券相关政策的汇编整合论坛。
10.中华股权投资论坛：
http://www.tzluntan.com/
pe投资专业型论坛。
其他专业网站：
投行网站
http://macabacus.com/。
http://www.wallstreetoasis.com/。
http://www.ibankingfaq.com/。
IPOhttp://stocks.etnet.com.cn/www/sc/stocks/ci_ipo.php。
IPOhttp://www.aastocks.com/sc/ipo/sponsor.aspx。
julinghttp://terminal.chinaef.com/index.action。
MA http://www.mergermarket.com/info/。
各大咨询公司报告
http://www.deloitte.com/view/zh_CN/cn/services/。
http://www.deloitte.com/view/en_GX/global/insights/index.htm。
http://www.kpmg.com/CN/en/IssuesAndInsights/Pages/default.aspx。
http://www.mckinsey.com/locations/chinasimplified/。
http://www-31.ibm.com/cn/services/bcs/。
http://www.bcg.com.cn/cn/newsandpublications/newsandpublictions_publications.html。
http://www.ebusinessreview.cn/。
http://www.ey.com/CN/ZH/home/library。
http://www.bain.cn/news.php。
https://china.mckinseyquarterly.com/home.aspx。
http://www.pwccn.com/home/eng/libraryindex.html。
http://www2.hewittassociates.com/Intl/AP/zh-CHT/Default.aspx。
http://www.booz.com/global/home/what_we_think/cds_home/m_and_a/cds_our-leading-research-on-ma。

五、政府部门
政府部门是国内公开数据的来源，查询权威的数据可以到政府相关部门网站，以下介绍国内的主要发布相关数据的政府部门。
1.国家统计局：http://www.stats.gov.cn/
这个不用多说，大家很多人浏览过。
2.工业和信息化部：
http://www.miit.gov.cn
较多数据在此发布，尤其是有关工业运行及信息化相关数据。
3.中国人民银行：http://www.pbc.gov.cn/
中国金融市场政策及运行相关数据。
4.银监会：http://www.cbrc.gov.cn
银行金融相关数据。
5.中国海关：http://www.customs.gov.cn
中国进出口相关数据。
6.国家知识产权局：
http://www.sipo.gov.cn
专利相关查询
7.中国证监会：http://www.csrc.gov.cn
相关政策及招股书披露平台，以及拟上市公司排队每周披露。
8.巨潮信息网：
http://www.cninfo.com.cn/
中国资本市场指定披露平台，上市公司相关年报、季报及公告披露信息。

六、专业网站
1.上海证券交易所：
http://www.sse.com.cn/
其中研究出版栏目中有些研究报告
2.深圳证券交易所：http://www.szse.cn/
其中研究/刊物中有研究报告
3.全国中小企业股份转让系统（新三板）：http://www.neeq.com.cn/
新三板挂牌公司的转让及信息披露。
4.香港证券交易所：
http://www.hkexnews.hk/index_c.htm；
5.台湾证券交易所：
http://www.tse.com.tw/ch/index.php。
6.新加坡证券交易所：
http://www.sgx.com/
7.纽约证券交易所：http://www.nyse.com
8.纳斯达克证券交易所：
http://www.nasdaq.com

七、如何寻找国外资源
1.搜集美国相关数据
由位于华盛顿的美国政府印刷办公室出版、经济顾问委员会撰写的《总统经济报告》（Economic Report of President），提供了有关美国当前经济形势的描述和主要宏观经济变量数据。相当多的数据都可以追溯到1959年，甚至个别的可追溯到1929年。可能你已经留意到了，好多有关美国的图形，都是采用《总统经济报告》（2005）所附数据生成的。这些数据可以免费下载，网址是http://www.access.gpo.gov/eop/。
如果需要一应俱全的数据，一个宝贵的权威来源是，美国商务部统计局出版的《美国统计概要》（Statistical Abstract of the United States），相当一部分数据可以免费下载，网址是http://www.census.gov/statab/www/。
如果想获得最近数据的详细资料，一个不错的选择是，美国商务经济分析局每月出版的《当代商业纵览》（Survey of Current Business）。网址是，http://www.bea.doc.gov。

2.如何搜集国外其他经济体数据
对富裕国家来说，最有用的资料来源于经济合作与发展组织（Organization of Economic Cooperation and Development，简称OECD）。经济合作与发展组织的成员包括：奥地利、澳大利亚、比利时、加拿大、捷克共和国、丹麦、芬兰、法国、德国、希腊、匈牙利、冰岛、意大利、日本、卢森堡、墨西哥、荷兰、新西兰、挪威、波兰、葡萄牙、韩国、西班牙、瑞典、瑞士、土耳其、英国和美国。看来，世界上的富裕国家大都属于该组织，其产出占世界产出的70%左右。OECD的网址是http://www.oecd.org，提供三种极为有用的数据。
《OECD经济展望》（OECD Economic Outlook），每年出版两次，提供许多跨国宏观经济数据。这些数据一般都上溯到20世纪70年代，而且具有很好的一致性。
《OECD就业展望》（OECD Employment Outlook），每年出版一次，专门提供劳动力市场的数据。《OECD历史统计》（OECD Historical Statistics），不定期出版，将当期数据和过去数据放在一起。
对于不是OECD成员的国家和地区，可以从其它国际组织那里获得相关数据，比如国际货币基金组织（International Monetary Fund，简称IMF），其网址是http://www.imf.org。IMF提供《国际金融统计年鉴》（InternationalFinancial Statistics Yearbook），它主要提供成员国的金融数据，但也包括一些总体数据，比如GDP、失业和通货膨胀等。
至于若干国家长期的统计数据，两个不可多得的数据来源是，Heston-Summers数据库和Madison数据库。Heston-Summers数据库提供168经济体在1950-2000年间的跨国可比数据，在宾夕法尼亚大学国际比较中心（Center for International Comparisons at the University ofPennsylvania）网站上可以下载，http://pwt.econ.upenn.edu/。Madison数据库提供了自1820年以来56个经济体的数据。
最后，如果还没有找到你要的数据，不妨登陆下面的两个网站，也许是根稻草。哈佛商学院的宏观经济学资源网站www.hbs.edu./units/bgie/internet/，提供了大量连接。由密西西比大学BillGoffe维护的一个网站http://rfe.wustl.edu，不仅列出了数据来源，而且还列出了有关经济的其他信息来源。
八、分行业网站
1.互联网及传媒
（1）资讯类
新浪科技 http://tech.sina.com.cn/。
腾讯科技 http://tech.qq.com/。
艾瑞网 http://www.iresearch.cn/。
艺恩网 http://www.entgroup.cn/。
虎嗅网 http://wwww.huxiu.com/。
36kr http://36kr.com/。
钛媒体 http://www.tmtpost.com/。
游戏大观 http://www.gamelook.com.cn/。
亿欧网 http://www.iyiou.com/。
媒介360
http://www.chinamedia360.com/main。
（2）数据类
中国票房 http://www.cbooo.cn/。
中国互联网络信息中心
http://www.cnnic.net.cn/。
艾瑞网：
http://www.iresearch.com.cn/report/viewlist.aspx。
易观智库 http://www.analysys.cn/。
游戏产业网：
http://www.cgigc.com.cn/list/79644663134.html。
百度指数 http://index.baidu.com/。
大数据导航
http://hao.199it.com/。
CSM（电视收视率） http://www.csm.com.cn/。
微排片 http://www.weipaipian.com。

2.医药行业
（1）样本医院数据
化药、生物药和中药注射剂 http://pdb.pharmadl.com/。
中成药、化药 http://www.menet.com.cn/。
国外样本医院数据彭博上有类似PDB的数据库。
（2）药品中标价格
百度虫，药智网，健康网 （付费），米内网（付费）。
（3）药品招标政策
各省药品招标平台。
（4）医疗器械数据
基本没有，米内网有付费数据库（没见过）、海关信息网。
（5）中药材数据
中药材天地网、万得的EDB、中药材东方网。
（6）药品审批
药智网、药监局、CDE网站。
（7）医药行业政策
国家药监局、发改委、中国政府网、卫计委等等。
（8）国内外行业协会和咨询机构
例IMS Health、XX医药协会。
（9）新闻网站/微信
赛柏蓝、米内网、生物谷、新康界、医谷、药友汇、丁香园、动脉网、贝壳社。

3.银行业
（1）新闻资讯
中证网 http://www.cs.com.cn/xwzx/hg/
一财网 http://www.yicai.com/economy/
财新网 http://finance.caixin.com/bank/
华尔街见闻 http://wallstreetcn.com/news?cid=19
新浪财经 http://finance.sina.com.cn/
证券时报网 http://www.stcn.com/
中国金融新闻网 http://www.financialnews.com.cn/yh/xw/
（2）公告、数据查找
中国货币网
http://www.chinamoney.com.cn/index.html
巨潮网 http://www.cninfo.com.cn/
统计局 http://www.stats.gov.cn/
中国人民银行 http://www.pbc.gov.cn/
银监会 http://www.cbrc.gov.cn/index.html
上海证券交易所 http://www.sse.com.cn/
深圳证券交易所 http://www.szse.cn/
最常用wind股票数据库

4.有色金属
（1）日报网站
宏观新闻：
央行快讯
http://t.news.fx168.com/bank/
行业新闻：
中国金属网
http://www.metalchina.com
上海有色网
http://www.smm.cn/index_2015.html
百川咨询 http://www.baiinfo.com
公司公告：巨潮 http://www.cninfo.com.cn
（2）其他常用站
高工锂电
http://www.gg-lb.com/default_index_new.php
真锂研究 http://www.realli.net
深交所互动易（查看投资者互动资料）
http://irm.cninfo.com.cn/szse/
中金网（有色金属）
http://www.metalsinfo.com/news/
银 https://www.silverinstitute.org/site/publications/
银 http://financial.thomsonreuters.
... /articles/gfms.html。
新三板资讯 http://www.sanban18.com
格隆汇港股
http://www.gelonghui.com/portal.php
九、其他
除以上介绍的几种资料搜集渠道外，我们也结合近年it科技的发展，在博客、微博、空间等去搜索。
1.行业协会网站：每个行业协会基本都会有网站，在该网站上能够查找一些对本行业的描述、相关数据等。
2.博客：国内有网易、新浪、搜狐、百度空间、和讯等博客网站，有些数据也可以从搜索博客中找到。
3.微博：新浪微博及腾讯微博，用数量极大，其中有些数据可以通过搜索查询到。
4.微信：微信用户已经超过4亿，每个人都是新闻的发布者，其中数据资源丰富，但目前还未提供全文搜索功能，只能通过关注相关公共账号或关注朋友圈获取。
5.QQ空间：有些企业或机构QQ空间会有些报告及数据发布。
6.全景网：财经资讯 http://www.p5w.net/。
喜欢记得点赞收藏哟！

*本文转载自公众号：社科方法网