• 回答数

    7

  • 浏览数

    113

我的歌声里AA
首页 > 化工工程师资格证 > 数据可视化工程师知乎

7个回答 默认排序
  • 默认排序
  • 按时间排序

大眼博奇

已采纳

学习数据分析师之前,你必须清楚自己想要达成什么目标。也就是说,你想通过这门技术来解决哪些问题或实现什么计划。有了这个目标,你才能清晰地开展自己的学习规划,并且明确它的知识体系。只有明确的目标导向,学习必备也是最有用的那部分,才能避免无效信息降低学习效率。

1、明确知识框架和学习路径

数据分析这件事,如果你要成为数据分析师,那么你可以去招聘网站看看,对应的职位的需求是什么,一般来说你就会对应该掌握的知识架构有初步的了解。你可以去看看数据分析师职位,企业对技能需求可总结如下:

SQL数据库的基本操作,会基本的数据管理;

会用Excel/SQL做基本的数据提取、分析和展示;

会用脚本语言进行数据分析,Python or R;

有获取外部数据的能力加分,如爬虫或熟悉公开数据集;

会基本的数据可视化技能,能撰写数据报告;

熟悉常用的数据挖掘算法:回归分析、决策树、分类、聚类方法;

高效的学习路径是什么?就是数据分析的流程。一般大致可以按“数据获取-数据存储与提取-数据预处理-数据建模与分析-数据可视化”这样的步骤来实现一个数据分析师的学成之旅。按这样的顺序循序渐进,你会知道每个部分需要完成的目标是什么,需要学习哪些知识点,哪些知识是暂时不必要的。然后每学习一个部分,你就能够有一些实际的成果输出,有正向的反馈和成就感,你才会愿意花更多的时间投入进去。以解决问题为目标,效率自然不会低。

按照上面的流程,我们分需要获取外部数据和不需要获取外部数据两类分析师,总结学习路径如下:

1.需要获取外部数据分析师:

python基础知识

python爬虫

SQL语言

python科学计算包:pandas、numpy、scipy、scikit-learn

统计学基础

回归分析方法

数据挖掘基本算法:分类、聚类

模型优化:特征提取

数据可视化:seaborn、matplotlib

2.不需要获取外部数据分析师:

SQL语言

python基础知识

python科学计算包:pandas、numpy、scipy、scikit-learn

统计学基础

回归分析方法

数据挖掘基本算法:分类、聚类

模型优化:特征提取

数据可视化:seaborn、matplotlib

接下来我们分别从每一个部分讲讲具体应该学什么、怎么学。

数据获取:公开数据、Python爬虫

如果接触的只是企业数据库里的数据,不需要要获取外部数据的,这个部分可以忽略。

外部数据的获取方式主要有以下两种。

第一种是获取外部的公开数据集,一些科研机构、企业、政府会开放一些数据,你需要到特定的网站去下载这些数据。这些数据集通常比较完善、质量相对较高。

另一种获取外部数据费的方式就是爬虫。

比如你可以通过爬虫获取招聘网站某一职位的招聘信息,爬取租房网站上某城市的租房信息,爬取豆瓣评分评分最高的电影列表,获取知乎点赞排行、网易云音乐评论排行列表。基于互联网爬取的数据,你可以对某个行业、某种人群进行分析。

在爬虫之前你需要先了解一些 Python 的基础知识:元素(列表、字典、元组等)、变量、循环、函数(链接的菜鸟教程非常好)……以及如何用成熟的 Python 库(urllib、BeautifulSoup、requests、scrapy)实现网页爬虫。如果是初学,建议从 urllib 和 BeautifulSoup 开始。(PS:后续的数据分析也需要 Python 的知识,以后遇到的问题也可以在这个教程查看)

网上的爬虫教程不要太多,爬虫上手推荐豆瓣的网页爬取,一方面是网页结构比较简单,二是豆瓣对爬虫相对比较友好。

掌握基础的爬虫之后,你还需要一些高级技巧,比如正则表达式、模拟用户登录、使用代理、设置爬取频率、使用cookie信息等等,来应对不同网站的反爬虫限制。

除此之外,常用的的电商网站、问答网站、点评网站、二手交易网站、婚恋网站、招聘网站的数据,都是很好的练手方式。这些网站可以获得很有分析意义的数据,最关键的是,有很多成熟的代码,可以参考。

数据存取:SQL语言

你可能有一个疑惑,为什么没有讲到Excel。在应对万以内的数据的时候,Excel对于一般的分析没有问题,一旦数据量大,就会力不从心,数据库就能够很好地解决这个问题。而且大多数的企业,都会以SQL的形式来存储数据,如果你是一个分析师,也需要懂得SQL的操作,能够查询、提取数据。

SQL作为最经典的数据库工具,为海量数据的存储与管理提供可能,并且使数据的提取的效率大大提升。你需要掌握以下技能:

提取特定情况下的数据:企业数据库里的数据一定是大而繁复的,你需要提取你需要的那一部分。比如你可以根据你的需要提取2018年所有的销售数据、提取今年销量最大的50件商品的数据、提取上海、广东地区用户的消费数据……,SQL可以通过简单的命令帮你完成这些工作。

数据库的增、删、查、改:这些是数据库最基本的操作,但只要用简单的命令就能够实现,所以你只需要记住命令就好。

数据的分组聚合、如何建立多个表之间的联系:这个部分是SQL的进阶操作,多个表之间的关联,在你处理多维度、多个数据集的时候非常有用,这也让你可以去处理更复杂的数据。

数据预处理:Python(pandas)

很多时候我们拿到的数据是不干净的,数据的重复、缺失、异常值等等,这时候就需要进行数据的清洗,把这些影响分析的数据处理好,才能获得更加精确地分析结果。

比如空气质量的数据,其中有很多天的数据由于设备的原因是没有监测到的,有一些数据是记录重复的,还有一些数据是设备故障时监测无效的。比如用户行为数据,有很多无效的操作对分析没有意义,就需要进行删除。

那么我们需要用相应的方法去处理,比如残缺数据,我们是直接去掉这条数据,还是用临近的值去补全,这些都是需要考虑的问题。

对于数据预处理,学会 pandas 的用法,应对一般的数据清洗就完全没问题了。需要掌握的知识点如下:

选择:数据访问(标签、特定值、布尔索引等)

缺失值处理:对缺失数据行进行删除或填充

重复值处理:重复值的判断与删除

空格和异常值处理:清楚不必要的空格和极端、异常数据

相关操作:描述性统计、Apply、直方图等

合并:符合各种逻辑关系的合并操作

分组:数据划分、分别执行函数、数据重组

Reshaping:快速生成数据透视表

概率论及统计学知识

数据整体分布是怎样的?什么是总体和样本?中位数、众数、均值、方差等基本的统计量如何应用?如果有时间维度的话随着时间的变化是怎样的?如何在不同的场景中做假设检验?数据分析方法大多源于统计学的概念,所以统计学的知识也是必不可少的。需要掌握的知识点如下:

基本统计量:均值、中位数、众数、百分位数、极值等

其他描述性统计量:偏度、方差、标准差、显著性等

其他统计知识:总体和样本、参数和统计量、ErrorBar

概率分布与假设检验:各种分布、假设检验流程

其他概率论知识:条件概率、贝叶斯等

有了统计学的基本知识,你就可以用这些统计量做基本的分析了。通过可视化的方式来描述数据的指标,其实可以得出很多结论了,比如排名前100的是哪些,平均水平是怎样的,近几年的变化趋势如何……

你可以使用python的包 Seaborn(python包)在做这些可视化的分析,你会轻松地画出各种可视化图形,并得出具有指导意义的结果。了解假设检验之后,可以对样本指标与假设的总体指标之间是否存在差别作出判断,已验证结果是否在可接受的范围。

python数据分析

如果你有一些了解的话,就知道目前市面上其实有很多 Python 数据分析的书籍,但每一本都很厚,学习阻力非常大。但其实真正最有用的那部分信息,只是这些书里很少的一部分。比如用 Python 实现不同案例的假设检验,其实你就可以对数据进行很好的验证。

比如掌握回归分析的方法,通过线性回归和逻辑回归,其实你就可以对大多数的数据进行回归分析,并得出相对精确地结论。比如DataCastle的训练竞赛“房价预测”和“职位预测”,都可以通过回归分析实现。这部分需要掌握的知识点如下:

回归分析:线性回归、逻辑回归

基本的分类算法:决策树、随机森林……

基本的聚类算法:k-means……

特征工程基础:如何用特征选择优化模型

调参方法:如何调节参数优化模型

Python 数据分析包:scipy、numpy、scikit-learn等

在数据分析的这个阶段,重点了解回归分析的方法,大多数的问题可以得以解决,利用描述性的统计分析和回归分析,你完全可以得到一个不错的分析结论。

当然,随着你实践量的增多,可能会遇到一些复杂的问题,你就可能需要去了解一些更高级的算法:分类、聚类,然后你会知道面对不同类型的问题的时候更适合用哪种算法模型,对于模型的优化,你需要去学习如何通过特征提取、参数调节来提升预测的精度。这就有点数据挖掘和机器学习的味道了,其实一个好的数据分析师,应该算是一个初级的数据挖掘工程师了。

系统实战

这个时候,你就已经具备了数据分析的基本能力了。但是还要根据不同的案例、不同的业务场景进行实战。能够独立完成分析任务,那么你就已经打败市面上大部分的数据分析师了。

如何进行实战呢?

上面提到的公开数据集,可以找一些自己感兴趣的方向的数据,尝试从不同的角度来分析,看看能够得到哪些有价值的结论。

另一个角度是,你可以从生活、工作中去发现一些可用于分析的问题,比如上面说到的电商、招聘、社交等平台等方向都有着很多可以挖掘的问题。

开始的时候,你可能考虑的问题不是很周全,但随着你经验的积累,慢慢就会找到分析的方向,有哪些一般分析的维度,比如top榜单、平均水平、区域分布、年龄分布、相关性分析、未来趋势预测等等。随着经验的增加,你会有一些自己对于数据的感觉,这就是我们通常说的数据思维了。

你也可以看看行业的分析报告,看看优秀的分析师看待问题的角度和分析问题的维度,其实这并不是一件困难的事情。

在掌握了初级的分析方法之后,也可以尝试做一些数据分析的竞赛,比如 DataCastle 为数据分析师专门定制的三个竞赛,提交答案即可获取评分和排名:

员工离职预测训练赛

美国King County房价预测训练赛

北京浓度分析训练赛

种一棵树最好的时间是十年前,其次是现在。现在就去,找一个数据集开始吧!!

数据可视化工程师知乎

147 评论(12)

萌萌尛宝贝

目前很多想从事数据分析的,可能只会Excel,会做透视表,会VBA;进阶一点会写SQL,还懂点业务;再专业一些,有统计学基础,懂回归、时间序列、假设检验等等。这些对于专业的数据分析师,还都差了点火候。如果你有心想发展成为一个数据分析师,或者说某业务的资深数据分析专家,从技术层面来讲,你需要了解成为一个数据分析师的路径,6个步骤:第一步:统计、数据、机器学习关于数学知识,大学课堂会学过一部分,如果是数学科学类的专业会学得更精深。关于统计学知识,还是需要一定思维的锻炼的。机器学习,可以看下西线学院的课程,有公开课。第二步:编代码如果希望拥有专业水准的话,从编程基础到端到端的开发,一些技术的语言,比如R、Python、和一些商业软件的SAS、SPSS等,以及深入的交互式学习,这些你至少精通几门,其他懂一些最好。第三步:懂数据库数据分析大多应用实际。企业数据常常被保存在MySQL、Oracle、Postgres、MonogoDB、Cassandra等数据库中,所以这些数据库你要了解甚至懂。第四步:数据管理、数据可视化、数据报告数据管理包括数据的清洗格加工ETL,目的是让分析前的数据更加准确和清晰,比如DataWrangler数据可视化数据数据分析的前端展示,目的是让数据呈现更清楚明了,更形象,比如tableau,spotfire数据报告是通过不同工具将数据展示出来,可以和数据可视化归类一起,但实际应用中大多数都是通过PPT的承载方式来呈现。目前市面上很多公司都使用商业智能的工具,比如FineBI。BI工具是数据连接,数据处理和可视化为一体的工具,比起上方的纯工具,能更好的适应业务。第五步:大数据大数据是未来的必然趋势,而大数据技术的类型也是多种多样,hadoop,mapreduce,spark等等,多学会一种,层次也就不一样。第六步:积攒经验,学习同行以上都是理论和工具,但是实践才是出真知,不管是刚接触数据分析的职场人,还是专业学习数据挖掘分析的你,都希望在学习以上内容的同时,多参加一些比赛,学习同领域的专业大神,训练自己在这方面的感觉。当然,在实际应用过程中,大多数人不一数据分析为主业,数据分析只是分析业务的一个工具,那第四步的内容已经能够满足日常对业务的分析了,当然Excel和PPT的熟练掌握也是必须的。

202 评论(13)

小库2011

现在是信息时代,互联网的发展速度可谓是更火箭一般的蹭蹭蹭。HTML5前端工程师已经成为互联网时代软件产品研发中不可缺少的一种专业的研发角色。据统计,国外的前端开发人员和后端开发人员比例约为1:1,但是国内比例却在1:3以下,Web前端开发职位的人才缺口巨大,且薪资待遇很高,优秀的前端开发人员月薪过万完全没有问题。所以导致了很多人选择从事前端开发岗位。那么如此受欢迎的前端岗位,发展前景如何呢?1、 市场前景前端程序员缺口非常大,因为它正式成为一个岗位才几年,国内最早出现前端招聘岗位在2012年左右。随着现代互联网应用的火爆,前端难度加大,导致后台程序员不能完全搞定,所以企业们急切需要真正懂前端技术的“前端人员”。近十年以来,IT行业发展火热,衍生了很多新职业,例如UI设计师、开发工程师、软件测试工程师等等,在众多备受瞩目的新生职业中,Web前端工程师是其中的一员。随着互联网的迅猛发展,各种互联网项目也不断兴起,对用户体验提出了更高的要求,前端开发也由此逐渐成为了重要的研发角色。从2012年至今,“Web前端工程师”的需求持续走高,薪酬也是水涨船高,所以,有不少人立志要成为前端开发工程师。2、 就业形势Web前端可选择的岗位有:前端开发工程师、资深前端开发工程师、网站重构工程师、前端架构师等等。虽然近两年大数据、人工智能等很火,但Web前端开发依然是十分热门的,特别是随着谷歌、YouTube、FireFox等大型企业纷纷将视线转向HTML5,前端开发已经进入HTML5时代,所以,Web前端在今后十年仍有很大的发展空间。据统计,我国HTML5前端工程师人员的缺口将达到10多万,因此,Web前端工程师是一个非常有“钱”途的职业,并且薪酬会根据技能的深入而有不同程度的增长,其中北京、上海、广州、深圳等地前端工程师的薪资待遇更是一路飙升。

111 评论(8)

d1329256550

端的发展前景是很明朗并且是非常具有潜力的,端开发是创建Web页面或app等前端界面呈现给用户的过程,通过HTML,CSS及JavaScript以及衍生出来的各种技术、框架、解决方案,来实现互联网产品的用户界面交互。主要发展前景从以下几个方面说明:

近几年各类互联网应用产品层出不群,Web前端开发工程师作为实现前端展示的重要一步也越来越受到了企业的青睐,招聘需求呈现递增趋势,从前程无忧招聘数据可以看出,Web前端相关岗位24小时之内需求量高达4W+。

从就业方向来看,Web前端工程师所能选择的就业岗位也是非常对样的,网页制作、H5开发、小程序开发、小游戏开发、APP开发等都是可以去选择的,所以Web前端就业前景还是非常可观的。

Web前端岗位空缺大,供不应求,那么薪资待遇同样呈现不断上涨趋势,从第三方统计平台职友集中可以看到北京web前端工程师平均工资:¥ 17280/月,按工作经验统计,其中应届生工资¥12920,,3-5年工资¥18030,5-10年工资¥23440。从以上数据不难看出,Web前端就业薪资普遍高于其他行业。

扩展资料:

前端开发人员需要具备能力,这里简单进行说明:

Web前端需要学习HTML5+CSS3、JS交互设计、Node开发、前端框架、小程序+数据可视化、就业指导+项目提升几大部分。

在第一阶段HTML5+CSS3中,要学习HTML5基础、CSS基础、小U商城(PC端)、HTML5进阶、CSS3进阶、Less、小U商城(移动端)、小U商城后台管理系统(响应式)、项目答辩。这一阶段的培养方向是Web前端开发工程师、网页制作工程师、网站布局与重构工程师

第二阶段JS交互设计,要学习JavaScript核心语法、DOM和BOM、JavaScript高级进阶、面向对象编程、优学在线、Touch、jQuery、Zepto、项目答辩。这个阶段的培养方向则为Web前端开发工程师、移动端开发工程师、JS交互设计师、网站开发工程师。

第三阶段Node开发,要学习JavaScript ES6、Node、Express、MySQL、Webpack+Gulp+模块化、WebSocket+Koa2、小U商城后台管理项目、项目答辩等。这一阶段的培养方向为Web前端开发工程师、移动端开发工程师、JS交互设计师、网站开发工程师、全栈开发工程师、Node开发工程师。

第四阶段前端框架,会学习Vue基础、Vue进阶、小U商城电商项目、TypeScript、React、优社区项目、项目答辩等课程。培养方向是Web前端开发工程师、移动端开发工程师、网站开发工程师、Vue开发工程师、React开发工程师。

第五阶段小程序+数据可视化,将要学习小程序基础、云开发、菜谱云平台、uni-app基础、小U商城、数据可视化、课堂监管大数据系统。培养方向为小程序开发工程师、数据可视化工程师

亲爱的小伙伴,前端技术大家庭欢迎你的到来:。在这里,不仅有志同道合的朋友,指导人生的老师,更有看不完的技术教程随你挑!心动吗?想学吗?那就动动你的小手手,加入我们吧!

170 评论(11)

猫咪抱抱

当然这些都已经有了很成熟的前端解决方案,但是如何融合到一起,我相信你如果做过就知道我在说啥了…对应的一套后端查询体系我们的架构是nodejs做的,dba和数据工程师负责对接我们mysql的视图,保证我们的查询简单化。对应不同的数据产生对应的pdf,excel,xml,json,表,图都已经做成了一套统一的api。方便复用需求。至于单页和非单页,我觉得从开发的角度考虑,单页不利于快速产生新的数据展示需求,除了前端和后端都需要额外开发外,速度和人力也是个问题。非单页是我们采用的,通过nodejs统

342 评论(14)

大熊简单明了

Web前端开发在IT届算是比较受欢迎的一个职业了,而且目前web前端工程师的薪资也是比较高的,除此之外,现在web前端开发的市场总体来讲是供不应求的局面,现在web前端工程师对于各大互联网企业而言是比较紧缺的。那么web前端开发未来的职业方向定位有哪些呢?今天就来详细分析一下?

(1) 资深web前端工程师

这个方向算是web前端开发基本的选择了。在国外,很多老外都能把自己的专业做到极致,能一辈子在一个专业领域不断的学习积累。主要是因为以下几点,一是老外通常思想比较简单直接,容易一直专注于一个领域;二是国外的环境很好,能够良好的支撑这样的职业发展道路。而纵观环境, WEB前端技术人员还是蛮浮躁的,通常会因为WEB前端知识的更新速度太快而觉得学习起来辛苦,终转向后台或其他道路这是原因之一; WEB前端人员没有获得公平的待遇,可能从HTML页面制作就开始并沿袭下来的,从来WEB前端人员都比后端人员低一等,貌似前端就是“浅显”的代名词、后端就是“深奥”的代名词,这也直接造就了前端人员的收入无法和后端人员媲美,同时直接影响到前端人才市场的活跃程度这是原因之二。另一方面,前端的技术入门较容易,造成另一个极端情况:人员泛滥、人才稀缺。我想对所有的WEB前端工程师说:面包总会有的,要耐得住寂寞!我个人比较推荐这个职业发展方向,因为,在这个方向下,只要有足够耐心、厚积薄发,成功的概率是非常高的。同时,这是一条单纯的路,我们更多的是花费精力在技术的钻研上,而不是办公室政治等其它琐事。

(2) 资深web架构师

在,WEB前端工程师遇到较多的情况是总是反复编写着同样的代码,总是面对着同样的技术和产品,容易感觉枯燥。由于我们拥有为广泛的WEB相关知识沉淀,使得我们更加容易成为一名架构师。这个职业发展方向不如第一种来得平滑,主要是作为一名架构师不得不学习:后端技术、DBA、Platform等内容,而这种学习通常需要实际操刀做项目,不是自己在家里写两个Demo就好的,这就势必会遭遇一段时间的阵痛期。虽然不是很平滑,但是,对于一个大局观好、悟性好、知识面广的前端工程师,我推荐你们努把力,走一条光荣的架构师之路吧。

(3) 自己创业

其实,自己创业是好的道路、也是成功率低的道路,挑战和机遇并存。这里,作为一个前端技术人员,需要将自己的视野更多放在行业的动态、产业链的动态、 相关产品领域的动态,把关注细节的优势继续保持,同时,增强自己把控一个产品乃至一个公司命运的能力。

(4) 转岗管理或其他

由于这条职业道路和WEB前端技术之路关系不大,故而,这里不做过多讨论,但是,无论是否走上这条道路,我觉得对于任何技术之路,更好的大局观、更广泛的 视野是良好发展的必备条件,拥有良好的大局观和更广泛的视野别无他法,只能不断的进行知识的横向拓展和积累,同时,多在横向拓展知识的时候进行实践,把知识变成技能。

经过以上的分析我想大家已经明白web前端开发未来的职业发展定位主要有资深web前端工程师、资深架构师、自己创业、转岗管理等几类,希望以上的这些分类对于大家以后的职业规划有所帮助。

197 评论(11)

乐乐媚娘

觉得前端发展方向,职业规划未来更好的发展前景应该算是电商专业,还有一些互联网专业,他们都是比较好。

330 评论(13)

相关问答

  • 可视化工程师知乎

    大数据工程师主要是,分析历史、预测未来、优化选择,这是大数据工程师在“玩数据”时最重要的三大任务:找出过去事件的特征:大数据工程师一个很重要的工作,就是通过分析

    曦若若往 评论(4) 2026-09-23
  • 数据库可视化工程师

    大数据工程师主要是,分析历史、预测未来、优化选择,这是大数据工程师在“玩数据”时最重要的三大任务:找出过去事件的特征:大数据工程师一个很重要的工作,就是通过分析

    秋天里的松鼠 评论(3) 2026-09-24
  • 数据可视化工程师jd

    数据可视化,是关于数据视觉表现形式的科学技术研究,做大数据开发要会。 其中,这种数据的视觉表现形式被定义为,一种以某种概要形式抽提出来的信息,包括相应信息单位的

    小胖电玩 评论(8) 2026-09-24
  • 数据可视化工程师证

    数据分析师有哪些含金量较高的证书一般认证机构是两种类型,一种是国家部门认证,一种是行业性质认证。一、国家部门认证目前国家部门关于数据分析的认证还没有一个权威的机

    南京葫芦娃 评论(8) 2026-09-24
  • 数据可视化工程师

    大数据技术专业可以从事的工作有这些: 视数据的机构已经越来越多,上到国防部,下到互联网创业公司、金融机构需要通过大数据项目来做创新驱动,需要数据分析或处理岗位也

    偶是九九 评论(4) 2026-09-23