爬虫工程师是什么

并不是一个单独职业，可以算开发工程师

负责网络爬虫的岗位。Python爬虫是由Python程序开发的网络爬虫，是按照一定规则自动抓取万网网信息的程序或脚本。Python爬虫工程师岗位职责是数据采集清洗等研发工作;负责对爬虫平台架构进行改造和优化;定期抓取指定数据，为业务部门提供数据支持。负责爬虫各个系统核心代码搭建，性能方面的优化，解决相关难题;负责研究各种网站、网页、链接的形态，发现它们的特点和规律；设计各种策略和算法，提高数据抓取的效率和质量，解决数据的重复，垃圾数据识别。