使用Python爬取51job招聘网的数据

最新推荐文章于 2024-04-29 17:09:44 发布
KelvinChunggg 最新推荐文章于 2024-04-29 17:09:44 发布
阅读量4.2k 收藏 36
点赞数 5
分类专栏： 爬虫 python web 文章标签： python html xpath
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接： https://blog.csdn.net/KelvinChunggg/article/details/107844115
版权

使用Python爬取51job招聘网的数据

进行网站分析

进入 https://www.51job.com/这个网站
在这里插入图片描述
我在这就以python为例搜索职位跳转到这个页面
在这里插入图片描述

按F12进行查看每个职位的信息在哪个包中
在这里插入图片描述
我们点进这个包中搜索
在这里插入图片描述
发现这组数据在Script标签中，类似于json数据，同时发现其链接的URL的键值为job_href我们可以写一个正则表达式来获取这些url方便后续获取信息，同时我们也发现这些url其实是被简单修改过的，我们需要用re.sub处理一下

real_url=[]
url = re.findall('"job_href":"(.*?)"',page_text,re.S)#职位详情URL
for each in url: #把url里的'\\/'改为'/'，此时为真正的URL
    real_url.append(re.sub(r'\\/','/',each))

获取职位信息

我们已经找到了每一个职位对应的URL,于是我们遍历这个URL列表，爬取每一个职位对应的信息。

我们需要把公司名称，招聘职位，岗位信息，地址和公司简介爬取到
在这里插入图片描述

对页面里的HTML源码进行xpath解析，可以获取到上文的信息，要使用try…except…对异常数据进行处理

存储信息

我们可以使用pandas模块对爬到的数据进行存储，同时我们发现换页的时候只是其中一个参数发生过改变，我们也可以写一个循环来爬取多页

最终代码

import requests
import lxml.etree
import os
import time
import re
import pandas as
最低0.47元/天 解锁文章
爬取前程无忧51job（动态数据）
weixin_48676558的博客
05-02 1412
python爬虫
Python Requests_html爬取51jobs网python岗位信息.py
04-19
Python，通过Reauests_html库，爬取51jobs网站python岗位招聘信息，实例代码。
基于python的招聘网站分析源码及爬取数据.zip
01-09
通过使用招聘网站的体验，发现对现在IT市场主流人才和技术需求缺乏宏观的掌握。 通过运用python爬虫技术，爬取大型主流招聘网站关于大数据人才的需求，并通过后台分析，最终以玫瑰图，漏斗图，地图的形式展示当下市场主要需求。
搜索关键字爬取前程无忧职位信息，保存至csv文件，并进行数据清洗，可视化（数据清洗+可视化篇）
me_1984的博客
06-02 5938
搜索关键字爬取前程无忧职位信息，保存至csv文件，并进行数据清洗，可视化（数据清洗+可视化篇）一、 数据清洗+可视化篇1.代码部分（pandas+pyecharts）2.可视化结果 一、 数据清洗+可视化篇 1.代码部分（pandas+pyecharts） 以下代码包含数据清洗和可视化内容 （1）工资与学历关系： #!/usr/bin/env python # _*_ coding:utf-8 _*_ # # @Version : 1.0 # @Time : xxx # @Author : xxx
使用Python爬取招聘数据、数据处理与可视化
2401_83064295的博客
04-29 450
程序说明通过爬取“”获取招聘信息（以计算机软件为例），根据所获取数据分析领域相关工作职位需求，并通过可视化的方式展示分析行业就业情况（例如平均月薪、工作地点等）。数据爬取使用requests库请求网页内容，使用BeautifulSoup4解析网页。
爬取前程无忧python招聘数据，看我们是否真的“前程无忧”
Python案例分享，B站视频教程：https://space.bilibili.com/523606542
08-31 1442
前言 利用python爬取在前程无忧网搜索python关键字出现的最新的招聘数据，保存到本地Excel，进行数据查看和预处理，然后利用matplotlib进行数据分析和可视化。 1. 爬取数据 目标url： https://www.51job.com/ 在前程无忧网输入关键字python，搜索有关的岗位数据。翻页查看这些招聘岗位信息，可以发现url翻页的规律。 检查网页源代码，可以找到想要提取的数据。 部分爬虫代码如下，完整见文末下载 asyncdefparse(s...
爬虫——Python 爬取51job 职位信息
aqqwvfbukn的博客
03-06 4041
既然要爬取职位信息，那么首先要弄清楚目标页面的分布规律。 输入职位关键词和相应的地点等条件，然后搜索就可以看到岗位信息。 首先通过翻页来查看url的变化，以此来找到翻页时url的规律 把前面几页的url 复制下来放到文本文档里对比 不难发现除了页码外其他都没有改变 下面开始代码 # 导入相应的包 #-*-coding:utf-8-*- from bs4 import BeautifulSoup...
Python3 爬虫实战 — 前程无忧招聘信息爬取 + 数据可视化
热门推荐
BOB'S BLOG
07-13 1万+
爬取时间：2020-07-11 实现目标：根据用户输入的关键字爬取相关职位信息存入 MongoDB，读取数据进行可视化展示。 涉及知识：请求库 requests、Xpath 语法、数据库 MongoDB、数据处理 Numpy、Pandas、数据可视化 Matplotlib。 完整代码：https://github.com/TRHX/Python3-Spider-Practice/tree/master/51job 其他爬虫实战代码合集（持续更新）：https://github.com/TRHX/Pytho.
对爬取51job中用到的技巧的分析、记录
枪枪枪的博客
06-10 3189
好吧，又到了一学期的期末，又遇课程设计，不过还好，课程设计比较简单，爬取51job有关大数据的工作，并进行分析。在这里做一个记录。 主要思路是在网上找到的一篇博文，之前也做过类似的东西，本身没有什么难度，这里我就将细节细细的过一遍，巩固一下所学吧 参考的博文的链接 https://blog.csdn.net/lbship/article/details/79452459 这里搜索的关键词为：数...
python爬取51job网
Dream____Fly
08-16 1097
废话不说了，直接展示代码！！！ import urllib.request from bs4 import BeautifulSoup import re import time ''' 项目目标：51job爬取职业，地区，薪资，工资，公司， 首先根据url爬取整个网页 其次根据爬取的页面获取所要的数据 最后用字典一一保存，最后保存在文件夹中 ''' class python_job(): ...
某招聘网站数据爬取，51job就业数据爬取数据可视化分析
01-25
某招聘网站51job就业数据爬取数据据分析，pyecharts数据可视化 该资源是一份Python爬虫实战指南，内容涵盖数据采集、处理和分析的全过程。通过该资源，读者可以了解Python爬虫的基本原理、常用库和工具，学习如何...
Python爬虫小例子——爬取51job发布的工作职位
12-17
概述 不知从何时起，Python和爬虫就如初恋一般，情不知所起，一往而深，相信很多朋友学习Python，都是从爬虫开始，其实究其原因，不外两方面：其一Python对爬虫的支持度比较好，类库众多。其二Pyhton的语法简单，入门容易。所以两者形影相随，不离不弃，本文主要以一个简单的小例子，简述Python在爬虫方面的简单应用，仅供学习分享使用，如有不足之处，还请指正。 涉及知识点 本例主要爬取51job发布的工作职位，用到的知识点如下： 开发环境及工具：主要用到Python3.7 ，IDE为PyCharm requests类库：本类库封装了python的内置模块，主要用于网络的请求和获
爬取51job网站招聘信息
11-05
这是一个爬取51job招聘网站的代码，可以输入关键字爬取想要的各个职业的招聘信息，根据页码爬取制定页数的信息，可以选择存储到TXT，mongodb或者mysql中，代码简单易懂，可阅读性高
python实现51JOB网站职位统计抓取并用matplotlib展示
11-15
2016年的时候，朋友正在运营自己公司，想为了公司更具备前瞻性，帮着弄了一个从招聘网站上获取数据的python脚本，将每天取一次并存在数据库中，主要抓取几个大城市计算机软件相关专业的招聘数量。 这两天没事试了试python图表库，用到了从16年开始到现在抓到的这些数据，现在一起发出来分享。 包中包括数据库表结构，python实现的数据抓取代码，以及python利用matplotlib生成线型分析图。
基于python的51job工作岗位数据分析与可视化-交互式数据可视化期末作业项目.zip
06-30
51job招聘网 二、数据分析目标 全国各省的平均月薪情况、岗位分别情况 学历需求情况 工作经验与岗位数量相关情况 福利待遇情况 相关岗位描述 三、数据价值 1.有相关岗位需求的人可以通过可视化的形式清楚知道相关...
Python爬取各大招聘公司信息.zip
最新发布
06-01
python爬虫案例 爬取各大招聘公司，将招聘信息保存到本地。 招聘网站 - [BOSS直聘](https://www.zhipin.com/) - [前程无忧51Job](https://www.51job.com/) - [智联招聘](https://www.zhaopin.com/) - [拉钩网]
Python爬虫 抓取大数据岗位招聘信息（51job为例）
LeoWood的博客
11-16 1万+
简单介绍一下爬虫原理。并给出 51job网站完整的爬虫方案。 爬虫基础知识 数据来源 网络爬虫的数据一般都来自服务器的响应结果，通常有html和json数据等，这两种数据也是网络爬虫的主要数据来源。 其中html数据是网页的源代码，通过浏览器-查看源代码可以直接查看，例如： json是一种数据存储格式，往往包含了最原始的数据内容，一般不直接显示在网页中，这里可以通过Chrome浏览器&gt...
python爬虫-- 爬取51job网招聘信息
一条二哈
01-20 2316
项目概览 在浏览器上访问51job 官方网站，并在搜索框输入关键词“Python”，地点选在“西安”，单击”搜索“按钮进入搜索页 在搜索页中，所有符合条件的职位信息以列表的形式排序设有分页显示。每条职位信息是一个URL 地址，通过URL 地址可以进入该职位的详情页。 职位详情页也是数据爬取的页面，爬取的数据信息有：职位名称、企业名称、待遇、福利以及职位要求等等。 项目框架 项目的开发工具选择...
使用python爬取51job招聘信息
04-05
以下是一个简单的使用Python爬取51job招聘信息的示例程序： ```python import requests from bs4 import BeautifulSoup url = 'https://search.51job.com/list/000000,000000,0000,00,9,99,python,2,1.html' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'} response = requests.get(url, headers=headers) soup = BeautifulSoup(response.text, 'html.parser') job_list = soup.find_all('div', class_='el') for job in job_list: job_name = job.find('a', class_='t').text.strip() company_name = job.find('span', class_='t2').text.strip() location = job.find('span', class_='t3').text.strip() salary = job.find('span', class_='t4').text.strip() job_url = job.find('a', class_='t')['href'] print(job_name, company_name, location, salary, job_url) ``` 该程序使用requests库和BeautifulSoup库来获取和解析51job网站的招聘信息页面。它首先构建了目标页面的URL，并使用requests库发送HTTP请求，然后使用BeautifulSoup库解析响应的HTML内容。程序从解析后的HTML中查找招聘信息的列表，然后使用循环迭代每个招聘信息，并从每个信息中提取必要的信息，例如职位名称，公司名称，地点，薪资和招聘链接。最后，程序将提取的信息打印到控制台中。 需要注意的是，该示例程序只能爬取第一页的招聘信息。如果需要爬取更多的页面，需要修改URL中的页码参数。通过修改页码参数，可以实现爬取更多页面的招聘信息。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
写文章

热门文章

  • 使用Python爬取51job招聘网的数据 4217
  • Python爬虫自动化获取华图和粉笔网站的错题 3123

分类专栏

  • 爬虫 2篇
  • python 2篇
  • web 2篇

最新评论

  • 使用Python爬取51job招聘网的数据

    程序小白kevin: 我也是，请问你解决了吗

  • 使用Python爬取51job招聘网的数据

    Freya_17: 我也是这样，你找到原因了吗？

  • 使用Python爬取51job招聘网的数据

    huachuah: 为什么只有表头数据啊 爬不到数据

  • Python爬虫自动化获取华图和粉笔网站的错题

    � XY: 有没有出现答题数据缺失的情况，楼主

  • Python爬虫自动化获取华图和粉笔网站的错题

    qq_33414838: 表情包请问大佬这个可以把收藏的题一次性导出吗，我没有爬虫基础，最近想把我华图的收藏题导出到ipad做，可发现要图币表情包要好几百

大家在看

  • 无人机在农业方面应用的局限性
  • （二）链表——单向链表 623
  • Unity数据持久化3——Json
  • 单片机红外遥控开关程序及设计 400
  • Git之checkout/reset --hard/clean -f区别(四十二) 413

最新文章

  • Python爬虫自动化获取华图和粉笔网站的错题
2021年1篇
2020年1篇

目录

目录

评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值

哆哆女性网程姓少女起名字周易起名网vip专用2021年出生的牛宝宝起名it工作室起名顾姓氏宝宝起名店铺起名测算结果2018年狗年孩子起名字清朝经济适用男揭姓起名字商贸公司怎么起名www.33pipi.com好看的网游小说穹顶之下第一季网络起名网免费取名效果图接单韩姓起名韩姓宝宝起名工厂免费起名公路工程起名大全集退出机制用父母的的名字给孩子起名帝国之主半神下载给布娃娃起的名字大全凤凰金融起名哪家专业好人浮于事起个名字红酒类公司起名梓起人名含义青瓷电视剧全集淀粉肠小王子日销售额涨超10倍罗斯否认插足凯特王妃婚姻不负春光新的一天从800个哈欠开始有个姐真把千机伞做出来了国产伟哥去年销售近13亿充个话费竟沦为间接洗钱工具重庆警方辟谣“男子杀人焚尸”男子给前妻转账 现任妻子起诉要回春分繁花正当时呼北高速交通事故已致14人死亡杨洋拄拐现身医院月嫂回应掌掴婴儿是在赶虫子男孩疑遭霸凌 家长讨说法被踢出群因自嘲式简历走红的教授更新简介网友建议重庆地铁不准乘客携带菜筐清明节放假3天调休1天郑州一火锅店爆改成麻辣烫店19岁小伙救下5人后溺亡 多方发声两大学生合买彩票中奖一人不认账张家界的山上“长”满了韩国人？单亲妈妈陷入热恋 14岁儿子报警#春分立蛋大挑战#青海通报栏杆断裂小学生跌落住进ICU代拍被何赛飞拿着魔杖追着打315晚会后胖东来又人满为患了当地回应沈阳致3死车祸车主疑毒驾武汉大学樱花即将进入盛花期张立群任西安交通大学校长为江西彩礼“减负”的“试婚人”网友洛杉矶偶遇贾玲倪萍分享减重40斤方法男孩8年未见母亲被告知被遗忘小米汽车超级工厂正式揭幕周杰伦一审败诉网易特朗普谈“凯特王妃P图照”考生莫言也上北大硕士复试名单了妈妈回应孩子在校撞护栏坠楼恒大被罚41.75亿到底怎么缴男子持台球杆殴打2名女店员被抓校方回应护栏损坏小学生课间坠楼外国人感慨凌晨的中国很安全火箭最近9战8胜1负王树国3次鞠躬告别西交大师生房客欠租失踪 房东直发愁萧美琴窜访捷克 外交部回应山西省委原副书记商黎光被逮捕阿根廷将发行1万与2万面值的纸币英国王室又一合照被质疑P图男子被猫抓伤后确诊“猫抓病”

哆哆女性网 XML地图 TXT地图 虚拟主机 SEO 网站制作 网站优化