Chat-GPT야 알려줘~ _ 크롤링 하는 파이썬 코드 만들어줘

나 :

내가 원하는 직무를 사이트에서 크롤링 해서 내 파일에 보관하는 파이썬 코드 만들어줄래

 

Chat GPT  :

당신이 원하는 직무 정보를 웹사이트에서 크롤링하여 파일에 저장하는 파이썬 스크립트를 만들어 드릴 수 있습니다. 몇 가지 질문이 있습니다:

1. 어떤 웹사이트에서 정보를 크롤링하길 원하시나요?
2. 원하는 직무의 특정 키워드나 조건이 있나요?
3. 정보를 저장하고 싶은 파일 형식은 무엇인가요? (예: CSV, Excel, JSON 등)
4. 크롤링하고 싶은 데이터의 구체적인 항목들이 있나요? (예: 직무명, 회사명, 위치, 급여 등)

이 정보를 제공해 주시면, 더 정확한 파이썬 스크립트를 작성할 수 있습니다.

 

나 : https://www.saramin.co.kr/zf_user/

 

Chat GPT  :

사람인 웹사이트에서 직무 정보를 크롤링하는 파이썬 스크립트를 만들기 위해서는 몇 가지 추가 정보가 필요합니다:

1. 원하는 직무의 특정 키워드나 조건: 예를 들어, '소프트웨어 엔지니어', '마케팅', '서울' 등 특정 직종이나 지역을 지정해주세요.
2. 정보 저장 형식: CSV, Excel, JSON 중 원하는 파일 형식을 알려주세요.
3. 크롤링하고 싶은 데이터의 구체적인 항목들: 직무명, 회사명, 위치, 급여 등 원하는 정보를 명시해주세요.

이 정보들을 기반으로 사람인 사이트의 구조에 맞춰 적절한 파이썬 스크립트를 작성할 수 있습니다.

 

나 :

원하는 직무의 특정 키워드나 조건 : 데이터 분석, 마이데이터, 보험, 정보 저장 형식: excel 크롤링하고 싶은 데이터의 구체적인 항목들: 직무명, 회사명, 위치, 급여

 

Chat GPT  :

주어진 요구 사항을 바탕으로 사람인 웹사이트에서 '데이터 분석', '마이데이터', '보험' 관련 직무 정보를 크롤링하고 Excel 파일로 저장하는 파이썬 스크립트를 만들겠습니다.

이 스크립트는 BeautifulSoup와 requests 라이브러리를 사용하여 HTML 페이지를 파싱하고, pandas 라이브러리를 사용하여 데이터를 Excel로 저장합니다. 먼저 필요한 라이브러리들을 설치해야 합니다:

 

나 : Chat GPT가 알려준 코드를  VS CODE로 실행하고 해당폴더에서 확인해 봤다 

실행후 해당 폴더 실행해보니 바로 파일 생성 _ 와우 정말 신세계! 

 

파일도 열어 보았다. _ 와우 2 

 

난 초보자이기에 해당 라인별로 Chat GPT 에게 상세 설명 부탁을 해보았다. 

 

 

이렇게 라인별로 상세한 설명을 들었다. 

난 아직 초보이기에 이 코드가 좋은 코드인지는 분간이 정확이 되질 않는다. 

앞으로의 내 목표는 이러한 코드를 읽을수 있고, 코드가 제대로 된건지 판단가능한 상태가 되는것이다. 

궁극적으로   corder가 되려고 한다는것 보다는 10여년이 넘는 나의 커리어와 IT 기술이 합해져  최대한의 시너지를 창출할수 있는 업을 찾는것이 목표이므로 나만의 방식으로 달려가련다.