이메일을 수집해서 엑셀파일로 관리하는 프로그램

 프로그램의 이해를 돕기 위해 특정 사이트의 html에서 이메일을 추출해 엑셀파일로 저장 및 관리하는 프로그램을 만들어 보겠습니다. 파이썬에서 어떻게 처리하는지 함께 알아보도록 하겠습니다.

기본은 엑셀파일로 추출입니다.

프롬프트

 

특정 사이트에서 이메일을 수집해서 엑셀파일로 관리하는 프로그램을 만들고싶어

 

ChatGPT 결과

 

그거 정말 유용한 프로그램이 될 것 같아! 이메일을 수집하려면 웹 스크래핑을 사용해야 하는데, 파이썬에서는 BeautifulSoup와 requests 라이브러리를 주로 사용해. 그 데이터를 엑셀 파일로 저장하려면 pandas 라이브러리도 유용하겠지.

프로그램의 흐름을 간단하게 설명해 줄게:

1. 웹 스크래핑: requests로 사이트의 HTML을 가져오고, BeautifulSoup으로 이메일을 추출.
2. 엑셀 저장: pandas를 사용해 수집된 이메일을 데이터프레임으로 저장하고, to_excel로 엑셀 파일로 저장.

우선 필요한 라이브러리들을 설치해야 해:

 

pip install requests beautifulsoup4 pandas openpyxl

 

그 다음, 기본적인 코드를 아래와 같이 작성할 수 있어:

 

소스

 

import requests
from bs4 import BeautifulSoup
import pandas as pd

# 이메일을 수집할 웹페이지 URL
url = 'https://example.com'

# 웹 페이지 가져오기
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')

# 이메일 추출 (예: <a href="mailto:email@example.com"> 형태)
emails = []
for a_tag in soup.find_all('a', href=True):
    href = a_tag['href']
    if 'mailto:' in href:
        email = href.split(':')[1]
        emails.append(email)

# 중복 이메일 제거
emails = list(set(emails))

# 이메일 리스트를 pandas DataFrame으로 변환
df = pd.DataFrame(emails, columns=['Email'])

# 엑셀 파일로 저장
df.to_excel('emails.xlsx', index=False)

print(f'{len(emails)}개의 이메일을 이메일.xlsx로 저장했습니다.')

 

 

설명:

• requests.get()으로 웹 페이지를 가져오고, BeautifulSoup으로 HTML을 파싱.
• soup.find_all('a', href=True)를 사용해서 모든 <a> 태그를 찾고, 그 중에서 mailto:로 시작하는 링크를 찾아 이메일을 추출.
• pandas를 사용해 이메일을 엑셀로 저장.

여기서 중요한 점은 이메일이 포함된 HTML 구조가 사이트마다 다를 수 있기 때문에 그에 맞게 추출 방식을 조정해야 한다는 거야.

혹시 특정 사이트에서 이메일을 수집하는 데 문제가 있다면, 그 사이트의 구조를 알려주면 더 자세히 도와줄 수 있어!

 

 

 

결과확인 및 테스트

 

정말 단순하게 해당 프로그램상에 기입되어있는 url에서 추출하고 엑셀로 저장하는 기능만 있습니다. 이제 이런 기초적인 단계는 건너뛰어 대화하는 게 좋을 것 같습니다. 여러분도 어느 정도 어떻게 설명해줘야 하는지 적응이 돼 가시리라 생각합니다. 그럼 추가 프롬프트를 입력해 보겠습니다.

 

프롬프트 2

 

그렇다면 엑셀파일을 추출할 url을 받아서 처리하고 또 저장할 파일경로를 설정할 수 있도록 그리고 저장할때 구분값을줘서 해당 시트에 저장되도록 해주고 중복이 있으면 저장안하고 추가 이메일의 경우만 써지도록 해줘 구분값은 뉴스, 사업자, 블로그, 기타 일단 이렇게 선택할 수 있도록 GUI 화해줘 닫기버튼 잊지말고

 

ChatGPT 결과

 

그러면 사용자에게 URL을 입력받고, 구분값을 선택해서 이메일을 수집하여 저장할 수 있는 GUI 프로그램을 작성해볼게. 이를 위해 tkinter를 사용해서 GUI를 구성하고, 이메일을 엑셀에 저장할 때 중복을 피하고 구분값에 따라 다른 시트에 저장할 수 있도록 구현할 거야.

 

설명:

1. GUI 구성:
   • tkinter를 사용해서 URL을 입력받고, 구분값을 선택할 수 있는 드롭다운 메뉴를 만들었어.
   • 이메일을 수집하고 저장할 때 필요한 파일 경로를 저장할 수 있도록 filedialog.asksaveasfilename을 사용했어.
   • "닫기" 버튼을 추가해서 프로그램을 종료할 수 있도록 했어.
2. 이메일 수집 및 엑셀 저장:
   • 사용자가 입력한 URL을 통해 이메일을 수집하고, pandas를 이용해 엑셀 파일에 저장.
   • 이미 존재하는 이메일은 저장하지 않고, 새로운 이메일만 추가되도록 했어.
   • 구분값을 선택하여 해당 구분값을 가진 시트에 이메일을 저장.
3. 파일 저장:
   • 엑셀 파일이 존재하면 기존 데이터를 로드하고, 해당 구분값에 맞는 시트를 찾아 이메일을 추가.
   • 새로운 이메일만 추가하고, 중복된 이메일은 저장되지 않도록 처리했어.

실행 방법:

• 프로그램을 실행한 후, URL을 입력하고 구분값을 선택한 뒤, 파일 경로를 지정하면 이메일이 수집되고 엑셀에 저장돼.
• 이메일이 이미 존재하면 새 이메일만 추가되며, 저장할 때는 구분값에 맞는 시트에 저장돼.

 

결과확인 및 테스트

 

 

 

수집해 보도록 하겠습니다.

작동 방법을 위한 테스트이니 감안하고 보시기 바랍니다.

웹상의 이메일은 노출되는 경우가 거의 없습니다. 개인 정보 보호차원 이므로 프로그램의 작동이 어떻게 흘러가는지만 참고 부탁드립니다.

 

 

뉴스를 선택하고 일반 무작위 뉴스페이지를 선택해 보겠습니다.

 

 

파일명 입력창이 나오고요. emailManagement라는 파일명으로 작성해 보겠습니다.

 

 

이렇게 작동을 하는군요 이메일 형식을 찾을 수 없는 구조인가 봅니다.

 

추가적인 수정을 요청했습니다.

 

프롬프트 3 

 

이메일이 수집되지 않으면 파악가능한 모든 HTML구조를 사용해서 순차적으로 수집해줄 수 있을까?

 

 

ChatGPT 결과

주요 변경 사항:

1. 이메일 수집 방법 개선:
   • mailto: 링크에서 이메일 추출: 이메일 주소가 포함된 링크에서 추출합니다.
   • div, span, p, li 등 다양한 HTML 태그에서 텍스트로 이메일 추출: 이메일이 텍스트로 포함되어 있는 경우를 처리합니다.
   • data-* 속성에서 이메일 추출: 웹 페이지에서 이메일을 data-email 같은 특수 속성에 포함시킨 경우를 처리합니다.
   • script 태그에서 이메일 추출: JavaScript로 이메일이 삽입되어 있을 수 있기 때문에 이를 추출합니다.
   • 전체 페이지 텍스트에서 이메일 패턴 추출: 페이지 내 모든 텍스트에서 이메일 패턴을 찾아 추출합니다.
2. 정규 표현식:
   • 이메일 패턴을 식별할 수 있는 정규 표현식을 사용하여 텍스트 내 이메일을 찾습니다.
3. 중복 제거 및 저장:
   • 수집된 이메일을 중복 제거하고, 선택한 구분값에 맞는 시트에 추가합니다. 기존 시트가 없으면 새로 생성합니다.

반응형

최종 결과확인 및 테스트

 

 

 

사이트의 특성상 html 구조가 달라 추출을 못하는 경우도 있고 확실히 이메일 수집은 좋은 방법이 아니기에 많이 막혀있는 게 현실입니다. 사이트가 아닌 다른 형태로 구현을 해도 되고 응용은 언제나 가능하니 새로운 방법으로 시도해 보시기 바랍니다.

어디까지나 구현에 대한 아이디어와 작동되지 않는 프로그램을 최대한 작동하게끔 유도하는 과정을 담은 것이니 이해부탁 바랍니다.

 

emailMngmtTool.py

0.00MB

 

 

이상 웹상의 이메일을 가져와보고자 만들어본 프로그램이었습니다. 실제적인 이메일 수집은 개인정보 허락하에 수집해야 하며 개인정보허락이 되어있는 본인의 웹사이트에서 관리하고자 할 때만 사용가능하리라 봅니다.

 

웹사이트를 줬을 때 초기에는 mailto라는 단서로 찾던 것을 html 구조가 사이트마다 달라 여러 가지 구조에 따라 가져올 수 있도록 변경한 것이 핵심이라 말할 수 있겠습니다.

그리고 엑셀을 DB처럼 구현할 수 있다는 것입니다. 구분값을 시트로 생각하고 데이터를 수집 및 관리가 가능하다는 것이고 해당엑셀은 다시 파이썬으로 불러와 처리할 수 있기 때문에 DB의 역할을 엑셀파일로 대체도 가능합니다.

물론 단순 저장용입니다. ^^

 

조금 더 아이디어를 쓴다면 고객관리 엑셀파일도 파이썬으로 만들 수 있고 여러 가지 활용도가 있다고 생각합니다. 안 되는 건 없습니다. 구현이 어려워서 그렇죠. 하지만 우리에겐 chatGPT라는 무적의 개발자가 있으니 다행입니다.

 

그럼 좋은 학습 되셨길 바라며 IT아재였습니다.