【仮想通貨】PythonスクレイピングでDebankの自動ログ取得！分散型取引所(DEX)の比較用に活用します！

import pandas as pd
import time
from datetime import datetime
import openpyxl
from openpyxl import load_workbook
from openpyxl.utils.dataframe import dataframe_to_rows
from openpyxl.styles import Font
import os.path
import glob
from selenium import webdriver
from selenium.webdriver.common.by import By

# wallet情報をまとめるための関数
def create_wallet(TokenWallet_elements):
    # DataFrameを作成
    df_wallet = pd.DataFrame(index=[now])
    df_wallet["Total_$"]=0
    #行の数だけ繰り返す
    for i,token in enumerate(TokenWallet_elements):
        text = token.text.split("\n")
        asset = text[0]
        price = float(text[1].replace(",", "").replace("$", ""))
        amount = float(text[2].replace(",", ""))
        USD_value = float(text[3].replace(",", "").replace("$", ""))
        
        if asset not in df_wallet.columns:
            df_wallet[asset]=price
            df_wallet[asset +"_amount"]=amount
            df_wallet[asset +"_USD_value_$"]=USD_value
        #同じトークンでチェーンが違うものは足してしまう。
        else: 
            df_wallet[asset]=price
            df_wallet[asset +"_amount"]+=amount
            df_wallet[asset +"_USD_value_$"]+=USD_value
            
        df_wallet["Total_$"] += USD_value
    return df_wallet

# Tokenの価格情報をまとめるための関数
def create_price(TokenWallet_elements):
    # DataFrameを作成
    df_price = pd.DataFrame(index=[now])
    for i,token in enumerate(TokenWallet_elements):
        text = token.text.split("\n")
        asset = text[0]
        balance = float(text[1].replace(",", "").replace("$", ""))
        df_price[asset] = [balance]
    return df_price

# 取引所毎に成績をまとめるための関数
def create_defi(project):
    df_defi = pd.DataFrame(index=[now])
    project_name = project.find_element(By.XPATH, './/*[contains(@class,"ProjectTitle_name")]').text
    project_portfolio_elements = project.find_elements(By.XPATH, './/*[contains(@class,"table_contentRow")]')
    df_defi[project_name+"_total_$"]=0
    df_defi[project_name+"_total_Reward_$"]=0
    df_defi[project_name+"_total_Reward_%"]=0
    for i,defi in enumerate(project_portfolio_elements):
        # 改行文字で区切ってリストに格納
        text_list = defi.text.split("\n")
        total_asset = float(text_list[-1].replace("$", "").replace(",", ""))
        df_defi[f"{i}_"+text_list[0]+"_pool_$"] = [total_asset]
        df_defi[f"{i}_"+text_list[0]+"_pool_Reward_$"] = 0
        df_defi[f"{i}_"+text_list[0]+"_pool_Reward_%"] = 0
        # 各poolごとのループ
        for j,text in enumerate(text_list[1:5]):
            col = text.split()[1]
            value = float(text.replace(",", "").split()[0])
            if col not in ["USDC","USDT"]:
                price = value*df_price.loc[now,col]
            else:
                price = value
            
            if j in [2,3]:
                col += "_Reward"
                df_defi[f"{i}_"+text_list[0]+"_pool_Reward_$"] += price
                
            df_defi[f"{i}_" + col] = value
            df_defi[f"{i}_" + col+"_$"] = price
        df_defi[f"{i}_"+text_list[0]+"_pool_Reward_%"] =  df_defi[f"{i}_"+text_list[0]+"_pool_Reward_$"] /total_asset*100
 
        df_defi[project_name+"_total_$"] += total_asset
        df_defi[project_name+"_total_Reward_$"] += df_defi[f"{i}_"+text_list[0]+"_pool_Reward_$"]
    df_defi[project_name+"_total_Reward_%"]=df_defi[project_name+"_total_Reward_$"] /df_defi[project_name+"_total_$"] *100
    return df_defi

# 総合成績をまとめるための関数
def create_summary(df_wallet,df_defi):
    df_summary = pd.DataFrame(index=[now])
    df_summary["all_asset_$"]=0
    df_summary["Defi_Total_$"]=0
    df_summary["Defi_Total_Reward_$"]=0
    df_summary["Defi_Total_Reward_%"]=0
    df_summary["Uniswap_Total_$"]=df_defi["Uniswap V3_total_$"]
    df_summary["Uniswap_Reward_$"]=df_defi["Uniswap V3_total_Reward_$"]
    df_summary["Uniswap_Reward_%"]=df_defi["Uniswap V3_total_Reward_%"]
    df_summary["PancakeSwap_Total_$"]=df_defi["PancakeSwap V3_total_$"]
    df_summary["PancakeSwap_Reward_$"]=df_defi["PancakeSwap V3_total_Reward_$"]
    df_summary["PancakeSwap_Reward_%"]=df_defi["PancakeSwap V3_total_Reward_%"]
    df_summary["Defi_Total_$"] = df_summary["Uniswap_Total_$"] + df_summary["PancakeSwap_Total_$"]
    df_summary["Defi_Total_Reward_$"]= df_summary["Uniswap_Reward_$"] + df_summary["PancakeSwap_Reward_$"]
    df_summary["Defi_Total_Reward_%"]= df_summary["Defi_Total_Reward_$"]/df_summary["Defi_Total_$"]*100
    df_summary["Wallet_total_$"]=df_wallet["Total_$"]
    df_summary["all_asset_$"]=df_summary["Defi_Total_$"]+df_summary["Wallet_total_$"]
    return df_summary

############################################################################################################

#chromeでアクセス
options = webdriver.ChromeOptions()

# XXXにchromedriver.exeの保存場所を入力
service = webdriver.chrome.service.Service(executable_path = 'C:\\Users\\XXX\\XXX\\XXX\\chromedriver.exe')
driver = webdriver.Chrome(service=service, options=options)

# XXX...にMetamaskのアドレスを入力
driver.get('https://debank.com/profile/0xXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX')

############################################################################################################

time.sleep(5)
#ページ全体の情報がまとまったmain_containerを取得
main_container = driver.find_element(By.XPATH, '//*[@id="root"]/div/div[2]')

# 現在の日時を取得
now = datetime.now()
#Update Iconをクリック
Update_icon = main_container.find_element(By.XPATH, './/*[contains(@class,"UpdateButton_refreshIcon")]')
Update_icon.click()
time.sleep(10)

# 最新の情報を取得する
TokenWallet_elements = main_container.find_elements(By.XPATH, './/*[contains(@class,"db-table-row")]')
all_project_portfolio_elements = main_container.find_elements(By.XPATH, './/*[contains(@class,"Project_portfolio")]')

# ファイル名のパターンを指定して、最新のファイルを取得する
filename_pattern = 'record_*_.xlsx'
latest_file = max(glob.glob(filename_pattern), key=os.path.getctime, default=None)

# 既存のExcelファイルがある場合、Bookオブジェクトを作成する
book = pd.read_excel(latest_file, sheet_name=None, engine='openpyxl', index_col=0) if latest_file else {}

# 新しいExcelファイル名を作成する
strnow = datetime.now().strftime("%Y%m%d_%H%M%S")
new_filename = f"record_{strnow}_.xlsx"

# Excelファイルに保存するためのWriterオブジェクトを作成
writer = pd.ExcelWriter(new_filename, engine='xlsxwriter')

# df_Walletを作成
df_wallet = create_wallet(TokenWallet_elements)

# walletシートにデータを追加する
if "wallet" in book:
    df_book = book["wallet"]
    df_wallet = pd.concat([df_book, df_wallet], axis=0)
df_wallet.to_excel(writer, sheet_name="wallet", index=True)

# df_priceを作成
df_price = create_price(TokenWallet_elements)

# priceシートにデータを追加する
if "price" in book:
    df_book = book["price"]
    df_price = pd.concat([df_book, df_price], axis=0)
df_price.to_excel(writer, sheet_name="price", index=True)

# 分散型取引所ごとに成績を分けて取得
df_defi_summary = pd.DataFrame(index=[now])
for project in all_project_portfolio_elements[:-1]:　# Quick Swapを取得しないように末尾の要素は除外
    df_defi = create_defi(project)
    project_name = project.find_element(By.XPATH, './/*[contains(@class,"ProjectTitle_name")]').text
    # 既存のシートに対して、df_defiの内容を追加する
    if project_name in book:
        df_book = book[project_name]
    # 新規シートを作成して、df_defiの内容を書き込む
    else:
        df_book = pd.DataFrame()
        
    df_book = pd.concat([df_book, df_defi], axis=0)
    df_book.to_excel(writer, sheet_name=project_name)
    df_defi_summary = pd.concat([df_defi_summary, df_book], axis=1)

# Summaryデータを作成
df_summary = create_summary(df_wallet, df_defi_summary)
# Summaryシートにデータを追加する
if "summary" in book:
    df_book = book["summary"]
    df_summary = pd.concat([df_book, df_summary], axis=0)
df_summary.to_excel(writer, sheet_name="summary", index=True)
# ファイルを保存してWriterオブジェクトを閉じる
writer.close()


#以降はxlsxファイルを整形するための部分

# Excelファイルを開く
wb = openpyxl.load_workbook(new_filename)
# シート名のリストを取得
sheet_names = wb.sheetnames
# 新しいシート名のリストを作成 (例: A, C, B)
new_sheet_names = ['summary', 'Uniswap V3', 'PancakeSwap V3','wallet','price']
# シートを並び替え
for i, name in enumerate(new_sheet_names):
    j = sheet_names.index(name)  # 新しい位置を取得
    wb.move_sheet(sheet_names[j], i+1)  # シートを移動

    # 全シートの列幅を20に指定
    ws = wb[name]
    for column in ws.columns:
        for cell in column:
            ws.column_dimensions[cell.column_letter].width = 20
    
    # 全シートの行幅を12に指定
    for row in ws.rows:
        ws.row_dimensions[row[0].row].height = 12

#全シートのフォントサイズを10に設定する        
    fontsize = Font(size=10)
    for row in ws.iter_rows():
        for cell in row:
            cell.font = fontsize

#全シートのA列(日付index)の幅を20に設定する
for ws in wb.worksheets:
    ws.column_dimensions['A'].width = 25

#全シートの数値を少数第３位まで表示するようにする    
for ws in wb.worksheets:
    for row in ws.rows:
        for cell in row:
            if isinstance(cell.value, (int, float)):
                cell.number_format = "0.000"
        
# 変更を保存
wb.save(new_filename)

driver.quit()