以太坊交易所 以太坊交易所
Ctrl+D 以太坊交易所
ads

python爬取區塊鏈瀏覽器上的交易列表數據_YTH:SPA

Author:

Time:1900/1/1 0:00:00

前言

2022年6月3日端午節安康。

今天主要分享如何利用爬蟲爬取區塊鏈瀏覽器上的交易列表數據。

原因

dune上沒有bsc鏈上的轉賬明細數據表。FootprintAnalytics上現有的bsc_transactions表transfer_type粒度不夠。

環境

python3.7

數據存儲:mysql5.7

緩存:redis6.2.6

開發工具:pycharm

思路

所有協議、合約、swap地址轉賬信息全爬不太實際,對存儲要求比較高。所以針對需要分析的協議,專門去爬取對應智能合約轉賬是個不錯的選擇。

區塊鏈瀏覽器肯定是有反爬機制的。所以在代理選擇上,要選擇國外的代理。國內的代理都訪問不到,具體原因你懂的。本文中不涉及代理部分,因為國外的代理廠家之前沒有了解過。不過即使是上代理,對代碼層面改動也比較小

采用了urllib同步請求+范圍內隨機時長程序休眠。減少了被風控的概率。但是也降低了爬蟲的效率。

后面再研究用scrapy或異步請求

同步:請求發送后,需要接受到返回的消息后,才進行下一次發送。異步:不需要等接收到返回的消息。

實現

預言機Pyth Network推出基于Solana代碼庫的網絡Pythnet:8月2日消息,Solana生態預言機Pyth Network宣布推出基于Solana代碼庫的網絡Pythnet。Pyth稱,Pythnet能使Pyth網絡以亞妙級聚合第一方數據,并通過Wormhole的通用消息傳遞層向其他鏈提供定價。

Pyth Network表示,截至目前已聚合來自65多個提供商的鏈上數據以支持80多個價格流,每秒會進行700次價格更新,使用Pythnet后將能夠擴展20倍。[2022/8/2 2:53:12]

找到需要爬取合約的具體地址:

第一頁

http://bscscan.com/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8

第二頁

https://bscscan.com/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8&p=2

第三頁

https://bscscan.com/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8&p=3

....

可以知道p=?就代表頁數。

然后F12點擊“網絡”,刷新界面,查看網絡請求信息。

全球做市商IMC加入Pyth network:金色財經報道,全球做市商IMC今天宣布已加入預言機解決方案Pyth network。IMC將在網絡上發布實時加密貨幣價格數據,并隨著網絡的不斷擴大,尋求擴展到其他資產類別。目前有超過65家出版商為Pyth提供加密資產、股票、外匯和金屬的第一方質量數據。(prnewswire)[2022/7/21 2:29:22]

主要查看,網頁上顯示的數據,是哪個文件響應的。以什么方式響應的,請求方法是什么

如何驗證呢,就是找一個txn_hash在響應的數據里面按ctrl+f去搜索,搜索到了說明肯定是這個文件返回的。

查看響應的數據,是html的格式。在python里面,處理html數據,個人常用的是xpath

在python里面安裝相關的依賴

pip?install?lxml?‐i?https://pypi.douban.com/simple

Optiver將加入預言機解決方案Pyth Network:3月15日,預言機解決方案Pyth Network發推稱,Optiver將加入Pyth Network,向其網絡發布AAPL、AMZN和SPY等美國股票和ETF的價格數據。

據悉,Optiver是一家全球自營交易公司,是各種交易所上市金融工具的做市商。[2022/3/15 13:57:16]

同時在瀏覽器上安裝xpath插件,它能更好的幫助我們獲到網頁中元素的位置

XPathHelper-Chrome網上應用店(google.com)

然后就可以通過插件去定位了,返回的結果是list

**注:**瀏覽器看到的網頁都是瀏覽器幫我們渲染好的。存在在瀏覽器中能定位到數據,但是代碼中取不到值的情況,這時候可以通過鼠標右鍵-查看網頁源碼,然后搜索實現

#?請求和xpath定位具體實現代碼:

def?start_spider(page_number):

????url_base?=?'http://bscscan.com

Akuna Capital將向Pyth Network提供加密資產市場數據:主營期權做市的高頻交易做市商Akuna Capital宣布加入Solana生態預言機解決方案Pyth Network網絡,最初將向Pyth Network提供其加密資產市場數據,之后將擴展到其他期權產品的基礎資產。

Akuna Capital成立于2011年,總部位于芝加哥,是一家主營期權做市的金融自營交易公司,交易的金融產品包括期權、期貨和加密資產等。(businesswire)[2021/7/20 1:05:52]

/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8&'

????#?請求頭

????headers?=?{

????????'User-Agent':?'Mozilla/5.0?(Windows?NT?10.0;?Win64;?x64)?AppleWebKit/537.36?(KHTML,?like?Gecko)?Chrome/92.0.4515.159?Safari/537.36',

????????'referer':?'https://bscscan.com/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8'

????}

動態 | 軟件開發人員推出新BCH庫Bitcoinpython:據bitcoin.com報道,軟件開發人員Corentin Mercier在推特上宣布推出使用Python編程語言編寫的新BCH完整節點。該項目被稱為Bitcoinpython,Mercier稱其為迄今為止“最快、最簡單的Python庫”。該庫據稱有五個好處,有著強大的API、符合所有BCH改進協議、適用于所有主要平臺、有著大量的文檔以及比此前的Python庫快100倍。[2019/3/29]

????#?需要傳入的參數

????data?=?{

????????'p':?page_number

????}

????#?將參數轉為Unicode編碼格式

????unicode_data?=?urllib.parse.urlencode(data)

????#?拼接網址

????#?http://bscscan.com/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8

????url?=?url_base?+?unicode_data

????#?自定義request對象

????request?=?urllib.request.Request(url=url,?headers=headers)

????#?模擬瀏覽器發送請求

????response?=?urllib.request.urlopen(request)

????#?將返回的數據利用lxml轉為

????tree?=?etree.HTML(response.read().decode('utf‐8'))

????#?//div//tbody//td//span/a/text()

????txn_hash_list?=?tree.xpath("//div//tbody//td//span/a/text()")

????#?//div//tbody//td//span/text()

????method_list?=?tree.xpath(

????????"//div//tbody//td//span/text()")

????#?//div//tbody//td//text()

????block_list?=?tree.xpath("//div//tbody//td//text()")

????#?//div//tbody//td/span/@title

????age_list?=?tree.xpath("//div//tbody//td/span/@title")

????#?//div//tbody//td/span/@title

????from_list?=?tree.xpath(

????????"//div//tbody//td/span/@title")

????#?//div//tbody//td/span/text()

????transfer_type_list?=?tree.xpath("//div//tbody//td/span/text()")

????#?//div//tbody//td/span/span//text()

????to_list?=?tree.xpath("//div//tbody//td/span/span//text()")

????#?//div//tbody//td/span/text()

????transfer_free_list?=?tree.xpath(

????????"//div//tbody//td/span/text()")

然后就是利用redis,對txn_hash去重,去重的原因是防止一條數據被爬到了多次

def?add_txn_hash_to_redis(txn_hash):

????red?=?redis.Redis(host='根據你自己的配置',?port=6379,?db=0)

????res?=?red.sadd('txn_hash:txn_set',?get_md5(txn_hash))

????#?如果返回0,這說明插入不成功,表示有重復

????if?res?==?0:

????????return?False

????else:

????????return?True

#?將mmsi進行哈希,用哈希去重更快

def?get_md5(txn_hash):

????md5?=?hashlib.md5()

????md5.update(txn_hash.encode('utf-8'))

????return?md5.hexdigest()

最后一個需要考慮的問題:交易是在增量了,也就是說,當前第二頁的數據,很可能過會就到第三頁去了。對此我的策略是不管頁數的變動。一直往下爬。全量爬完了,再從第一頁爬新增加的交易。直到遇到第一次全量爬取的txn_hash

最后就是存入到數據庫了。這個沒啥好說的。

以上就可以拿到轉賬列表中的txn_hash,后面還要寫一個爬蟲深入列表里面,通過txn_hash去爬取詳情頁面的信息。這個就下個文章再說,代碼還沒寫完。

今天就寫到這里。拜拜ヾ(?ω?`)o

來源:Bress

作者:撒酒狂歌

Tags:YTHODYSPAPANMyth TokenodysseiaSPANDAYieldPanda

中幣下載
DeFI激勵性支出:效率和效果_DEF:GAMMA

第一部分:激勵性支出背后的歷史背景 在過去500年的金融歷史中,交易所在效率、訪問性和復雜性方面有了巨大的發展.

1900/1/1 0:00:00
NFT行業紅線在哪里?深度闡述NFT行業5大合規話題_THE:元宇宙平臺

一直以來,沒有寫過任何關于NFT的文章。不寫,不表示不關注、更不代表不了解。尤其今年以來,越來越多的人問起,有圈內人,更不乏扎根TMT多年的傳統VC。還是寫一篇吧,聊聊5個合規大方向的話題.

1900/1/1 0:00:00
Web3的白帽黑客所面臨的困境_區塊鏈:加密貨幣市場規模分析

3月9日凌晨,還在睡覺的LP接到Telegram上的電話。在她看來,這可不是什么好兆頭。她從毯子下面拿起筆記本電腦,戴上隱形眼鏡。是時候拯救別人的加密貨幣了——先黑掉它們.

1900/1/1 0:00:00
NFT將改變元宇宙中的數據所有權_WEB3:WEB

隨著元宇宙的持續發展,下一步就是讓這些虛擬體驗變得超真實,將沉浸式內容體驗擴展到數十億個人,只有通過自動AI工具才能實現.

1900/1/1 0:00:00
關于 stETH 你需要了解的 8 大常識_ETH:Ethorse

熊市會放大任何一個可能的利空,這次輪到stETH。從上周五開始,市場上關于stETH脫鉤清算的恐慌情緒持續蔓延,這其中很大一部分源于對stETH的不了解.

1900/1/1 0:00:00
Web3.0時代來臨的號角 ADAM打響鏈上數據確權之戰_WEB:區塊鏈

本文翻譯自ADAM?Medium《TheClarionoftheWeb3.0EraisBlown.

1900/1/1 0:00:00
ads