以太坊交易所 以太坊交易所
Ctrl+D 以太坊交易所
ads

?引入Marlin作為緩存以降低the Graph的成本提高其速度,打開個性化NFT交易市場-ODAILY_GRAP:Graph

Author:

Time:1900/1/1 0:00:00

運營theGraph是資源密集型的工作,因為它需要一個同步的以太坊存檔節點。

繁重的資源需求限制了theGraph節點可以放置的地理位置深度。

粗糙的滲透會影響到客戶端的延遲,從而影響用戶體驗。

與區塊鏈不同,在一個網絡中擁有多個theGraph節點并不會顯著提高其安全保障。攻擊的代價主要是響應的索引器的質押。

因此,theGraph網絡冗余度高,節點集中度高。這增加了客戶端延遲,同時也帶來了巨大的凈貨幣成本,但不一定會提高網絡安全性。

另外,索引器只每個塊間隔更新一次索引。

我們在theGraph的前面提議了一個緩存層:策展人和索引器可以在全局范圍內創建和索引區塊鏈,但可以訂閱它們的緩存輕節點數量要多得多。

緩存節點具有較低的存儲需求,價格低廉,可以深入到地理位置,從而為客戶端提供極低的延遲,同時與索引器保持同步。

theGraph是以太坊和IPFS的開源查詢協議。基于廣泛流行的GraphQL查詢語言,它為開發人員減少了麻煩,無需設置完整節點和編寫腳本,從磁盤中的原始數據提取相關信息的。相反,theGraph做了以太坊鏈上數據的索引,用類似Truebit的協議來激勵正確的響應,給開發人員提供一個友好的查詢接口。

資料來源:theGraph

在過去的幾個月里,隨著以太坊生態系統中DeFiDApp的激增,theGraph經歷了拋物線式增長,每天處理多達2.2億個查詢,每月處理40億個查詢。可以毫不夸張地說,盡管有很多人試圖構建一個去中心化的AWS,theGraph是web3中第一個獲得顯著吸引力的云計算服務。

中心化云的危險

具有諷刺意味的是,theGraph僅關注以太坊區塊鏈和IPFS的特定請求,這也是它在Web3開發者中獲得采用的最大優勢。然而,到目前為止,它一直通過其托管服務來處理這些請求,這些服務很容易受到與單點故障相關的問題的影響。此外,theGraph的中心化式端點的響應時間也相當長,這取決于用戶到其服務器的距離。

Decentralized Gaming Ventures完成一輪七位數融資,Hashed領投:6月15日消息,Web3游戲風投公司Decentralized Gaming Ventures完成由Hashed領投的一輪七位數投資,此次投資將通過收購獨立工作室并通過專門的指導、共同開發和獲得知識產品來支持其成功,加速東南亞地區新興游戲開發者的職業生涯。[2023/6/15 21:39:06]

以下列主機為例,其下行負載約為86Mbps,它使用theGraph獲取區塊鏈數據。

Ookla的速度測試

頁面中的所有字段需要大約10.5秒的時間來填滿對theGraph服務器發出的10秒請求,每個請求需要大約250毫秒才能返回響應。

每個uniswapv2請求都是一個theGraphAPI請求

這是我們在本文中多次提到的一個指標:對theGraph的中心化式端點的單個請求需要大約250毫秒

反響

如今,dApp的用戶意識到他們是早期的采用者,他們熱衷于測試新技術或挖礦,這大大抵消了用戶體驗的任何問題,但隨著web3向大規模應用邁進,對于下一個10億人,這種情況將不再適用。

為了更好地了解情況,以下是一些具體數字:

49%的互聯網用戶希望網頁在2秒或更短時間內加載

53%的人會放棄一個需要加載3秒以上的網站

頁面響應延遲1秒可導致轉換率降低7%

來源:ThinkWithGoogle

對于uniswap.info或者其他任何一個DApp,這些統計數字遠不能令人鼓舞!另一方面,如何加速運行速度很慢的網站是一個由來已久的問題。Facebook、亞馬遜、Youtube和其他幾家大網站無須考慮用戶的地理位置,就具備即時加載的功能。他們是怎么做到的呢?為了找到解決方案,我們在查詢theGraph時,首先得確定導致延遲的請求-響應周期中的關鍵路徑。

鮑威爾發表講話之際市場隱含的6月加息概率上升:金色財經報道,隨著鮑威爾發表記者會開場白,美國國債收窄之前的漲幅。美聯儲會期對應的OIS合約利率開始小幅走高,體現出更高的6月政策會議加息溢價。對應6月份美聯儲政策會議的OIS升至5.12%,隱含加息大約5個基點,表明加息25個基點的可能性約為20%。[2023/5/4 14:41:02]

深入挖掘

一個簡單的PING到theGraph的主機似乎表明網絡延遲不是一個重要的因素,因為往返只有大約5ms。

但是,IP查找顯示api.thegraph.com網站像許多其他站點一樣,使用Cloudflare作為CDN服務。

\n

來源:UltraTools

事實上,看看對api.thegraph.com發出的OPTIONS和POST請求的響應時間之間的差異結果表明,客戶端的處理時間只有30ms,這表明剩余的220ms是由于Cloudflare的代理服務器和theGraph的源服務器之間的延遲造成的。這可能是因為theGraph只在全球一個位置運行服務器。

所以現在我們知道網絡延遲是減慢GraphAPI響應的原因。然而,難道CDN的工作不是減少這種網絡延遲嗎?

CDN是什么?Web2真的具備高速率嗎?

CDN服務將緩存服務器放置在全球多個位置以減少地理距離,從而減輕響應延遲和源服務器上的負載。

在沒有CDN的情況下,Web服務可采用以下方法之一:

Web服務直接服務于一個或多個源服務器的請求,在沒有分布式、復雜和昂貴的負載平衡設置的情況下,這些服務器通常只位于一個位置,從而增加了響應延遲

當前加密貨幣24小時交易量不足480億美元:金色財經報道,據CoinGecko數據顯示,當前加密貨幣市值為1.2萬億美元,24小時交易量為479.9億美元,當前比特幣市值占比為37.8%,以太坊市值占比為18.3%。[2023/4/22 14:20:23]

Web服務可以彈性伸縮,根據需求自動提供容量,但通常對需求突然激增反應緩慢

Web服務的過度資源調配會導致容量過大,從而導致平均成本更高,在突然出現峰值時可能仍然不夠

在本地跨區域的CDN服務緩存常見請求以及互聯網的冪律,規定了20%的數據占所有請求的80%,從而避免了請求在使用低端但高度分布式的計算機,為源服務器提供服務的同時,需要訪問源服務器。

來源:DigitalConnectMag

CDN實際上是加速訪問Facebook、亞馬遜和YouTube等網站的關鍵。如果地理分布是CDN提高web性能的原因,那么theGraph的去中心化網絡是否可以解決它的延遲問題,這可能會很吸引人。

去中心化云是否能作為CDN?

通常假設全局分布式去中心化網絡是會自動提高性能的。然而,這里有一個非常可疑的假設——成本和無形的運營開銷很高,會導致節點運營商們會集中在最適合他們的地方。

定價:提供云服務的運營支出可能會很可觀。每個磁盤訪問和CPU周期都需要花費一個人的真金白銀。短期內,此類費用可通過VC籌錢或通脹代幣給予補貼。然而,從長期來看,這種服務的受益者預計將付出代價。

資源需求:運行節點要支持theGraph網絡,需要運行以太坊完整節點。不用說,作為theGraph網絡上的索引器,資源密集,而且成本高昂,正如任何theGraph的測試網都會證明的那樣。Balancer、Compound、Uniswapv2子圖要求運行消耗超過5TBSSD的以太坊存檔節點,并且每月可能花費大約500美元,不包括帶寬成本。

密集的磁盤訪問和計算操作以及成本限制了theGraph節點可以放置的位置數,從而增加了用戶的延遲。這件事情正發生在theGraph的測試網本身。

在theGraph的測試網中,在查詢時在線并正確響應ping的大約200個節點中,90%位于僅3個國家:美國、芬蘭和德國,僅德國就占了50%的節點。此外,65%的節點使用相同的VPS供應商,HetznerOnline。

YGG發布首年回顧報告:打金成員已獲得超1000萬美元收入:7月30日消息,P2E游戲公會Yield Guild Games(YGG)在其官方博客發布第一年回顧報告,其中披露打金成員已獲得超過1000美元收入,YGG專注于為打金成員提供價值,已將YGG及其區域subDAO合作伙伴生態系統定位為該領域的明確領導者,截至2022年5月全球已有近3萬名成員從中受益。YGG表示,未來12個月將是探索、測試、學習和建設的時期,并將繼續與合作伙伴和社區站在一起。[2022/7/30 2:47:51]

按國家分布的theGraph的國家

\n

theGraph的測試網節點的ISP分布

但是,我們都知道,完美的去中心化定義模糊;低成本和良好的性能是大多數付費客戶通常追求的。那么,這些指標是如何受到上述結果的影響的呢?

theGraph網絡中的IP列表如下:https://docs.google.com/spreadsheets/d/1qLb-D9sb0c9wvrIbMUMB63xnXh1DXmsPRfXh6UsSk28/edit?usp=sharing。讓我們使用timecurl-L'<URL>'-XOPTIONS-w“{time\\utotal}”來ping每個IP并檢查RTT。

結果將根據進行查詢的主機位置而有所不同。以下是來自印度班加羅爾同一主機的結果,它導出了theGraph中心化端點的前250ms結果:

平均值:677.5912ms

中位數:546.472ms

標準偏差:498.6831ms

當然,以上不全是。與先前返回查詢結果的250ms響應不同,占用的時間超過兩倍的查詢,只是一個OPTIONS請求,該請求不期望任何數據響應,因此不包括任何磁盤獲取或處理時間。根據服務器的緩存配置和磁盤/CPU參數,此響應時間預計僅會增加有意義的請求。

Immunefi:今年第一季度DeFi黑客攻擊總額超12億美元:金色財經報道,根據DeFi漏洞賞金平臺Immunefi的數據,與去年第一季度相比,針對去中心化金融協議的黑客攻擊增加了近八倍。僅在今年第一季度,就有超過12.2億美元被確定為被盜或因新興協議而被盜用。Immunefi季度加密貨幣損失報告的研究顯示,與2021年同期約1.546億美元的被盜資金相比,這增加了7.9倍。根據咨詢公司Cyber??securityVentures的數據,到2022年,整個網絡犯罪將給全世界造成約6.9萬億美元的損失。因此,即使DeFi在年底前凈利用35億美元,也將占全球網絡犯罪總量的0.05%。(blockworks)[2022/7/14 2:13:37]

很明顯,去中心化遠非靈丹妙藥。情況可能會好轉,但還遠不能保證一個由theGraph索引器組成的去中心化網絡會自動降低網絡的運行成本或提高用戶的性能。

用于API的CDN

那為什么盡管uniswap.info使用了Cloudflare,一個流行的、高度分布式的CDN提供商,但要加載這么長時間?細節之處最容易出問題。仔細觀察響應頭可以發現,Cloudflare從不用于將查詢請求緩存到theGraph。相反,Cloudflare被要求始終將此類請求代理到源服務器。這是具有動態內容的網站所采用的常見策略,其中Cloudflare僅用于防止DDoS。

它很容易緩存靜態資產,如圖像和視頻。不出所料,互聯網流量的很大一部分實際上是媒體。因此,CDN在提高web和移動性能方面非常有效。

但是,傳統的CDN無法緩存像通過API交付的內容那樣頻繁和不可預知的變化。它們基于與每個資產相關聯的生存時間來工作,在該時間之后,資產被清除并從源系統重新獲取。如果TTL太小,則會經常查詢原點,這正是我們開始解決的問題。如果TTL太大,將返回過時和不準確的結果。

在電子商務中,就像區塊鏈DApp一樣,和用戶利益相關的信息是高度動態的。正如庫存和定價在搶購期間頻繁變化一樣,每個區塊高度的區塊鏈數據也是如此。將這些動態內容留在源服務器上會減慢傳輸速度并增加基礎設施成本,服務運營商將由托管提供商和僅代理API調用的CDN加倍收費。

用于API的CDN需要更高級和定制的工程。事實上,很少有傳統的CDN公司為API提供緩存服務,那些做這業務的公司會收取高額費用。

MarlinCache

MarlinCache基于一個簡單的觀察,即在任何時候,一小部分dApps比其他更受歡迎。例如,訪問Sushi或Rarible的人絡繹不絕。服務于此類請求的索引在每個塊間隔只更新一次。因此,頻繁查詢的響應可以緩存在不同地理區域的本地緩存內,從而減少往返時間和源站的壓力。

緩存是事件驅動的。節點維護對熱點索引器的訂閱。緩存中的數據會隨著每個塊更新。Marlin中繼確保在生成一個區塊時,每個緩存的更新延遲限制在500毫秒左右,即使只有一個完整的節點支持theGraph網絡。如果在全球范圍內多了幾個完整的節點,那么500毫秒的更新延遲可以減少到250毫秒。

注意這里提到的250ms延遲和uniswap.info之前指出的250毫秒延遲有所不同。一旦每個緩存根據最新的區塊進行了更新,客戶端的請求只需5-10毫秒就可以獲取數據。這里的延遲表示用戶端在產生新區塊時將有250毫秒的延遲。theGraph和其他以太坊完整節點可以獨立使用Marlin中繼來減少這種延遲。

在大多數緩存命中的情況下,任何通過MarlinCache的CDN到索引器的路由查詢都可以將用戶的響應時間從230毫秒到1.5秒降低到5-10毫秒。此外,為了方便集成,Web3客戶端像許多視頻播放器可以把CDN域名和到索引器的域名作為備用url寫到代碼里,這樣在緩存不命中時也不會有額外的時間損失。

你所激勵的就是你得到的保證

我們可能會問theCache是theGraph殺手還是Filecoin殺手。實際上都不是。theGraph激勵子圖的創建、子圖的可檢索性和響應的正確性。另一方面,Filecoin或Arweave激勵在網絡中存儲內容。理性的參與者在懲罰定義的約束下工作,同時試圖最大化協議提供的激勵。

theCache通過其鄰近性的證明激勵參與者在全球范圍內深入地理圖。該機制確保緩存在一定的時間限制內對請求作出響應,否則將面臨隨時間降級的風險。另一方面,響應的正確性仍然會被確保,因為它們需要證明任何子圖的子圖的響應都可以從索引器提供的相應子圖的響應中導出。

theCache的激勵措施鼓勵分布在不同地理位置的低端節點的運行,其唯一目的是更新、存儲和服務熱點API請求的響應。

總而言之,theCache與其他索引器的一些顯著區別是:

theCache節點只需要幾兆字節的存儲空間,這在大多數情況下都能容納在RAM中,而不需要像Infura、Graph或Pokt網絡這樣的完整或歸檔節點。較低的資源需求使節點分布更加深入和本地化,從而減少了客戶端的延遲。

theCache支持索引器沒有提供的智能合約事件和余額、地址、存儲監視程序。

theCache并不局限于任何特定的索引器或查詢協議,可以使用更廣泛的數據源和后端。

theCache提供從索引器提供的相應響應派生的響應加密證明。因此,相比于使用fisherman協議來檢測損毀的響應,客戶端可以立即拒絕不正確的響應。因此,緩存更偏向正確性,而非Graph的fisherman協議提供的可用性。在這兩種情況下,客戶端可以選擇查詢多個節點以獲得更高的可靠性。

特征

MarlinCache在邊緣通過預定義的自定義邏輯實現更快的響應時間。此功能直接或間接地使許多很酷的功能能夠豐富web3.0體驗:

緩存:dApp可以減少源站的負載和查詢區塊鏈的相關成本,同時也可以為用戶提高響應能力

一致性:在全球低延遲連接的情況下,dApp和API提供商可以不必擔心為不同渠道和用戶提供不一致的響應

設備優化:NFT市場、游戲和一般基于IPFS的dApp可以實時地為用戶優化內容,例如,通過向移動設備提供消耗較少帶寬的低分辨率圖像

個性化:根據地理和歷史定制內容可以提高Web3市場的參與度和轉化率

DDoS防護:全球和深入定位的緩存服務器可以更有效地吸收請求,同時還可以更容易地檢測惡意攻擊

實時分析:藝術家、開發者和市場所有者可以更好地了解用戶活動和參與度

實驗性商業化模式:相比于直接向用戶收費,通過以一種保護隱私的方式收集用戶數據的商業化模型也成為了可能

入門

簡而言之,MarlinCache通過在用戶旁邊緩存數據,努力為web3dApp提供類似Web2的性能。如果您是一名開發人員,希望將區塊鏈API請求中產生的250毫秒到1.5秒的延遲減少到10毫秒以下,請直接進入我們的文檔,了解如何使用theCache,并在遇到查詢時加入我們的discordgroup。

通過我們的官方渠道確保您隨時了解最新情況:

Twitter:https://twitter.com/MarlinProtocol

TelegramAnnouncementChannel:https://t.me/MarlinProtocolAnn

TelegramChatGroup:https://t.me/MarlinProtocol

Tags:THEGRAPAPHGraphWEATHERethnographyinbusiness答案ethnographyCryptographic Ultra Money

火必下載
2020線上中國國際智能產業博覽會開幕-ODAILY_PUN:PUNK

9月16日下午,2020線上中國國際智能產業博覽會區塊鏈高峰論壇在重慶JW萬豪酒店隆重召開。重慶市人大常委會主任張軒出席并致辭,中國工程院院士陳純、中國科學院外籍院士丘成桐發布主題視訊演講,相關.

1900/1/1 0:00:00
CEX盜竊頻發:硬件冷錢包是加密資產安全疆域的最后防線嗎?-ODAILY_CEX:HOO

據彭博社上周消息,美國加密貨幣交易所Robinhood遭遇盜竊,部分用戶交易所帳號內的資產不翼而飛。彭博社稱,有用戶在發現被盜后第一時間聯系了交易所希望制止被盜資產變現.

1900/1/1 0:00:00
比特幣多空難辨,易天說堅定看空-ODAILY_比特幣行情:什么是比特幣現金

昨天的一波大漲,不用說,大家都知道從早間行情一波大跌觸及近段時間最低點10140附近后,一整天的時間都處于反彈中 日間行情盤整在10300附近在全世界都是看空的時候,比特幣行情卻堅挺著不回調.

1900/1/1 0:00:00
深圳將發1000萬數字貨幣紅包,小伙伴們快來申領-ODAILY_數字人:pt幣數字錢包

真香警告!央行數字貨幣真的來了,人人有機會免費申領! 10月8日晚間,深圳市政務服務數據管理局發布“2020禮享羅湖”系列促消費活動,將向在深個人發放1000萬元數字人民幣紅包.

1900/1/1 0:00:00
倒計時7天!Web3大會10.30日程公布,與您共赴“ 開放 開源 互聯” 的未來-ODAILY_BTC:EOS

Web3大會公布10.30大會日程。大會圍繞著一句號召組織而成:促進運轉良好的、用戶友好的Web3.0網絡。這也是Web3.0的愿景——創造新一代互聯網,讓每個用戶掌握自己的數據、身份和命運.

1900/1/1 0:00:00
WGRT打下國產DeFi龍頭“江山”,投資維基鏈必將“一統江湖”-ODAILY_WIC:EOS

近期幣市出現獲利回調,瘋狂的火苗也逐步恢復理智;有人賺得盆滿缽滿,有人踏空,也有人后悔上車太晚,更有一些老韭菜因為手中拿著一些老幣,錯過了前半年的小牛行情.

1900/1/1 0:00:00
ads