V tomto návodu vám ukážu, jak si vytvořit pomocí GPT- 4 vision aplikaci ve streamlit na analýzu obrázků, grafů a tabulek. Může dobře posloužit jako pomocník pro analytika na interpretaci vizuálních dat.
Tento kód budeme spouštět lokálně pomocí terminálu a aplikace Streamlit, která nám zajistí základní uživatelské rozhraní.
Návod
Nejprve si nainstalujeme potřebné knihovny.
pip install streamlit openai
Do souboru .env si uložíme API key:
OPENAI_API_KEY=Váš-klíč
V následujícím kódu provedeme:
- Importujeme knihovny.
- Načteme API klíč.
- Načtení a uložení obrázku.
- Odešleme požadavku na OpenAI.
- Zakódujeme do formátu base64 a zobrazíme v aplikaci.
Kód
Pokud chcete kód spustit jednoduše, stačí zkopírovat repozitář na Github:
git clone https://github.com/iteimouri/GPT-Vision-for-Finance.git
Otevřít soubor:
cd GPT-Vision-for-Finance
Nainstalovat knihovny:
pip install streamlit openai
Spustit aplikaci Streamlit:
streamlit run app.pyNezapomeňte nastavit soubor env a nastavit váš vlastní API klíč.
Konverzace
Zobrazí se nám uživatelské rozhraní, kde můžeme vložit obrázek, nebo obrázky s grafy či tabulkami.
Obrázek domácího pivovaru.
Vizualizace z jedné studie o AUTOGEN.
Interpretace tabulky z vědecké studie.
Použil jsem tuto studii: RoleEval: Srovnávací hodnocení dvojjazyčných rolí pro velké jazykové modely.
Odpověď GPT:
Interpretace grafu a tabulky
Odpověď GPT aplikace:
Odpovědi vypadají velmi dobře. Samotnou fakticitu musím ještě zkontrolovat, ale odpovědi se zdají poměrně zasvěcené a je fascinující, že GPT dokáže interpretovat takto detailně různá data, bez nějakého širšího kontextu.
V příštím článku použiju aplikaci na chat s PDF a pokusím se odpovědi porovnat a následně zjistit případné odchylky.
