Aplikace GPT na analýzu: Obrázky, grafy a tabulky.

V tomto návodu vám ukážu, jak si vytvořit pomocí GPT- 4 vision aplikaci ve streamlit na analýzu obrázků, grafů a tabulek. Může dobře posloužit jako pomocník pro analytika na interpretaci vizuálních dat.

Tento kód budeme spouštět lokálně pomocí terminálu a aplikace Streamlit, která nám zajistí základní uživatelské rozhraní.

Návod

Nejprve si nainstalujeme potřebné knihovny.

pip install streamlit openai

Do souboru .env si uložíme API key:

OPENAI_API_KEY=Váš-klíč

V následujícím kódu provedeme:

• Importujeme knihovny.
• Načteme API klíč.
• Načtení a uložení obrázku.
• Odešleme požadavku na OpenAI.
• Zakódujeme do formátu base64 a zobrazíme v aplikaci.

Kód

Pokud chcete kód spustit jednoduše, stačí zkopírovat repozitář na Github:

git clone https://github.com/iteimouri/GPT-Vision-for-Finance.git

Otevřít soubor:
cd GPT-Vision-for-Finance

Nainstalovat knihovny:
pip install streamlit openai

Spustit aplikaci Streamlit:
streamlit run app.py

Nezapomeňte nastavit soubor env a nastavit váš vlastní API klíč.

Konverzace

Zobrazí se nám uživatelské rozhraní, kde můžeme vložit obrázek, nebo obrázky s grafy či tabulkami.

Obrázek domácího pivovaru.

Vizualizace z jedné studie o AUTOGEN.

Interpretace tabulky z vědecké studie.

Použil jsem tuto studii: RoleEval: Srovnávací hodnocení dvojjazyčných rolí pro velké jazykové modely.

Odpověď GPT:

Interpretace grafu a tabulky

Odpověď GPT aplikace:

Odpovědi vypadají velmi dobře. Samotnou fakticitu musím ještě zkontrolovat, ale odpovědi se zdají poměrně zasvěcené a je fascinující, že GPT dokáže interpretovat takto detailně různá data, bez nějakého širšího kontextu.

V příštím článku použiju aplikaci na chat s PDF a pokusím se odpovědi porovnat a následně zjistit případné odchylky.