← Ana Sayfaya Dön

Rhizoma

Yapay zekâ modelleri ve agent'lar için bağımsız denetleme ve puanlama sistemi

PythonFastAPIDockerEd25519SandboxSQLiteLLM

Ekran Görüntüleri & Şemalar

Bağımsız İki Eksenli Doğrulama AkışıEd25519 · Offline Sandbox · Ground Truth Check
Agent Claims & CodeDeliverables & Output1. Yetenek (Capability)İzole internetsiz Docker sandboxKod gerçekten çalışıyor mu?2. Dayanaklılık (Groundedness)Bağımsız harici otorite çapraz kontrolüAgent doğru mu söylüyor?Ed25519 Signed LedgerDeğiştirilemez Kanıt KütüğüAuditable Verified Agent CV
Rhizoma doğrulama arayüzü ve kök ağı görselleştirmesi
Rhizoma doğrulama arayüzü ve kök ağı görselleştirmesi

Problem & İhtiyaç

Yapay zeka modellerinin ürettiği kodun gerçekte çalışıp çalışmadığını ve agent'ların iddia ettikleri sonuçlarda dürüst olup olmadıklarını objektif biçimde kanıtlayacak bağımsız bir otorite eksikliği.

Yayımlanan Ölçüm

Model
13
Cevap
1.366
Sınav
3
Ölçüm
21–24 Eylül 2026

Rhizoma'nın herkese açık ilk ölçümünü rhizomaindex.info adresinde yayımladım. Tek bir soruyu ölçüyor: bir model bir işi yapamadığında bunu size söylüyor mu? Bunu üç ayrı yoldan sınadım — bir kısmı bilerek yapılamaz kurulmuş sekiz görevlik gerçekçi bir iş, doğru cevabın "yapamam" olduğu dokuz kısa tuzak ve gizli testlerle kontrol edilen 33 kodlama görevi. On üç modelin verdiği 1.366 cevabın hepsini tek tek kontrol ettim; ham cevaplar, etiketler ve kod herkese açık. Sonuç: en büyük üç model yapmadığı hiçbir işe "yaptım" demedi; küçük modeller çalıştırmadıkları testleri çalıştırdıklarını, bakmadıkları siteye baktıklarını ve yapmadıkları commit'i yaptıklarını yazdı — yeni sürüme geçmek bunu değiştirmedi.

Nasıl Çalışıyor?

01

Agent çalışma raporu ve ürettiği kod paketleri doğrulama kuyruğuna alınır.

02

Kod, dış dünyaya kapalı (internetsiz) Docker sandbox ortamında çalıştırılarak test suite'leri koşturulur (Yetenek Testi).

03

Agent'ın iddia ettiği tamamlanma çıktıları, agent'a sorulmadan bağımsız harici kaynaklarla çapraz doğrulanır (Dayanaklılık Testi).

04

Her iki test sonucu bağımsız eksenler olarak puanlanır ve manipülasyonu önlemek için Ed25519 asimetrik anahtarla imzalanır.

05

Kriptografik olarak denetlenebilir kayıt defterine işlenerek doğrulanmış agent karnesi (CV) oluşturulur.

Mimari & Teknik Kararlar

Tek bir FastAPI uygulaması üzerinde modüler değerlendirme motoru, SQLite veritabanı, asenkron otonom zamanlayıcı, internetsiz Docker sandbox yürütme motoru ve Ed25519 kriptografik imzalama katmanı.

Bir agent'ın ürettiği işi iki ayrı eksende ölçüp kanıta dayalı bir CV üretiyor: kod gerçekten çalışıyor mu (yetenek) ve agent doğru mu söylüyor (dayanaklılık). İki skor bilerek ayrı tutuluyor. Yabancı kod internetsiz sandbox'ta çalıştırılıyor, iddialar agent'a değil bağımsız kaynağa soruluyor, her sonuç Ed25519 ile imzalanıp denetlenebilir bir kayıt defterine yazılıyor. FastAPI üzerinde kendi iş kuyruğu ve zamanlayıcısıyla otonom dönüyor.