Hermes becerileri: İşe yarayan yöntem ne zaman kurala dönüşür?

Bir ekipte yeni başlayan birine “Geçen seferki gibi hazırla” denince genellikle birkaç kişi aynı anda farklı şeyler hatırlar. Biri dosya biçimini, diğeri kontrol listesini, bir başkası da teslimden önce alınması gereken onayı. Ajanın da benzer bir sorunu vardır: Geçen çalışmada işe yarayan yöntemi bugün yeniden uygulaması beklenir ama o yöntemin hangi koşullarda geçerli olduğu açık değildir. Bir konuşmayı saklamak ile güvenilir bir çalışma usulü oluşturmak aynı iş değildir.

Hermes Agent, Nous Research’ün açık kaynaklı ajan çalıştırma ortamı. Araç kullanan ajanları terminalde ve başka yüzeylerde çalıştırır; beceriler, belleğe alınan tercihler ve profiller aracılığıyla tekrarlanan işleri düzenlemeye yardımcı olur. Bu yazının konusu modelin bir şeyleri “öğrenmesi” değil. Bir ajanın başarılı olduğu bir işlemi ne zaman tekrar kullanılabilir bir talimata çevirmeli, o talimatı kim değiştirebilmeli ve değişiklik nasıl sınanmalı?

Beceri, eski konuşmanın kısa özeti değildir

Hermes’te beceri, ihtiyaç duyulduğunda yüklenen bir bilgi belgesi olarak çalışır. Her becerinin ne zaman kullanılacağını anlatan kısa bir tanımı ve uygulanacak yöntemi açıklayan içeriği bulunur. İlgili kaynaklar ayrıca dosyalar halinde tutulabilir; böylece her oturum bütün ayrıntıları baştan okumak zorunda kalmaz. Bu düzen, bir ajanın iş sırasında doğru yönteme ulaşmasını kolaylaştırır. Ancak belgede yazanların doğru, güncel ve bu ekip için yetkili olduğunu kendiliğinden garanti etmez.

Örneğin bir ekip, müşteri talebinden hata kaydı oluşturma yöntemini beceriye yazmış olsun. “Önce talebin kimliğini doğrula, ardından ilgili bileşeni belirle, sonra kayıt aç” gibi bir sıra yararlıdır. Fakat yöntem geçen ayın alan adlarını veya artık kullanılmayan bir servis uç noktasını içeriyorsa, beceri her çalışmada aynı hatayı daha tutarlı biçimde tekrarlar. Tekrarlanabilirlik kalite demek değildir; yalnızca davranışın daha kolay gözlenmesi demektir.

Bu ayrım özellikle ajanın kendi becerilerini oluşturabildiği sistemlerde önem kazanır. Bir kez işe yarayan geçici çözüm, sonraki işler için varsayılan usul haline gelmemeli. Beceri, kanıtlanmış koşulları ve geçerlilik sınırını anlatmalı. “Şu hatada bu komutu çalıştır” yerine “Bu belirti görülürse önce hangi kayıtları kontrol et, hangi koşulda dur, sonucu nasıl doğrula” demek daha güvenli bir tarif olur.

Aynı görevin iki farklı sonucu

Bir yayın ekibi düşünelim. Ajan iki dilde teknik yazı hazırlıyor, iç bağlantıları denetliyor ve kaynak depoya gönderiyor. İlk denemede bir iç bağlantı yanlış çıkıyor. Ajan bunu düzeltiyor, denetimi yeniden çalıştırıyor ve yazı teslim ediliyor. Yöntemi bir beceriye kaydetmek mantıklı görünüyor: Bağlantıları gerçek içerik dosyalarına karşı denetle ve hedef dildeki yolu kullan.

Burada saklanması gereken şey o günkü yazının bağlantı listesi değil, bağlantı kurma kuralı ve doğrulama adımıdır. Bugünün yazısı yarın mevcut olabilir, başka bir yazı taşınabilir. Eski bağlantıları ezberleyen beceri kısa sürede bozulur. Üstelik doğrulama komutu başarılı dönse bile değişiklik henüz uzaktaki depoda olmayabilir. Beceri dosya üretimi, yerel denetim, teslim ve hedef kontrolünü farklı adımlar olarak tanımlamalıdır.

İkinci denemede ajanın depoya gönderme yetkisi yoksa doğru davranış farklıdır. Yazıyı hazırlayıp denetim sonucunu kaydetmek mümkündür; gönderilmiş gibi bildirmek mümkün değildir. Bir beceri, yetki yokluğunu ortadan kaldırmaz. Yetkisiz adımda durma koşulunu yazmak, başarı yolunu yazmak kadar önemlidir. Önceki Hermes zamanlanmış iş yazısında çalışma ile teslim arasındaki farkı ele almıştık. Beceri, bu farkı her yeni çalışmada hatırlatan pratik bir taşıyıcı olabilir.

Yöntemi kim günceller?

Hermes belgelerine göre beceriler profil içinde saklanabilir ve ajan tarafından düzenlenebilir. Profillerin ayrı beceri, oturum ve yapılandırma alanları vardır. Bu, farklı ekip görevlerinin yöntemlerini ayırmak için elverişlidir. Yine de klasör ayrımı kurumsal onay sürecinin yerine geçmez. Bir destek ajanının bulduğu kısa yol, içerik ajanının ya da üretim ortamında çalışan ajanın otomatik kuralı olmamalıdır.

Önce becerinin sahibini tanımlamak gerekir. Metin içindeki süreç değiştiğinde bunu kim inceleyecek? Bir API alanı değişmişse doğrulama kimin sorumluluğunda? Özellikle dış sisteme yazan becerilerde, metni değiştirme hakkı ile değişikliği üretimde kullanma hakkı ayrı düşünülmeli. Bir yöntem taslağı yazılması kolay olabilir; onu bütün ajanlara etkinleştirmek ise gözden geçirme gerektirebilir. Bu iki adımı karıştırınca küçük bir düzeltme fark edilmeden geniş bir davranış değişikliğine dönüşür.

Becerinin geçerlilik alanını da kısa yazmak işe yarar: hangi işlerde tetiklenir, hangi hesap veya ortamda uygulanır, hangi durumda durup insana döner. Birden çok belge benzer işe aday olduğunda adlarının ve açıklamalarının açık olması, ajanın yanlış prosedürü çağırma ihtimalini azaltır. Gizli bilgileri beceri dosyasına yazmamak gerekir; işlem sırası ile erişim anahtarı aynı şey değildir.

Küçük bir değişikliği güvenle sınamak

Yeni bir beceriyi tüm işlere açmadan önce tek bir geri alınabilir görev üzerinde deneyin. Önce giriş ve beklenen çıktıyı yazın. Ardından beceri olmadan ajanın nerede takıldığını ve beceriyle hangi adımı farklı yaptığını kaydedin. Sadece düzgün sonuca değil, hata halinde ne yaptığına bakın: Eksik veriyle ilerliyor mu, yanlış hesabı seçiyor mu, doğrulama başarısızken başarı bildiriyor mu?

Sonra becerinin yalnızca yöntem içerdiğini kontrol edin. Kaynak listesi ve komutlar değişebilecekse doğrulama adımlarını tarif etsin; tek seferlik sonuçları ebedi gerçek gibi saklamasın. Sahibi, sürümü ve gözden geçirme nedeni belli olan bir değişiklik, “ajan bunu kendi kendine öğrendi” cümlesinden çok daha işe yarar. Böyle bir kayıt hem hatayı düzeltmeyi hem eski yönteme dönmeyi mümkün kılar.

Hermes becerileri uygulama bilgisini oturumlar arasında taşır; hangi rolün bu bilgiyi değiştireceği, hangi ajanın kullanacağı ve kimin sonucu kabul edeceği ise ayrı bir organizasyon meselesidir. Bu ilişkiyi görünür kılmak için agentic-organization, AI ajanlarını organizasyon şemasında birinci sınıf üye olarak yönetmeye yönelik self-hosted, dosya tabanlı bir platform sunar.