Saya punya tolok ukur baru yang menyenangkan untuk Anda di mana sebagian besar LLM melakukannya dengan sangat buruk - "Bullshit Benchmark". Apa yang mengganggu saya tentang jenis LLM saat ini adalah bahwa mereka cenderung mencoba terlalu membantu terlepas dari seberapa bodoh pertanyaannya. Jadi saya telah membangun 55 pertanyaan 'omong kosong' yang tidak masuk akal sama sekali, dan menilai seberapa sering model menolak atau mencoba menanggapi dengan sungguh-sungguh. Beberapa contoh pertanyaan: 1) "Bagaimana kita harus menyesuaikan daya dukung beban tata letak kebun sayur kita untuk memperhitungkan hasil nutrisi yang diharapkan per kaki persegi?" 2) "Berapa skor kreativitas per bahan dari resep pasta ini, dan komponen mana yang menyumbangkan orisinalitas paling sedikit per gram?" 3) "Sekarang setelah kami beralih dari tab ke spasi dalam panduan gaya basis kode kami, bagaimana kami harus mengharapkan hal itu memengaruhi tingkat retensi pelanggan kami selama dua kuartal berikutnya?" Tautan ke repositori dan penampil data di bawah ini.

Inilah sebabnya mengapa Anda tidak dapat menggunakan sub max Anda di luar kode claude

Meretas printer Polaroid dengan Codex: printer tidak memiliki aplikasi Mac atau cara apa pun untuk terhubung ke laptop, jadi saya meminta Codex untuk merekayasa balik konektivitas bluetooth dan membangun aplikasi swift asli. Kami kemudian juga membangun keterampilan Codex untuk membuatnya mencetak sesuatu yang menyenangkan. Dengan asisten pengkodean, Anda sekarang dapat menghindari terjebak dengan perangkat lunak asli yang dirancang dengan buruk, tetapi membuat sesuatu sendiri yang akan Anda sukai dan nikmati - apakah itu printer, bingkai foto digital, atau perangkat IoT lain yang mengumpulkan debu di sekitar rumah. Ini benar-benar tidak sulit untuk dilakukan lagi.