Обратная теория игр: как заставить ИИ-агентов соблюдать правила без вскрытия «мозга»
Исследователи предлагают применять к языковым моделям механизм-дизайн — подход, который не пытается понять внутреннюю логику нейросети, а выстраивает систему стимулов, делающую нежелательное поведение невыгодным. Вместо интерпретации «мыслей» модели предлагается вознаграждать её за честность и наказывать за обман.
https://aivolna.com/lenta/1842
Исследователи предлагают применять к языковым моделям механизм-дизайн — подход, который не пытается понять внутреннюю логику нейросети, а выстраивает систему стимулов, делающую нежелательное поведение невыгодным. Вместо интерпретации «мыслей» модели предлагается вознаграждать её за честность и наказывать за обман.
https://aivolna.com/lenta/1842