Добавление функции, возвращающей значение типа class

Поскольку значения, возвращаемые дескриптором метода, это массив типа Variant, вам надо преобразовать результаты типа TObject к Variant.

  fsScript1.AddMethod('function MainForm: TForm', CallMethod); 

{ обработчик }
function TForm1.CallMethod(Instance: TObject; ClassType: TClass; const MethodName: String; 
  var Params: Variant): Variant; 
begin 
  Result := Integer(Form1);
end;