Im Verlauf der Amtszeit mehrten sich die Pannen. Mehrfach wurde der Verdacht laut, der Vater von drei Töchtern sei amtsmüde. 2009 gipfelte die Kritik in einem Entlassungsantrag der SPD. Sie stellte dem Wissenschaftler, der den Landtag gelegentlich von oben herab behandelte, eine regelrechte Schadensbilanz auf. In der Auseinandersetzung über die badischen Kulturgüter habe er das Land "bundesweit blamiert". Damals sollte das Land Handschriften kaufen, die es schon besaß. Im Streit über die Kündigung des Unfallchirurgen Hans Peter Friedl schloss Frankenberg einen Vergleich, der zurückgenommen wurde.
Auch bei der überraschenden Präsentation eines neuen Intendanten für die Stuttgarter Oper ging die Panne zulasten Frankenbergs. Die Opposition forderte Korrekturen am Leitbild der "unternehmerischen Hochschule". Die CDU hielt zu ihrem Wissenschaftsminister.
Seinen Humor hat Frankenberg sich erhalten. Das beweist sein Lieblingswitz: "Ein Badener, ein Württemberger und ein Pfälzer besuchen ein Weinlokal. Der Pfälzer bestellt einen Portugieser, der Württemberger einen Trollinger und der Badener Wasser. Die anderen beiden fragen ihn, warum er Wasser bestelle. Der Badener antwortet: Wenn ihr keinen Wein trinkt, trinke ich auch keinen." Frankenberg legt besonderen Wert darauf, dass der Witz mit unterschiedlicher landsmannschaftlicher Rollenverteilung erzählt werden kann.