Brian ne partageait pas la solidarité masculine vis-à-vis des femmes, la misogynie des hommes, leur espèce de mépris généralisé, ni leur façon de parler : « tu l’as attrapé ? ». Non, il était du côté des femmes. Il avait un côté obsessionnel, Adèle H au masculin. Il se sentait extrêmement proche sur ce point d’un écrivain qu’il adorait, Balzac, lui aussi d’une énergie colossale, mais d’une sensibilité féminine. Voici quelques extraits qu’il affectionnait particulièrement :
« Je voulus me venger de la société, je voulus posséder l’âme de toutes les femmes en me soumettant toutes les intelligences, et voir tous les regards fixés sur moi quand mon nom serait prononcé par un valet à la porte d’un salon. Je m’instituai grand homme. Dès mon enfance, je m’étais frappé le front en me disant comme André Chénier : Il y a quelque chose là ! » Je croyais sentir en moi une pensée à exprimer, un système à établir, une science à expliquer. O mon cher Emile ! Aujourd’hui que j’ai vingt-six ans à peine, que je suis sûr de mourir inconnu, sans avoir jamais été l’amant de la femme que je rêvais de posséder, laisse-moi te conter mes folies ! N’avons-nous pas tous, plus ou moins, pris nos désirs pour des réalités ? Ah ! je ne voudrais point pour ami d’un jeune homme qui dans ses rêves ne se serait pas tressé des couronnes, construit quelque piédestal ou donné de complaisantes maîtresses. Moi, j’ai souvent été général, empereur ; j’ai été Byron, puis rien. Après avoir jouré sur le faîte des choses humaines, je m’apercevais que toutes les montagnes, toutes les difficultés restaient à gravir. Cet immense amour-propre qui bouillonnait en moi, cette croyance sublime à une destinée, et qui devient du génie peut-être, quand un homme ne se laisse pas déchiqueter l’âme par le contact des affaire aussi facilement qu’un mouton abandonne sa laine aux épines des halliers où il passe, tout cela me sauva. …Sans cesse arrêtée dans ses expansions, mon âme s’était repliée sur elle-même. Plein de franchise et de naturel, je devais paraître froid et dissimulé ; le despotisme de mon père m’avait ôté toute confiance en moi ; j’étais timide et gauche, je ne croyais pas que ma voix pût exercer le moindre empire, je me déplaisais, je me trouvais laid, j’avais honte de mon regard. Malgré la voix intérieure qui doit soutenir les hommes de talent dans leurs luttes, et qui me criait : Courage ! marche ! malgré les révélations soudaines de ma puissance dans la solitude, malgré l’espoir dont j’étais animé en comparant les ouvrages nouveaux admirés du public à ceux qui voltigeaient dans ma pensée, je doutais de moi comme un enfant. J’étais la proie d’une excessive ambition, je me croyais destiné à de grandes choses et je me sentais dans le néant. J’avais besoin des hommes, et je me trouvais sans amis. Je devais me frayer une route dans le monde, et j’y restais seul, moins craintif que honteux. Pendant l’année où je fus jeté par mon père dans le tourbillon de la grande société, j’y vins avec un cœur neuf, avec une âme fraîche. Comme tous les grands enfants, j’aspirais secrètement à de belles amours. Je rencontrai parmi les jeunes gens de mon âge, une secte de fanfarons qui allaient tête levée, disant des riens, s’asseyant sans trembler près des femmes qui me semblaient les plus imposantes, débitant des impertinences, mâchant le bout de leur canne, minaudant, se prostituant à eux-mêmes les plus folies personnes, mettant ou prétendant avoir mis leurs têtes sur tous les oreillers, ayant l’air d’être au refus du plaisir, considérant les plus vertueuses, les plus prudes, comme de prise facile et pouvant être conquises à la simple parole, au moindre geste hardi, par la premier regard insolent ! Je te le déclare, en mon âme et conscience, la conquête du pouvoir ou d’une grande renommée littéraire me paraissait un triomphe moins difficile à obtenir qu’un succès auprès d’une femme de haut rang, jeune, spirituelle et gracieuse. Je trouvais donc les troubles de mon coeur, mes sentiments, mes cultes en désaccord avec les maximes de la société. J’avais de la hardiesse, mais dans l’âme seulement, et non dans les manières. J’ai su plus tard que les femmes ne voulaient pas être mendiées ; j’en ai beaucoup vues que j’adorais de loin, auxquelles je livrais un coeur à toute épreuve, une âme à déchirer, uen énergie qui ne s’effrayait ni des sacrifices, ni des tortures ; elles appartenaient à des sots de qui je n’aurais pas voulu pour portiers. Combien de fois, muet, immobile, n’ai-je pas admiré la femme de mes rêves surgissant dans un bal ; dévouant alors en pensée mon existence à des caresses éternelles, j’imprimais toutes mes espérances en un regard, et lui offrait dans mon extase un amour de jeune homme qui courait au-devant des tromperies. En certains moments, j’aurais donné ma vie pour une seule nuit. Eh ! bien, n’ayant jamais trouvé d’oreilles où jeter mes propos passionnés, de regards où reposer les miens, de cœur pour mon cœur, j’ai vécu dans tous les tourments d’une impuissante énergie qui se dévorait elle-même, soit faute de hardiesse ou d’occasions, soit inexpérience. »
« Quelle que fut la puissance de ce jeune homme et son insouciance en fait de plaisirs, malgré sa satiété de la veille, il trouva dans la Fille aux yeux d’or ce sérail que sait créer la femme aimante et à laquelle un homme ne renonce jamais. Paquita répondait à cette passion que sentent tous les hommes vraiment grands pour l’infini, passion mystérieuse traduite dans Manfred, et qui poussait Don Juan à fouiller le cœur des femmes, en espérant y trouver cette pensées sans bornes, à la recherche de laquelle se mettent tant de chasseurs de spectres, que les savants croient entrevoir dans la Science, et que les mystiques trouvent en Dieu seul. L’espérance d’avoir enfin l’Etre idéal avec lequel la lutte pouvait être constante sans fatigue, ravit de Marsay qui, pour la première fois, depuis longtemps, ouvrit son cœur . »
« Si vous saviez avec quelles forces une âme solitaire et dont personne ne veut s’élance vers une affection vraie ! Je vous aime, inconnue, et cette bizarre chose n’est que l’effet naturel d’une vie toujours vide et malheureuse…Je suis comme un prisonnier qui, du fond de son cachot, entend au loin une délicieuse voix de femme…Je vous aime déjà trop sans vous avoir vue. Il y a certaines phrases de vos lettes qui m’ont fait battre le cœur, et si vous saviez avec quelle ardeur je m’élance vers ce que j’ai si longtemps désiré, de quel dévouement je me sens capable ! Quel bonheur ce serait pour moi de subordonner ma vie à un seul jour ! Tout ce que la femme rêve de plus délicat et de plus romanesque trouve en mon cœur, non pas un écho, mais une simultanéité incroyable de pensée. Pardonnez-moi l’orgueil de la misère et la naïveté de la souffrance. »
« L’amour, cette immense débauche de la raison, ce mâle et sévère plaisir des grandes âmes, et le plaisir, cette vulgarité vendue sur la place, sont deux faces différentes d’un même fait. La femme qui satisfait ces deux vastes appétits des deux natures, est aussi rare, dans le sexe, que le grand général, le grand écrivain, le grand artiste, le grand inventeur, le sont dans une nation. L’homme supérieur, comme l’imbécile, un Hulot comme un Crevel, ressentent également le besoin de l’idéal et celui du plaisir ; tous vont cherchant ce mystérieux androgyne, cette rareté, qui, la plupart du temps, se trouve être un ouvrage en deux volumes. »