D'accord avec "Lebeau" pour l'accord (partiel) de cette locution.
Je voudrais préciser que - à mon avis - cette expression "seul(e) à seul(e)" implique un échange de l'un(e) à l'autre ...
Pardon à Verlaine ! ... qui fait ici "du remplissage" pour que son ver (sa phrase) soit bien rythmé(e).
J'admets tout-à-fait que l'on puisse se sentir seul, ou seule, ou seuls, ou seules - au pluriel, mais OUI ! ... même si le groupe compte dix personnes, les dix peuvent être seuls ! parmi d'autres gens ... différents ... ou indifférents ... ou dans un environnement déterminé ...
"Nous étions seuls, sur cette grande place déserte ..."
Il est concevable de se parler "seul(e) à seul(e)" (selon les personnes en présence) ...
Mais je ne peux pas considérer que "marcher seul à seule" soit correct. Il n'y a aucun échange de l'un à l'autre !
Pour respecter le rythme, Verlaine aurait pu écrire :
"Nous étions seuls au Monde et marchions en rêvant, Elle et moi ... " etc.
En revanche, le deuxième exemple est correct : avoir un entretein "seul(e) à seul(e)" signifie que les intervenant(e)s n'étaient que deux.
Dans cette dernière application, si l'échange avait lieu entre plus de deux personnes, il ne serait pas logique d'employer l'adjectif "seul(e)" !
Ce sont justement ces nuances qui font la richesse d'expression du français !
Mais, attention aux complications (parfois) inutiles ... pour faire "grand genre" ...