Also ich habe jetzt nicht verstanden, worum es geht und wo das Problem liegt. Könntest du evtl. mit einer Skizze veranschaulichen, was du machen willst, und was du dabei nicht hinbekommst?

Wenn ich dich richtig verstanden habe, willst du die sogenannten Baryzentrischen Koordinaten in euklidische Koordinaten umrechnen. Das geht recht einfach wie folgt. Die drei Eckpunkte seien und die dort befindlichen positiven Gewichte entsprechend . Dann ist der Punkt im Dreieck, den du suchst, einfach


Diese Formel stimmt auch überein mit deiner Forderung, dass sich der Punkt auf einer Seite des Dreiecks befinden muss, wenn das Gewicht der gegenüberliegenden Ecke 0 ist. Denn ist beispielsweise , so ist die Formel gerade eine Affinkombination von A und B, beschreibt also einen Punkt auf der Geraden durch A und B.