how to improve performance by avoiding multiple loops ?

[Anonymous]

Hi Team,

I’ve a flow which currently takes 10-12 hours to execute and do the job. I want to improve the performance of the flow, but I couldn’t find a solution. Maximum I did, I created a parallel process but still couldn’t see the much improvement. It was earlier taking 16 hours and now it is taking 10 hours.

I’ll describe the flow here.

Basically, I’ve few IDs (Account’s unique identifier) & based on those [Account ID] I download the document (documents are in PDF Format) from API using ‘HTTP’ and reading the text from it and based on condition (keywords match ) and moving it in respective folder.

What I have done so far is below.

1. Read [Account Ids] from Excel (List Rows present in table)
2. Iterate over the output from step 1 (Apply to each)
3. Call API to fetch document number for each [Account Id]
4. Again, iterating over each [Document Numbers] for the above [Account ID’s]. basically, it’s the second loop. (Apply to each)
5. Call API to download the document by passing the document number coming from previous output (HTTP)

1. Save the file in one drive (Create file)
2. Get the file from One Drive (Get file content)
3. Read the text from it (Predict)

1. Append the lines in a variable.

Now, this is where we feel that our most of the time is going.

And Next we're using 'Condition' to check the keywords and based on those keywords files are being moved.

Requesting you to kindly suggest any solution in this case, so that we can reduce the execution time.

[grantjenkins]

Are you able to provide some sample JSON output you get in results from the Predict action?

If the Apply to each for your results is what's taking up the most time, then we can definitely improve performance, but just need to see what we're working with. I think we can get what you want without any of the last two loops.

[Anonymous]

@grantjenkins  Please see the attached output in txt file.

[grantjenkins]

Ok - I think I've got what you're after. I'm getting all the text joined for each page and taking less than a couple of seconds.

Are you able to show exactly what you're doing within the current Apply to each with regards to the Condition, etc.? I'm assuming you have a Condition for each Page (and corresponding joined text), then if the text contains a particular value, you do something. Do you have multiple Conditions or a Switch, etc?

Also, did you just want the output to be something like that below (array of objects including the page number and joined text), or just a straight array of the joined text? Note that we're getting the below output without any loops - so you'd just need to loop over each item in the below array, apply you condition(s), etc.

[
  {
    "page": 1,
    "text": "insolvenzverwaltung,maier I eckert-haug,*HDE44469 *,insolvenzverwaltung maler I echert-haug,Klaus Ma er Kirchstrate 11 78054 Villingen-Schwenning,Inkasso Goldbach,EINGEGANGEN,AZ: 556.387,10,Seligenstadter Straße 100,63791 Karlstein a. Main,2 6. Okt. 2022,Erled.,Villingen-Schwenningen, 24.10.2022,Insolvenzverfahren über das Vermögen der Miriam Matisch, geb.,02.08.1991, Villinger Straße 16, 78166 Donaueschingen,Az. 1 IK 163/22,Hier: Ihr Zeichen s. Adressfeld,Eröffnung des Insolvenzverfahrens,Sehr geehrte Damen und Herren,,mit Beschluss des Amtsgerichts - Insolvenzgericht - Villingen-,Schwenningen vom 20.10.2022, 15:00 Uhr wurde über das Vermögen der,Miriam Matisch das Insolvenzverfahren eröffnet und der Unterzeichner zum,Insolvenzverwalter bestellt. Grundlage für das Verfahren ist die,Insolvenzordnung.,Ich darf Sie bitten, Ihre Forderungen unter obigem Aktenzeichen zur,Insolvenztabelle anzumelden.,In der Anlage erhalten Sie:,1. Kopie des Beschlusses des Amtsgerichts vom 20.10.2022,2. Vordruck zur Anmeldung der Forderungen,3. Merkblatt zur Anmeldung von Forderungen beim Insolvenzverwalter,Die Anmeldung ist schriftlich, in zweifacher Ausfertigung bis 29.12.2022,vorzunehmen. Entsprechende Belege (2-fach) sind beizufügen. Bei der,Insolvenzverwaltung,Berechnung der Zinsen sind der Zinssatz und der Zinszeitraum explizit,Maler | Eckert-Haug,In Kooperation,anzugeben. Dabei ist das beigefügte Merkblatt zu beachten. Ich weise,Kirchstr. 11,ausdrücklich darauf hin, dass unzureichend angemeldete Forderungen,78054 Villingen-Schwenningen,nicht anerkannt werden können.,Telefon:,07720 / 997 44 - 0,Telefax:,07720 / 997 44 - 10,Eine mündliche Gläubigerversammlung wird vorerst nicht einberufen. Die,E-Mail: info@insolvenzverwaltung-m-eh.de,angemeldeten Forderungen werden im schriftlichen Verfahren geprüft.,Klaus Maier Rechtsanwalt FA ArbR,Insolvenzverwalter . Treuhänder,Gutachter,Weitere Informationen entnehmen Sie bitte dem beigefügten Beschluss,Renate Eckert-Haug gepr. Bilanzbuchh. IHK,vom 20.10.2022.,Insolvenzverwalterin . Treuhänderin,Gutachterin,Weitere Kooperationspartner:,Mit freundlichen Grüßen,Tritschier Maier Mager,Klaus Maier Rechtsanwalt / FA f. Insolvenz- und Arbeitsrecht,Fachanwälte,als Insolvenzverwalter,Kirchstr. 11,78054 Villingen-Schwenningen,Dieses Schreiben wurde elektronisch erstellt und ist ohne Unterschrift gültig."
  },
  {
    "page": 2,
    "text": "Abschrift,Aktenzeichen:,1 IK 163/22,Amtsgericht,Villingen-Schwenningen,INSOLVENZGERICHT,Beschluss,In dem Insolvenzverfahren über das Vermögen d.,Miriam Matisch, geboren am-03.08.1991, Villinger Straße 16, 78166 Donaueschingen,· - Schuldnerin -,hat das Amtsgericht Villingen-Schwenningen am 20.10.2022 beschlossen:,1.,Das Insolvenzverfahren über das Vermögen der Schuldnerin wird wegen Zahlungsunfähig-,keit am 20.10.2022 um 15.00 Uhr eröffnet.,2.,Der Schuldnerin werden die Kosten des eröffneten Verfahrens einschließlich der Vergü-,tungsansprüche des Insolvenzverwalters bis zur Aufhebung bzw. Einstellung des Verfah-,rens gestundet, da ihr Vermögen voraussichtlich nicht ausreichen wird, um diese Kosten,zu decken.,3.,Es wird festgestellt, dass die Schuldnerin Restschuldbefreiung erlangt, wenn sie den Ob-,liegenheiten der §§ 295, 295 a InsO nachkommt und die Voraussetzungen für eine Versa-,gung nach den §§ 290, 297 bis 298 InsO nicht vorliegen.,...,4 .. . . Zum Insolvenzverwalter wird. bestellt :. ..,..,.. \",Rechtsanwalt Klaus Maier >>> ..,Kirchstraße 11, 78054 Villingen-Schwenningen,Telefon: 07720 / 997 440,5.,Die Insolvenzgläubiger werden aufgefordert, Insolvenzforderungen (§ 38 InsO) bis zum,· 29.12.2022 bei dem Insolvenzverwalter schriftlich anzumelden=\"\" > ,, “ ;"
  },
  {
    "page": 3,
    "text": "1 IK 163/22,- 2 -,Bei der Anmeldung sind Grund und Betrag der Forderung anzugeben.,Ergibt sich nach Einschätzung des Gläubigers, dass der Forderung eine vorsätzlich be-,gangene unerlaubte Handlung, eine vorsätzliche pflichtwidrige Verletzung einer gesetzli-,chen Unterhaltspflicht oder eine Steuerstraftat der Schuldnerin nach §§ 370 (Steuerhinter-,ziehung), 373 (gewerbsmäßiger, gewaltsamer und bandenmäßiger Schmuggel) oder §,374 (Steuerhehlerei) der Abgabenordnung zugrunde liegt, sind diese Tatsachen anzuge-,ben.,6.,Das Insolvenzverfahren wird bis auf Weiteres schriftlich durchgeführt, § 5 Abs. 2 InsO.,Sollten Beschlussfassungen über die eventuelle Wahl eines anderen Insolvenzverwalters,,über die Einsetzung eines Gläubigerausschusses sowie über die in §§ 66 (Rechnungsle-,gung Insolvenzverwalter), 100 f. (Unterhaltszahlungen aus der Insolvenzmasse), 149 (An-,lage von Wertgegenständen), 160 (Zustimmung zu besonders bedeutsamen Rechtshand-,lungen des Insolvenzverwalters, insbesondere, wenn das Unternehmen oder ein Betrieb,,das Warenlager im Ganzen, ein unbeweglicher Gegenstand aus freier Hand, die Beteili-,gung des Schuldners an einem anderen Unternehmen, die der Herstellung einer dauern-,den Verbindung zu diesem Unternehmen dienen soll, oder das Recht auf den Bezug wie-,derkehrender Einkünfte veräußert werden soll; wenn ein Darlehen aufgenommen werden,soll, das die Insolvenzmasse erheblich belasten würde oder wenn ein Rechtsstreit mit er-,heblichem Streitwert anhängig gemacht oder aufgenommen, die Aufnahme eines solchen,Rechtsstreits abgelehnt oder zur Beilegung oder zur Vermeidung eines solchen Rechts-,streits ein Vergleich oder ein Schiedsvertrag geschlossen werden soll), 233 (Zustimmung,Fortsetzung Verwertung und Verteilung bei Insolvenzplan) InsO bezeichneten Angelegen-,heiten erforderlich sein, bedarf es der Antragstellung bis 17.01.2023, damit die Anordnung,des schriftlichen Verfahrens widerrufen werden kann.,Die Prüfung der angemeldeten Forderungen erfolgt gem. § 5 Abs. 2 InsO im schriftlichen,Verfahren.,Prüfungsstichtag, der dem Prüfungstermin entspricht (§ 176 InsO), ist der 17.01.2023.,Spätestens an diesem Tag muss der schriftliche Widerspruch, mit dem ein Beteiligter eine,Forderung bestreitet, bei Gericht eingehen. Im Widerspruch ist anzugeben, ob die Forde-,rung nach ihrem Grund, ihrem Betrag oder ihrem Rang bestritten wird.,Ein solcher Widerspruch kann mit einfacher E-Mail nicht wirksam abgegeben werden."
  }
]

[Anonymous]

@grantjenkins 
Basically, I've few keywords based on which I want to check weather that keywords exists in the PDF file or not.

If the file contains that particular keywords then do some action otherwise move into a folder.

Please guide me how to get the all the values from each page and get it in an array variable so that I can use condition to check weather the variable contains the keyword or not.

[grantjenkins]

Just off to sleep now (1AM for me) but will post details/screenshots of the solution tomorrow when I wake up.

[Anonymous]

@grantjenkins Sure, Thank you so much !

[grantjenkins · Accepted solution]

I think this is what you are after. I ended up joining all the text for the entire document rather than by page since you said you wanted to make your decision based on keywords within the document itself.

See full flow below. I'll go into each of the actions.

Initialize variable is a string variable called data that holds all of your data for the document (what you provided in the text file). In your flow, this would just be the output from your Predict action.

XML is a Compose that converts the data to XML so we can use XPath expressions to extract out the text. Note that it also adds a root element to ensure it's valid XML. The expression used is below - you would use the output from your Predict in place of the data variable here.

xml(json(concat('{"root": ', variables('data'), '}')))

Text is an Compose that uses XPath to retrieve all the text elements and joins them with a comma. The expression used is below. This will give you all the text from the document so you can apply your condition.

join(xpath(outputs('XML'), '//results/lines/text/text()'), ',')

You can then use a Condition to check for your keywords within the document.

[Anonymous]

Hi @grantjenkins  

Thanks a ton. This is exactly what we were looking for.