Salut les khey, pour un projet scolaire (paralleliser un code en java) j'obtiens toujours cette meme erreur: java.lang.OutOfMemoryError: unable to create new native thread pourtant je vois pas du tout ou ça part en couille dans mon code, n'aillant pas bcp d'ami qui puissent m'aider et que le prof m'envois clairement chier j'en viens a vous demander de l'aide

merci d'avance

Essaye de changer les paramètres Xmx et Xms au lancement

Montre ton code, sinon ça va être difficile

je créer surement beaucoup trop de thread du coup je dois trouver d'ou viens ça mais je ne le trouve pas

https://pastebin.com/KkVBxjsB

je recherche dans un liste un mots de façon parallel en coupant chaque fois la liste de façon a ne pas couper les most en deux mais jusqu'au premier espace

Ah, tiens en voila un probleme intelligent. Ptet que je l'utiliserai en exam.

Quel est la longueur de ton texte? A mon avis ca cree beaucoup trop de threads. Si tu as un texte de 10000 mots, ca fait 10000 threads. Si tu as un texte de 1 milion de mots, ca fait 1 million de threads.

Tu obtiens un outofmemory exception parceque la JVM est configurer pour ne pas consommer trop de memoire sans que tu ai specifie que c'est ce que tu voulais. Alors tu pourrais changer Xmx et Xms pour donner plus de memoire a ta JVM.

Mais ca ne resoud pas vraiment le probleme de fond. Le probleme de fonc est que tu creer trop de thread. Ce que je te conseilles est d'arreter la decomposition recursive apres X decompositions recursives. Ca te permet de choisir le nombre de tache 2^X assez facilement. En changeant X tu vas augment le parallelisme et la consommation de ressource en memoire et en thread. C'est un parametre a tuner, mais ca devrait relativement bien se passer.

Tu fais ca dans quel cours?

Le 06 mai 2018 à 15:44:08 godrik a écrit :
Ah, tiens en voila un probleme intelligent. Ptet que je l'utiliserai en exam.

Quel est la longueur de ton texte? A mon avis ca cree beaucoup trop de threads. Si tu as un texte de 10000 mots, ca fait 10000 threads. Si tu as un texte de 1 milion de mots, ca fait 1 million de threads.

Tu obtiens un outofmemory exception parceque la JVM est configurer pour ne pas consommer trop de memoire sans que tu ai specifie que c'est ce que tu voulais. Alors tu pourrais changer Xmx et Xms pour donner plus de memoire a ta JVM.

Mais ca ne resoud pas vraiment le probleme de fond. Le probleme de fonc est que tu creer trop de thread. Ce que je te conseilles est d'arreter la decomposition recursive apres X decompositions recursives. Ca te permet de choisir le nombre de tache 2^X assez facilement. En changeant X tu vas augment le parallelisme et la consommation de ressource en memoire et en thread. C'est un parametre a tuner, mais ca devrait relativement bien se passer.

Tu fais ca dans quel cours?

Merci beaucoup pour ta réponse J'arrête quand même la décomposition avec mon treshold T, ou ça n'a rien a voir? C'est pour mon cours de parallelisme and distribution a l'unif

Il te faut une condition d'arret de decomposition. Apres comment tu l'implementes depends de ce que tu cherches a faire exactement.

Le 06 mai 2018 à 16:08:26 godrik a écrit :
Il te faut une condition d'arret de decomposition. Apres comment tu l'implementes depends de ce que tu cherches a faire exactement.

En gros je cherche a voir si un mots ce trouve dans une liste, mais alors du coup mon treshold (séquentiel cut-off) il sert a quoi? Et a quelle moment je dois arrêter de décomposer ? c'est juste un if-test ?

Ca depend sur quoi tu veux mettre ton threshols. J'imagine ici que tu met le threshold sur la longeur de la chaine. Si la chaine est plus petite que T characteres, alors tu aretes la decomposition parallel et tu passes en sequentiel.

Mais tu veux probablement avoir un autre parametres pour ne pas creer trop de threads non plus.

Le 06 mai 2018 à 16:36:29 godrik a écrit :
Ca depend sur quoi tu veux mettre ton threshols. J'imagine ici que tu met le threshold sur la longeur de la chaine. Si la chaine est plus petite que T characteres, alors tu aretes la decomposition parallel et tu passes en sequentiel.

Mais tu veux probablement avoir un autre parametres pour ne pas creer trop de threads non plus.

Désolé mais je comprends pas pourquoi je devrais rajouter un deuxième paramètre si mon treshold s'occupe deja de ca...

Parceque ce que tu veux eviter c'est d'avoir trop de thread. Tu veux eviter ca pour deux raisons:

1. Parceque si les blocs sont trop petits, alors le travail sequentiel devient inefficace et tu vas perdre du temps
2. Parceque si tu as trop de blocs, tu vas creer trop de threads et ca va thrasher le systeme d'exploitation

C'est plus simple d'avoir deux parametres. Un qui donne la taille du bloc le plus petit que tu veux. Et un qui dit a quel moment la decomposition va thrasher le systeme.
Mais en effet, si tu as ces deux valeures alors tu peux ajuster la taille de bloc pour faire la meme chose.

Le problème venais du fait que je crée un forkjoinpool a chaque fois au lieu d'en créer un une fois, du coup j'avais enromemnt de forkjoinpool.

Merci a tout le monde pour votre aide