Quelqu'un a ouvert le feu sur mon campus. Du coup, le campus est en lockdown. C'est qupi cette fascination pour les armes a feu? Pays a la con...

Quelle horreur, je suppose que si tu as posté c'est que tu était en sécurité donc tant mieux. J'ai vu un article sur ça et malheureusement le tireur a fait des victimes

Ouais mon batiment est assez loin. Deux des victimes sont des etudiants en informatique. Mais je ne connaissais aucun des deux.

ça me glace le sang a chaque fois que je lis ces news

Pays a la con...

Ah ça, ça fait partie du package ..
"les deux victimes sont deux étudiants de 17 ans et 18 ans" bordel à cet âge en plus
" le suspect interpellé est un étudiant de 22 ans qui avait abandonné son cursus dans cette université." Un mec qui s'est fait viré? Tu l'avais en cours?

Du coup ils ont rendu les exams finaux facultatifs, ils font aussi ça en France après des suicides je crois

Est-ce que parmi vous certains programment en Swift ? Outre la documentation qui a l'air de pas être pratique pour chercher des trucs, l'IDE xcode que je trouve plutôt mauvais par rapport à Android Studio, je trouve le langage vraiment pas si génial que ça, c'est peut-être un pas un avant par rapport à objective-c (que je connais pas mais qui rien que syntaxiquement je trouve moche) mais c'est pas au niveau de Kotlin et je pense même presque préférer Java.

Je m'explique, déjà un truc qui me saoul c'est qu'ils cassent la compatibilité avec plein de trucs chaques années, à chaque fois sur stackoverflow les réponses ressemblent à ça : https://stackoverflow.com/a/24069331 , pour presque tout, presque tout le temps. Autant dire que toutes les ressources qu'on trouve sur internet vieillissent pas très bien et même si xcode supporte la conversion d'ancien code Swift il le fait que pour les 1 ou 2 dernières versions donc si tu trouves un "vieux" projet (qui a deux ans ou plus) impossible de l'importer et de le tester dans xcode, c'est énervant.

Certaines choses sont inutilement compliquées genre pour avoir la substring après le premier slash en Java / Swift :
Java : str.substring(str.indexOf('/') + 1);
Swift : String(str[str.index(after: str.index(of: "/")!)...])

Alors oui le code est découpable (mettre la recherche du slash ailleurs pour pouvoir vérifier si elle a retournée un résultat valide sans risquer une exception avec ! etc) mais globalement ça donne l'idée. Je sais que le but est de supporter l'unicode c'est pour ça qu'on peut pas faire de +1 sur l'index pais au final moi ma string je sais qu'elle ne contient pas d'unicode (et même si c'était le cas ça changerait rien car mon index est sur un caractère ascii) et ça complique les choses sans rien m'apporter au final.

Un autre truc qu'on peut voir c'est que la fonction index(of: ) prend uniquement un seul caractère, mais ça se voit pas parce que les caractères s'écrivent entre double quote et non entre simple quote comme en Java.

Dans le même ordre d'idée les structures et les classes fonctionnent différemment (passage par copie vs passage par référence) mais c'est quelque chose qui ne voit que dans la déclaration de la classe.

var fooA = Foo()
fooA.content = 0
var fooB = fooA
fooB.content = 5
//fooA.content == 5

var barA = Bar()
barA.content = 0
var barB = barA
barB.content = 5
//barA.content == 0

Ma variable fooB et fooA font référence au même objet parce qu'elles sont des classes, alors que ma variable barB est une copie de barA parce qu'elles sont des structures. Impossible de savoir ce qui allait se passer sans connaître la déclaration de la classe / structure, et ça ça m'énerve un peu, au moins en C++ les références sont marquées avec un symbole spécial donc on sait toujours ce qu'on manipule.

Bon c'est globalement le plus gros que j'avais à dire, c'est peut-être parce que je connais pas assez bien le langage (fort possible) et que certains des problèmes que j'ai sont juste dû au fait que j'utilise mal ses fonctionnalités, mais je voulais savoir l'avis d'autres personnes là dessus.

Si ce que tu dis est vrai, alors ca a l'air d'etre un langage pas mature pour etre deploye de facon raisonnable.

Ca me rappelle un peu l'epoque ou python est devenu populaire et il y a eu une tonne de mise a jour sur le langage qui sont super chiante a suivre.

encore rejeté d'une conférence Je sais pas vous, mais je trouve le système académique pour les conférences assez mal foutu. Je suis de plus en plus dégoûté avec le temps.

- Tout est anonyme mais au final si on te connaît ça passe (e.g. "We use X TPUs" --> Google) ou alors personnellement car le reviewer a vu ton papier à un workshop. Si on veut vraiment trouver, on tombe facilement sur les auteurs avec un moteur de recherche, soit car le papier est déjà sur Arxiv, ou listé sur une page personnelle

- Les reviewers sont des fois absoluement à côté de la plaque ou écrivent 1.5 lignes. Je sais pas si c'est le cas, mais j'ai l'impression que les reviewers délèguent beaucoup à d'autres personnes, e.g. des Profs à leurs doctorants. Le problème c'est qu'il suffit d'un comme ça et ta publi est refusée.

- Au final c'est assez random, tu peux très bien avoir un 4,3,2/5 ou un 9,5,4/10. ça me fait penser à l'expérience de NIPS 2014 (i.e. NeurIPS) où au final, 50% des papiers acceptés étaient refusés par un autre set de reviewers.

Quels sont vos avis là dessus ? Devrait-on baser le doctorat sur le nombre de publis ? (Dans mon cas, la rumeur tend vers 3 articles en top-tier conferences) Comment pourrait-on améliorer le process de reviews ? Est-ce qu'au final l'industrie dirige la recherche car ils ont les ressources computationelles ? (dans le cas du machine learning, c'est clairement le cas je trouve entre Google, Microsoft, Facebook, Nvidia etc)

Le 10 juillet 2019 à 17:34:15 vive_cod4 a écrit :
encore rejeté d'une conférence Je sais pas vous, mais je trouve le système académique pour les conférences assez mal foutu. Je suis de plus en plus dégoûté avec le temps.

C'est pas si bien foutu. Perso, je commence a soumettre plus au journaux qu'au conf a cause de ca.

- Tout est anonyme mais au final si on te connaît ça passe (e.g. "We use X TPUs" --> Google) ou alors personnellement car le reviewer a vu ton papier à un workshop. Si on veut vraiment trouver, on tombe facilement sur les auteurs avec un moteur de recherche, soit car le papier est déjà sur Arxiv, ou listé sur une page personnelle

En principe, les reviewers sont cense ne pas chercher a decouvrir l'identite des auteurs. Et l'anonimat amene suffisament d'incertitude pour faire le travail. Dasn les conf ou je suis dans le PC, on a fait les etudes pour voir si le double blind marchait, et oui ca marche. Le nombre de papier de petite universite et de minorite a augmente.

- Les reviewers sont des fois absoluement à côté de la plaque ou écrivent 1.5 lignes. Je sais pas si c'est le cas, mais j'ai l'impression que les reviewers délèguent beaucoup à d'autres personnes, e.g. des Profs à leurs doctorants. Le problème c'est qu'il suffit d'un comme ça et ta publi est refusée.

Ca, ca arrive. Mais ca a l'air de vouloir dire que le PC n'a pas fait son boulot. Donc arrete de soumettre a cette conf. Apres tu vois des cas ou le papier est borderline et tu demandes une review de plus a un externe et des fois tu as une review publique tres courte avec un commentaire pour le PC un peu plus long. Mais si c'est repete, ca veut dire que le PC ne fait pas son travail.

- Au final c'est assez random, tu peux très bien avoir un 4,3,2/5 ou un 9,5,4/10. ça me fait penser à l'expérience de NIPS 2014 (i.e. NeurIPS) où au final, 50% des papiers acceptés étaient refusés par un autre set de reviewers.

En vrai ce que NIPS a montrer c'est qu'il y a 3 groupes de papiers. Les rejet clair, les acceptation clair, et le paquet du milieu. Le paquet du milieu est assez aleatoire.

Quels sont vos avis là dessus ? Devrait-on baser le doctorat sur le nombre de publis ? (Dans mon cas, la rumeur tend vers 3 articles en top-tier conferences)

Non, certainement pas. Mon avis la dessus est qu'il faut arreter de juger la qualite d'un travail en fonction de la ou le papier est publie. C'est ca le probleme de fond. Les conference ca a pour but de causer au gens, pas d'obtenir un badge de qualite sur ton travail. Ce sont les committee de recrutement qu'il faut change, pas les conf. Les matheux et les physiciens ne font pas ca. Pourquoi est ce qu'on le fait?

Comment pourrait-on améliorer le process de reviews ? Est-ce qu'au final l'industrie dirige la recherche car ils ont les ressources computationelles ? (dans le cas du machine learning, c'est clairement le cas je trouve entre Google, Microsoft, Facebook, Nvidia etc)

Je pense que le processus de review est pas si mal que ca. Le probleme est que les gens ont monte sur un piedestal quelques conf en particulier et que si tu ne publie pas la, alors ce que tu fais c'est de la merde. C'est une attitude completement stupide. Et c'est ca le probleme de fond.

Dans le cadre du machine learning, j'ai l'impression que le domaine en est a un point ou on fait peu de cherche et beaucoup d'application. On dirait que le probleme actuel est de voir les limites des outils que l'on a. Du fait, c'est en effet beaucoup plus un probleme industrielle qu'un probleme de recherche. Et vouloir entrer en competition avec des boites en recherche industrielle ca m'a l'air d'etre une mauvaise idee.

Il y a pas mal de langage qui ressemblent presque à des langages "propriétaires" parce qu'ils servent quasiment que pour développer des applications sur un seul produit, et souvent ça n'a aucune raison valable d'exister et c'est juste une barrière à l'entrée d'un domaine. J'essaie autant que possible de rester sur des langages très largement utilisés et idem pour les bibliothèques, déjà qu'on sait pas ce qui sera utilisé dans 10ans, si on plus on commence à utiliser des choses pas connues ou obscures aujourd'hui..
A minima les "petits" langages devraient uniformisé la base de leur façon de coder vers python/c++. Déjà quand je me met sur du matlab j'ai envie de vomir
Swift j'ai compris que c'était le langage d'Apple, et Apple c'est THE corporation qui fait les choses différemment sans vraie raison, c'est ultra propriétaire et pas majoritaire du tout, donc j'ai absolument évité le swift.

vive_cod4 Beaucoup de questions.J'ai un avis global sur les papiers. Déjà je lis essentiellement ceux sur arxiv, c'est dommage mais souvent les autres sites sont moins connus ou pas libres, donc si quelqu'un arrive pas à mettre son papier sur arxiv c'est dommage vu qu'il y a peu de chance que je le trouve et que je le lise. Mais vu ce qu'ils laissent passer je pense que c'est pas trop dur d'y mettre un papier SI IL EST PERTINENT, ils se sont souvent plains que des étudiants en dernière année d'école publiaient leur projet de cours et que ça leur faisait perdre leur temps (je les comprends).

Ensuite, je regarde jamais la conférence dans laquelle est le papier, ça peut etre CVPR, NIPS ou le conglomérat des dernières écoles du monde je m'en tappe, je lis rapidement le papier et j'estime son intérêt et sa crédibilité. Ca peut même être un papier par un passionné amateur complet aucune importance.

Pour moi un doctorat ça se base sur le travail effectué, publié ou non, et encore une fois le top des conférence perso je m'en tappe il y a plein de papier de CVPR qui ont 0 intérêt. A côté je suis pas sur que Yolov3 ait été mis dans une conf et ça a été un état de l'art. Vaut mieux publier UN papier qui est propre, irréprochable et reproductible à la perfection et qui éclaire totalement un domaine, qu'en publier 50 pour faire des micro-améliorations sans intérêt en mode "j'ai changé un paramètre" ou "j'ai mis une couche meilleure et le résultat est meilleur" etc..
Si ton papier est bon, il finira par passer quelque part.
Et est-ce que l'industrie dirige la recherche? Un grand, un ENORME : NON
L'industrie publie ENORMEMENT de "on a mis plus de paramètre et de calculs et c'est meilleur" Ca n'a aucun intérêt. Alors oui si tu comptes le nombre de papier Google c'est génial, mais il faut regarder la pertinence de ces papiers ( Google c'est le mauvais exemple parce que t'as une proportion non négligeable de papier où c'est pas que du calcul).
Bref, moi ce que j'adore c'est voir des papiers qui disent "on a changé ça et ça, voilà pourquoi, on a créé ça, c'est nouveau, on a fait les calculs sur un petit PC et ça a des meilleurs résultats".

Si tu m'envoies ton papier je pourrai donner mon avis si tu veux. Perso on m'a déjà proposé de publier sans avoir fait de recherche, juste pour dire ce que j'utilisais, comment je l'utilisais, et les résultats que j'avais, et j'ai dis non. C'est pas de la recherche.

Dans le cadre du machine learning, j'ai l'impression que le domaine en est a un point ou on fait peu de cherche et beaucoup d'application. On dirait que le probleme actuel est de voir les limites des outils que l'on a. Du fait, c'est en effet beaucoup plus un probleme industrielle qu'un probleme de recherche. Et vouloir entrer en competition avec des boites en recherche industrielle ca m'a l'air d'etre une mauvaise idee.

En fait je crois qu'on fait autant de recherche qu'avant, un petit peu plus, c'est juste qu'on fait énormément plus d'application, et les gens qui font que de l'application ont cru qu'ils devaient publier, donc ils publient, et ça passe....alors que c'est pas de la recherche.
C'est pas mal en soit d'avoir des compte rendus d'application, mais c'est pas vraiment la même chose que de la recherche.

Et puis il y a un problème avec les industriels, c'est qu'ils ont de l'argent et des investissements. Du coup au lieu de dire "on va mettre deux ingénieurs pour optimiser à fond ce modèle et l'entrainer sur un GPU" ils vont plutôt dire "on va prendre un ingénieur et 20GPU et on va grossir ce modèle et entrainer jusqu'à ce que ça passe".
Et hélas depuis resnet cette approche a tendance à fonctionner en deep learning. Google c'est beaucoup ça, mais ça les perdra parce que cette approche est peu flexible et peut coûter très cher face à d'autres approches plus théoriques et réfléchies qui donnent de meilleurs résultats. Ils vont vite devoir jeter leurs modèles entrainés.
Mais encore une fois, c'est plus cher, mais ils ont la tune, donc ils s'en foutent.

Il y a ce papier qui évalue le coup de l'optimisation de certains modèles https://arxiv.org/pdf/1906.02243.pdf
Si tu prends NAS ils évaluent ça à 40~140k sur des TPU, et le papier ( https://arxiv.org/abs/1901.11117 ) est publié par un gars ( David R. So https://www.linkedin.com/in/david-r-so/ ) qui a l'air d'avoir jamais vraiment fait de recherche.
Et au final son papier c'est juste de l'optimisation de paramètre, ils gagnent pas beaucoup en score, il bourinne juste des entrainements sur la puissance de calcul de Google

C'est completement malhonnete de ne pas rapporter le temps d'entrainement.
C'est une des premiere questions qu eles gens demande en HPC: tu as besion de combien de temps de benchmark pour produire les resultat que tu produis.

Et en effet quand tu vois des modeles qui prennet 2 semaines d'entrainement sur 200 GPU, il y a un truc moisi dnas la methodologie.

Si ce que tu dis est vrai, alors ca a l'air d'etre un langage pas mature pour etre deploye de facon raisonnable.

Si tu parles du fait qu'ils cassent tout le temps la compatibilité oui c'est vrai, genre pour récupérer la taille d'une string : https://stackoverflow.com/a/24037756 ou pour créer une substring : https://stackoverflow.com/a/28182819 , puis il y a la recherche dans une liste dont j'ai parlé plus haut. Tout n'est pas tout le temps supprimé du langage, des fois il y a juste des nouvelles méthodes pour faire les choses plus simplement, mais bon justement le problème c'est qu'ils ne font pas tout le temps ça.

Avec Swift 3.0 ils ont aussi supprimé les opérateurs -- et ++. Autant je suis d'accord qu'ils ne sont pas indispensables et que c'est pas grave s'ils ne sont pas présents dans le langage, autant les supprimer alors qu'ils sont déjà présents je trouve ça un peu débile.

EDIT: Après je pense que le langage se stabilise quand même parce que Swift 5 a pas l'air d'avoir cassé beaucoup de trucs.

Swift j'ai compris que c'était le langage d'Apple, et Apple c'est THE corporation qui fait les choses différemment sans vraie raison, c'est ultra propriétaire et pas majoritaire du tout, donc j'ai absolument évité le swift.

Le problème du coup c'est que pour iOS t'as pas beaucoup de choix.

Le 10 juillet 2019 à 19:38:39 godrik a écrit :

Le 10 juillet 2019 à 17:34:15 vive_cod4 a écrit :
encore rejeté d'une conférence Je sais pas vous, mais je trouve le système académique pour les conférences assez mal foutu. Je suis de plus en plus dégoûté avec le temps.

C'est pas si bien foutu. Perso, je commence a soumettre plus au journaux qu'au conf a cause de ca.

Hum peut-être je devrais commencer à regarder de ce côté, mon prof dit qu'on perd en visibilité dans les journaux mais au moins il y a de réels feedbacks et c'est continu

- Tout est anonyme mais au final si on te connaît ça passe (e.g. "We use X TPUs" --> Google) ou alors personnellement car le reviewer a vu ton papier à un workshop. Si on veut vraiment trouver, on tombe facilement sur les auteurs avec un moteur de recherche, soit car le papier est déjà sur Arxiv, ou listé sur une page personnelle

En principe, les reviewers sont cense ne pas chercher a decouvrir l'identite des auteurs. Et l'anonimat amene suffisament d'incertitude pour faire le travail. Dasn les conf ou je suis dans le PC, on a fait les etudes pour voir si le double blind marchait, et oui ca marche. Le nombre de papier de petite universite et de minorite a augmente.

Le point que j'essayais de souligner est que les grandes universités/entreprises on les reconnaît sans trop chercher. Mais je suis d'accord que pour les plus petites, c'est une excellente chose ! En passant, je suis biaisé ML/NLP

- Les reviewers sont des fois absoluement à côté de la plaque ou écrivent 1.5 lignes. Je sais pas si c'est le cas, mais j'ai l'impression que les reviewers délèguent beaucoup à d'autres personnes, e.g. des Profs à leurs doctorants. Le problème c'est qu'il suffit d'un comme ça et ta publi est refusée.

Ca, ca arrive. Mais ca a l'air de vouloir dire que le PC n'a pas fait son boulot. Donc arrete de soumettre a cette conf. Apres tu vois des cas ou le papier est borderline et tu demandes une review de plus a un externe et des fois tu as une review publique tres courte avec un commentaire pour le PC un peu plus long. Mais si c'est repete, ca veut dire que le PC ne fait pas son travail.

La récente expérience vient de EMNLP, 2nd plus grosse conf en NLP. Mais j'ai aussi eu (ainsi que mes collègues) des cas similaires pour AAAI, NIPS, NAACL, ACL. Mais bon je trouve dommage que les gens ne font pas le job correctement. D'un côté c'est le paradoxe "Plus tu es bon, plus tu es demandé donc tu n'as pas le temps de tout faire".

- Au final c'est assez random, tu peux très bien avoir un 4,3,2/5 ou un 9,5,4/10. ça me fait penser à l'expérience de NIPS 2014 (i.e. NeurIPS) où au final, 50% des papiers acceptés étaient refusés par un autre set de reviewers.

En vrai ce que NIPS a montrer c'est qu'il y a 3 groupes de papiers. Les rejet clair, les acceptation clair, et le paquet du milieu. Le paquet du milieu est assez aleatoire.

Quels sont vos avis là dessus ? Devrait-on baser le doctorat sur le nombre de publis ? (Dans mon cas, la rumeur tend vers 3 articles en top-tier conferences)

Non, certainement pas. Mon avis la dessus est qu'il faut arreter de juger la qualite d'un travail en fonction de la ou le papier est publie. C'est ca le probleme de fond. Les conference ca a pour but de causer au gens, pas d'obtenir un badge de qualite sur ton travail. Ce sont les committee de recrutement qu'il faut change, pas les conf. Les matheux et les physiciens ne font pas ca. Pourquoi est ce qu'on le fait?

Merci ! ça fait plaisir de lire ça. Le pire c'est que par exemple, pour rejoindre la graduate school à Toronto, le pré-requis c'est une publi à AAAI/NIPS/etc. Comment peut-on faire ça déjà en bachelor ? Idem pour les internships: exemple avec Google -> ~4 publi dans top-tiers AAAI/ICML/ACL etc. Pour un stage !??

A titre personnel, je sens une pression sur mes épaules et ça me cause pas mal de stress quand j'y pense, plus en plus en avançant dans le temps(je viens de commencer ma 3ème année)

Comment pourrait-on améliorer le process de reviews ? Est-ce qu'au final l'industrie dirige la recherche car ils ont les ressources computationelles ? (dans le cas du machine learning, c'est clairement le cas je trouve entre Google, Microsoft, Facebook, Nvidia etc)

Je pense que le processus de review est pas si mal que ca. Le probleme est que les gens ont monte sur un piedestal quelques conf en particulier et que si tu ne publie pas la, alors ce que tu fais c'est de la merde. C'est une attitude completement stupide. Et c'est ca le probleme de fond.

Dans le cadre du machine learning, j'ai l'impression que le domaine en est a un point ou on fait peu de cherche et beaucoup d'application. On dirait que le probleme actuel est de voir les limites des outils que l'on a. Du fait, c'est en effet beaucoup plus un probleme industrielle qu'un probleme de recherche. Et vouloir entrer en competition avec des boites en recherche industrielle ca m'a l'air d'etre une mauvaise idee.

Oui exactement. Mais le problème est que puisque ces confs sont sur un pied d'éstal, pour publier faut avoir vraiment qqch d'innovant et le "plus simple" pour ce faire, est d'avoir des ressources computationnelles énormes. Quand je lis qu'un training des dernières innovations en NLP nécessitent 3jours sur 64 TPUs.

Au final, je suis amer et un peu dégouté de voir comment le NLP/ML se dirige dans ces confs. Mais ça fait plaisir de voir que mes observations sont partagées

BlackApplex -> Merci pour ton message. Si je ne me trompe pas, sur Arxiv, tout le monde peut publier, ce n'est pas une revue peer-reviewed. Tous les jours j'ai ~300 papiers dans mon flux mais je garde en moyenne 1 par jour qui m'intéresse et qui a l'air de qualité. Le problème c'est que c'est très bruité. Le deuxième problème avec Arxiv, c'est que des confs interdisent de le faire avant la submission, du coup tant que ton paper n'est pas publié, tu ne le mets par sur Arxiv. Maintenant ça commence à changer gentiment.

Et est-ce que l'industrie dirige la recherche? Un grand, un ENORME : NON

L'industrie publie ENORMEMENT de "on a mis plus de paramètre et de calculs et c'est meilleur" Ca n'a aucun intérêt. Alors oui si tu comptes le nombre de papier Google c'est génial, mais il faut regarder la pertinence de ces papiers ( Google c'est le mauvais exemple parce que t'as une proportion non négligeable de papier où c'est pas que du calcul).
Bref, moi ce que j'adore c'est voir des papiers qui disent "on a changé ça et ça, voilà pourquoi, on a créé ça, c'est nouveau, on a fait les calculs sur un petit PC et ça a des meilleurs résultats".

Intéressant, mais quand tu y penses, est-ce que Microsoft, Facebook, Nvidia sont aussi des mauvais exemples ? Car au final ce sont ceux qu'on retrouve le plus

Si tu m'envoies ton papier je pourrai donner mon avis si tu veux. Perso on m'a déjà proposé de publier sans avoir fait de recherche, juste pour dire ce que j'utilisais, comment je l'utilisais, et les résultats que j'avais, et j'ai dis non. C'est pas de la recherche.

C'est gentil, là il s'agissait d'un petit data paper (4 pages) juste pour publier un dataset. Je te redis le mois prochain si je revis qqch de similaire En passant tu fais quoi ?

Le 10 juillet 2019 à 20:04:20 blackapplex a écrit :
Il y a ce papier qui évalue le coup de l'optimisation de certains modèles https://arxiv.org/pdf/1906.02243.pdf
Si tu prends NAS ils évaluent ça à 40~140k sur des TPU, et le papier ( https://arxiv.org/abs/1901.11117 ) est publié par un gars ( David R. So https://www.linkedin.com/in/david-r-so/ ) qui a l'air d'avoir jamais vraiment fait de recherche.
Et au final son papier c'est juste de l'optimisation de paramètre, ils gagnent pas beaucoup en score, il bourinne juste des entrainements sur la puissance de calcul de Google

Haha j'avais vu ça, c'est dingue le prix quand on y pense. Mais au final les reviewers commencent à s'attendre à l'utilisation de ces gros modèles dans ta recheerche. Encore une fois je suis biaisée NLP mais j'ai déjà vu dans mon cas "Pourquoi ne pas utiliser BERT au lieu de sent2vec" et toi t'es là en mode "bah BERT pour le fine-tune sur un GPU, c'est batch-size <= 4 "

Le 10 juillet 2019 à 21:26:34 godrik a écrit :
C'est completement malhonnete de ne pas rapporter le temps d'entrainement.
C'est une des premiere questions qu eles gens demande en HPC: tu as besion de combien de temps de benchmark pour produire les resultat que tu produis.

Et en effet quand tu vois des modeles qui prennet 2 semaines d'entrainement sur 200 GPU, il y a un truc moisi dnas la methodologie.

En effet, ça craind. Le pire c'est aussi lorsqu'il manque des détails pour reproduire. Trop peu de papers publient le code de nos jours

Le 10 juillet 2019 à 22:48:24 lokilok a écrit :

Swift j'ai compris que c'était le langage d'Apple, et Apple c'est THE corporation qui fait les choses différemment sans vraie raison, c'est ultra propriétaire et pas majoritaire du tout, donc j'ai absolument évité le swift.

Le problème du coup c'est que pour iOS t'as pas beaucoup de choix.

Donc faut pas développer pour iOS et les laisser couler jusqu'à ce qu'ils utilisent des choses opensource comme tout le monde
C'est un cercle vicieux, ils font masse de pub, les gens payent cher, les développeurs ont des coups d'accès cher, ils ont du fric, ils font masse de pub, les gens payent cher etc..
Suffit de casser le cercle. Si les dev disaient stop, Apple ferait pas long feu....mais ya des gens qui vivent grace à la vente des apps sur iOS donc ça n'arrivera pas.
Je dis ça pour les gens qui ont le choix, je pense pas qu'on développe fréquemment sous iOS par plaisir vu ce qu'on m'a dit sur Swift

Intéressant, mais quand tu y penses, est-ce que Microsoft, Facebook, Nvidia sont aussi des mauvais exemples ?

C'est pareil c'est mitigé, que ce soit les grosses boites ou les plus petites, il y a toujours des gens pour faire du calcul brutal et d'autres pour réflechir, comprendre les choses, et utiliser de la puissance de calcul neuronal humaine plutôt que cyber. Je jette pas l'opprobre sur une boite en particulier sur ce sujet.

En passant tu fais quoi ?

Ingé deep, là je suis plutôt sur de l'image mais j'ai publié dans ACL pendant mon PFE

En effet, ça craind. Le pire c'est aussi lorsqu'il manque des détails pour reproduire. Trop peu de papers publient le code de nos jours

Paper with code

https://herbsutter.com/2019/07/20/trip-report-summer-iso-c-standards-meeting-cologne/

Beaucoup de truc pour le C++20 quand même, c'est plutôt cool de voir tout ça.

Beaucoup d echsoe dnas C++20, mais les trucs important sont :
1. concepts
2. modules

Le reste n'est pas super important. Mais concept va rendre la meta programmation et l'utilisation de class metaprogramme tellement plus simple! Et modules va resoudre tout un tas de merdier qui nous vient des includes a la con. Ca va permettre une tonne d'optimisation des temps de compilations. Ca va etre super!